AI Models阅读约 8 分钟

MiniCPM-OCR 能在本地批量处理扫描件,哪些页面还得人工复核?

MiniCPM-OCR 1.0.5 SDK 一次可处理多个输入。保留每份文档的结果,核验关键字段,再决定哪些扫描件能进入可搜索档案。

K
Ken Jo

有三份旧发票,人看得懂,检索起来却很困难。第一份是无法选中文字的 PDF,第二份是照片,纸角有折痕,第三份扫描得很清楚,可表格跨了两页。本地 OCR 可以把图像转成文字,负责批准归档的人还得知道每份结果对应哪一个文件,以及各列的数据有没有放对。

OpenBMB 于 2026 年 11 月 9 日发布 MiniCPM-OCR SDK 1.0.5。一次运行可以输入多个文件,每个文件分别得到一份结果。另有一个选项可把独立图像分别作为文档处理。MiniCPM-OCR 1.0 模型拥有 13 亿参数,面向中英文文档与 PDF。OpenBMB 此前已经发布模型和 SDK,也公开了在本地运行识别服务的方法。PyPI 发布记录 · OpenBMB 项目及变更记录

可以先做一批结果可核查的小试验。为每份输入指定一个固定标识,把抽取结果和原件关联保存,再检查那些一旦出错就会带来后果的字段。这样才能判断哪些内容是供检索的初稿,哪些已经可以用于实际工作。

OpenBMB 的 MiniCPM-OCR 发布插图展示了文档转换为结构化文本的过程

OpenBMB 的 MiniCPM-OCR 官方发布插图,展示文档转化为结构化文本的过程。Apache 2.0。Telli.sh 将其转换为位图并调整尺寸。原图

这次更新便于保持原文档的边界

OpenBMB 在 11 月 9 日的发布说明里写道,1.0.5 接收多个输入时,每个文件返回一份结果。使用 --split-images 选项,可把独立图像当作不同文档。如果办公室同时有多页 PDF 和手机拍照件,这两个功能就很有用。已经合并成 PDF 的一份发票,通常应该保持为一份文档。两张互不相关的照片则应归为两条记录。MiniCPM-OCR 1.0.5 安装包和发布说明

做小规模评估时,每种文档各准备一份。清晰的 PDF 可以用来检查阅读顺序。照片可以显示折痕、旋转或者反光会不会导致某个区域识别错误。内容密集的表格能测试两个值很像的列会不会串位。如果档案里有同一份记录的两张照片,先决定该怎样归为一份,再交给解析工具。哪些页属于同一份文档,取决于原件之间的关系,而命令收到的是文件。

多份原文档分别生成 OCR 草稿,再逐份与原件核对

批处理示例,为每份输入分配固定的文档标识,并保留原件供审核。Telli.sh 绘制。

建立一份输入清单,标明原件、页数和预期输出。如果要用校验值检测意外更改,应该在批处理前从原件生成。把抽取结果放到不同目录,避免重跑时覆盖唯一的源文件。两个文件夹里即使都有一份叫 invoice.pdf 的文件,也能通过固定标识分清各自对应的结果。

从后续流程能读取的格式入手。OpenBMB SDK 可按调用者的配置,将结果整理为 Markdown 或 JSON。Markdown 便于人阅读初稿,结构化结果便于后续程序处理解析器返回的区域。无论采用哪种格式,凡是要用来作决定的数值或字段,都有必要与原图核对。OpenBMB 解析流程

本地部署包括版面分析和识别两个阶段

OpenBMB 把桌面整页解析分成两部分。SDK 运行版面模型,定位文本、表格、公式等区域并确定顺序,再通过 HTTP 把裁剪出来的区域送给识别服务,最后按阅读顺序组装返回结果。两部分都可在自己掌控的硬件上运行。识别服务位于独立的运行环境中,SDK 也可以指向其他地方的服务。OpenBMB 的整页解析与本地部署指南

遇到含有私人信息的文档时,这条边界很重要。需要确认的是版面分析阶段把裁剪区域发到哪里。即使 SDK 在本机运行,只要配置为调用托管服务,文档内容仍可能经网络发出。本地部署应指向预期的服务,并遵守组织批准的存储与日志规则。若只是想了解界面,可以用虚构样例体验公开演示,避免上传真实客户文档。

11 月 5 日,OpenBMB 发布了包含 SDK、vLLM 和模型的 Docker 镜像。文档列出的运行要求为 Linux x86-64、NVIDIA GPU、兼容 CUDA 12.9 的驱动,以及装有 NVIDIA Container Toolkit 的 Docker。识别服务也可以用 OpenBMB 文档中列出的 llama.cpp、Ollama 等后端。仅凭模型大小,无法判断一台设备能不能顺畅地跑完整套流程。应在目标机器上检查版面组件、模型格式、内存和吞吐量。OpenBMB 部署要求

处理单份文档还有移动端途径。OpenBMB 于 11 月 2 日宣布 iOS 支持离线解析。11 月 12 日的项目更新又把端侧演示扩展到 Android 和 HarmonyOS。移动演示与桌面批处理 SDK 是两种使用方式。根据文件所在的位置和计划如何审核结果来选择。OpenBMB 移动端发布记录

有些字段看着没错,仍要查它放在了哪里

假设一张发票有一行,数量是 10,单价是 38.50。提取出的表格把 38.50 放在数量列,把 10 放在单价列。如果系统只检查两个数字是否都出现在结果里,这张表可能通过。使用结果的人真正需要的是数值与列的正确对应。核对时应把行、列标题和合计放在一起看。

如果档案只用于检索,风险又不同。描述里有个错字,只要工作人员仍找得到原件,也许可以接受。采购订单号出错,却可能让人查到另一份文件。先明确哪些字段必须逐字匹配,再对照原件。检查带前导零的编码时,要把零保留下来。即使识别正确,数值显示或导入电子表格时也可能丢掉这些零。

文档示例和原件核对什么下游使用前决定什么
发票供应商 ID、发票号码、币种、合计和列标题哪些字段必须完全匹配
多栏报告标题、栏目顺序和图旁说明结果是否按正确顺序阅读
旋转或拍照的表单姓名、勾选框、印章或折痕附近的填写内容哪些页需要人工复核或重新扫描
多语言扫描件各语言中的标识符和字段文字哪些语言满足档案自己的验收标准

OpenBMB 将 MiniCPM-OCR 1.0 定位于中文与英文。处理韩文或多语混排文档的团队,应在自己的页面上测量识别准确率。可以为每种重要语言准备一份密集文档、一张清晰表单和一张拍摄图像。把错误类型记录下来,比把少量不同类型文档算成一个平均分更容易看出问题。OpenBMB 模型介绍

区域评分可以帮助决定先审核哪里

OpenBMB 还发布了独立模型 MiniCPM-OCR Jev,用来对照图像区域评估解析出的文本、公式和表格。项目把评分描述为找出可能需要复核区域的办法。在批处理中,可以将它用于排定顺序,同时把影响较大的字段拿去和原件核对。采用评分给审核排队前,先看看它能不能把你关心的错误排到前面。OpenBMB 对 MiniCPM-OCR Jev 的介绍

审核流程把不确定区域和重要字段送回原页核对

可选的区域评分用于安排审核优先级。影响付款、身份标识或其他决策的字段仍可能需要直接核对。Telli.sh 绘制。

想弄清评分的用途,可以准备一小组参考材料,放入团队已知的几种错误。零件编号缺了一个字符、表格行没有对齐、从清晰页面提取出一句话,分别可以测试不同情况。也要放进一些正确区域。观察模型什么时候给错误结果高分,什么时候给正确结果低分。在工作流加入阈值之前,先讨论这些案例。

保留不同判断的记录。审核人员修正合计时,应保留最初的 OCR 输出,并将修改关联到源文档。团队以后就能判断错误是否集中在某类文档或某种采集方式上。后来的人也能分清哪些是人工更正,哪些是模型最初返回的内容。

人工核验花多少时间,会影响这套批处理能不能扩大。记录解决问题的耗时,以及哪些页面需要再看一遍。本地工具可能在清晰文档上节约时间,同时让画质差的扫描件排更长的人工复核队列。如果总是同一种纸质表单失败,下一步可以先改善扫描方式,再判断是否需要加另一个模型。

用一小批可能以不同方式出错的材料试验

  1. 收集已获准使用的样本文档。 纳入清晰扫描、旋转照片和跨页表格,覆盖有代表性的语言与版式。用固定标识保留每份原件。
  2. 选择获准的本地处理路径。 桌面批处理按 OpenBMB 的本地部署指南操作,核对 SDK 调用的识别服务端点。放入文件前,先确认硬件和环境要求。官方本地部署指南
  3. 运行 SDK 并保留每份文件的结果。 记录 SDK 版本、模型或量化版本、后端和输出格式。主动选择图片分组方式,为每份结果保存对应原件。SDK 1.0.5 使用说明
  4. 按照档案的实际用途审核。 供检索时检查阅读顺序,供后续流程使用时重点检查关键字段。记录哪些文档被接受、修正或拒收,并注明原因。
  5. 用另一小批新样本复测。 沿用同一组验收规则,比较直到审核完成的耗时与结果的可追溯性。扩大数量前,先处理仍需手工操作的文档类别。

从能够完成的用例开始。帮助人们检索扫描版会议资料的助手,对字段的要求与替人填写发票付款表单的工具不同。如果眼下需求是搜索,可以先做搜索或其他可撤回的流程。试点能显示哪些抽取结果以后值得更严格地核验。

在档案界面上让人容易看懂哪些内容被编入索引。如果搜索结果只显示机器生成的文字,用户可能把看似可信的结果当成定论。在结果旁显示源文件名或文档标识,让人容易找到对应页。抽取结果有审核状态时也应显示出来。使用者据此判断何时需要看原件。

多份文件共享输出目录时,可以做一次恢复试验。假设一份文件处理失败,改过配置后只重跑这份文件。确认其他结果仍在,清单也能标明哪份输出来自第二次运行。试验不必自动触发重处理,目的是确认改好一份结果时,其他文件的处理记录仍可追溯。

每个结果都能找到原页,批处理才真正有用

MiniCPM-OCR SDK 的更新省去了一部分逐个发送文件的工作。后面的效果取决于档案的设计。保持原文档的边界,决定图像在哪里处理,再根据下游用途确定各字段的核验深度。下个月有人从搜索结果里找到一个数字,应该能打开它所在的原页,看看解析器当初看到的是什么。

来源


想把文档归档中的审核决定整理成可检索的记录,可以创建 Telli.sh 账户。


← 返回博客