欢迎光临
我们一直在努力

3款强大的开源知识库文档解析工具效果对比

最近刚好在做企业级知识库系统构建,顺带测试了几款强大的开源文档解析工具,目标初步限定为paddleocr,minerU,和LiteParse。

先看总体对比:
图片

表格中为官方介绍,但是有一些不太准确,比如PaddleOCR 也是支持 office文档的。
MinerU 解析文档的速度可能完全达不到200页每分钟,实际上在一般的显卡电脑上一个10多页的扫描 pdf 可能耗时10多分钟。
paddleOCR也一样。
如果就速度比较的话,LiteParse的确是快,但是质量就不保证了,因为对于OCR 扫描文档,如果不开启ocr功能的话,可能一个字都识别不了。
MinerU 和 paddleOCR 特别消耗显存,它们适合单文档精雕细琢的处理。
但是 MinerU 和 paddleOCR 在识别质量上也有区别。

下面通过几个例子来对比测试。

识别截图
在这里插入图片描述

用LiteParse解析不到1秒,但是结果是这样的:
在这里插入图片描述

解析的标题头丢失了,这样解析后的数据就废了。
再来看看MinerU 花费 55秒的结果:
在这里插入图片描述

干干净净而且还保留了表格的样式。
再来看看PaddleOCR 花费 20 秒的结果:
在这里插入图片描述
处理Excel报表数据
比如这样的excel报表,包含了多个sheet:
图片

用MinerU 20秒 解析的结果:
在这里插入图片描述

完美对应,并且支持多个sheet 的解析。
用PaddleOCR 2秒出结果:
在这里插入图片描述
多个sheet 之间的分割,比MinerU更友好一些。
用LiteParse 耗时5.5秒,解析的表头没有对应上:
在这里插入图片描述
而且这次LiteParse的速度完全没有跟上Paddle,属于速度翻车异常。
pdf解析
比如下面的30页pdf文档:
在这里插入图片描述

用LiteParse 0.2秒解析30页pdf文档:
在这里插入图片描述

LiteParse 速度倒是很快,可惜格式错乱。

再看MinerU解析的效果:
在这里插入图片描述
用PaddleOCR 2秒出结果:
在这里插入图片描述
word文档解析

对这样一篇word 文档:
在这里插入图片描述
用MinerU,20秒出结果:
在这里插入图片描述
PaddleOCR 2秒出结果:
在这里插入图片描述
相比起来 MinerU格式排版要好一些。

而3秒出结果的LiteParse 表现也不错:
在这里插入图片描述
最后我们来测试下知识库的检索效果:

在这里插入图片描述

最后做一个小结:总体而言,对纯文字类型的文档,如果不太在意格式和排版,LiteParse 无论是速度还是资源占用都完胜其他系统。

如果综合考虑速度与格式、排版、质量,而不是扫描文档,使用PaddleOCR是最佳选择。

如果是扫描文档,优先MinerU,其次是PaddleOCR。因为后者占用资源可能会导致系统崩溃。

最后,如果你不知道怎么选,这个系统已经将多种解析工具整合为智能解析工具,它会根据文档内容类型,自动路由最合适的解析工具:
在这里插入图片描述

关于本系统的详细介绍可以参看:
在这里插入图片描述
详细文档参考:
https://my.feishu.cn/wiki/WkDQwyqgeiZ5yfk2CKnclbDBn8f

赞(0)
未经允许不得转载:171主机测评 » 3款强大的开源知识库文档解析工具效果对比
分享到: 更多 (0)

评论 抢沙发

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址