文档解析利器-MinerU安装使用
- 一、Docker环境构建
- 二、Mineru源码安装
-
-
- 1. 获取源码：
- 2. 通过源码安装MinerU
-
- 三、Mineru启动!!
MinerU是一款将PDF转化为机器可读格式的工具（如markdown、json），可以很方便地抽取为任意格式。
- 删除页眉、页脚、脚注、页码等元素，确保语义连贯
- 输出符合人类阅读顺序的文本，适用于单栏、多栏及复杂排版
- 保留原文档的结构，包括标题、段落、列表等
- 提取图像、图片描述、表格、表格标题及脚注
- 自动识别并转换文档中的公式为LaTeX格式
- 自动识别并转换文档中的表格为HTML格式
- 自动检测扫描版PDF和乱码PDF，并启用OCR功能
- OCR支持84种语言的检测与识别
- 支持多种输出格式，如多模态与NLP的Markdown、按阅读顺序排序的JSON、含有丰富信息的中间格式等 -支持多种可视化结果，包括layout可视化、span可视化等，便于高效确认输出效果与质检 -支持纯CPU环境运行，并支持 GPU(CUDA)/NPU(CANN)/MPS 加速 -兼容Windows、Linux和Mac平台
官方开源地址 在线客户端地址
安装文档可以参考官方开源地址的README文件，上边有详细的安装教程。
本文介绍如何使用官方指定的vllm容器自定义安装。
一、Docker环境构建
参考MinerUDocker安装文档查阅符合自身GPU的镜像版本: 
Mineru-2.5版本开始使用vllm:v0.10.1.1镜像。2.5版本在50系显卡存在多个issue提及无法使用vllm推理，只能使用pipline。最新的2.6版本实测5090可以很好的运行。
1.获取vllm镜像，推荐使用国内镜像源:
docker pull docker.1ms.run/vllm/vllm-openai:v0.10.1.1
2.创建容器，需要覆盖vllm容器的入口:
docker run -itd \\
–name dev \\
–gpus all \\
–ipc host \\
-p 8000:8000 \\
–entrypoint "/bin/bash" \\
容器ID or 容器标签 \\
-c "tail -f /dev/null"
docker exec -it dev(新创建的容器名or容器ID) /bin/bash
# 依次执行
apt-get update
apt-get install -y fonts-noto-core fonts-noto-cjk fontconfig libgl1
apt-get install unzip # 如果服务器能够访问github，则可以不安装unzip
fc-cache -fv
apt-get clean
rm -rf /var/lib/apt/lists/*
按照顺序执行以上步骤，mineru的容器环境依赖就算是安装完成。
二、Mineru源码安装
1. 获取源码：
git clone https://github.com/opendatalab/MinerU.git –branch mineru-x.x.x-released –depth 1
branch分支版本可以在github查阅具体需要安装的版本。例如2.6.2版本: git clone https://github.com/opendatalab/MinerU.git –branch mineru-2.6.2-released –depth 1
如果容器无法访问github，可以手动到指定版本源码仓库下载zip包，通过 docker cp 上传到容器中使用unzip解压。
结果如图: 
2. 通过源码安装MinerU
首先进入源码目录 cd MinerU-mineru-2.6.2-released
执行安装命令 pip install -e .[all] -i https://pypi.tuna.tsinghua.edu.cn/simple
mineru-models-download -s modelscope -m all
到此，mineru就已经安装成功!
值得注意的是，mineru默认使用的模型源为huggingface，国内需要切换到modelscope。
因此，国内用户可以将 export MINERU_MODEL_SOURCE=modelscope 写入 ~/.bashrc文件或任意linux启动时会扫描的环境变量文件中。
三、Mineru启动!!
mineru提供了三种启动方式，mineru-gradio | mineru-api | vllm-server 。 需要一个简洁GUI界面的使用 mineru-gradio，需要使用fast api 服务的使用 mineru-api ，使用vllm-client连接的使用 vllm-server
具体使用参考: MinerU Quick Start
例如: mineru-gradio –server-name 0.0.0.0 –server-port 7860 即可在本地启动一个GUI服务。
如果需要修改api接口以兼容本地应用服务的，可以修改源码 cli目录下的 fast_api.py 和 gradio_app.py文件
