🔧 故障排除指南
问题：所有PDF处理失败（200/200）
错误信息
❌ Scaling laws for neural language models.pdf: document closed
原因分析
这个错误通常由以下原因导致：
解决方案
第一步：使用诊断工具检查PDF
一个诊断工具 diagnose_pdfs.py，在papers目录下运行：
# python diagnose_pdfs.py –input ./papers –samples 10
这将检查前10个PDF文件，告诉你：
- 哪些PDF可以正常提取文本
- 哪些PDF是扫描版（需要OCR）
- 哪些PDF有其他问题
第二步：根据诊断结果处理
场景A：检测到扫描版PDF
症状：
⚠️ 结论: 这个PDF可能是扫描版图片，无法提取文本 建议: 使用OCR工具（如Tesseract）进行文字识别
解决方案：
方法1：使用免费OCR工具
方法2：使用在线工具
方法3：使用专业软件
场景B：PDF加密
症状：
⚠️ 警告: PDF已加密 ❌ 需要密码，无法访问
解决方案：
# 如果你知道密码，可以解锁
场景C：中文文件名问题
症状： 部分文件处理成功，部分失败，且失败的多是中文文件名
解决方案：
创建一个批处理脚本，先复制文件到临时目录，使用英文文件名：
运行：
python organize_papers.py python process_papers.py –input ./papers_english
场景D：部分文件格式损坏
症状：
❌ 错误: File structure error
解决方案：
尝试使用工具修复PDF：
推荐工作流程
对于正常PDF（可提取文本）
# 1. 运行诊断 python diagnose_pdfs.py –input ./papers –samples 20 # 2. 处理所有PDF python process_papers.py –input ./papers –output ./output –chunk-size 800 # 3. 导入Dify # 将生成的CSV文件上传到Dify知识库
对于混合类型PDF（部分扫描版）
优化处理参数
针对不同类型的PDF，可以调整参数：
高质量PDF（双栏排版，格式规范）
python process_papers.py \\ –input ./papers \\ –chunk-size 800 \\ –overlap 200
扫描版OCR结果（可能有识别错误）
python process_papers.py \\ –input ./papers_ocr \\ –chunk-size 600 \\ –overlap 100
小PDF（少于10页）
python process_papers.py \\ –input ./papers_small \\ –chunk-size 500 \\ –overlap 50
常见问题解答
Q1: 为什么有些论文只能提取到乱码？
A: 可能是论文使用了特殊字体或加密。尝试：
Q2: 处理速度太慢怎么办？
A:
Q3: 如何批量处理扫描版PDF？
A: 使用自动化OCR工具：
Q4: 处理后的CSV文件太大怎么办？
A:
使用：
python ocr_convert.py \\ –input ./papers_scanned/paper.pdf \\ –output ./papers_ocr/paper.pdf
