CSV输出模式（新增）
问题：标准CSV格式的分段问题
在标准CSV格式中，CSV有三列：
- content: 文本内容 + 分隔符
- metadata: JSON格式的元数据
- source: 源文件名
问题：分隔符在content列末尾，后面还有metadata和source列，Dify可能无法正确识别分隔符的位置，导致分段不准确。
解决方案：Merged模式
Merged模式将所有信息合并到content列，确保分隔符在最末尾。
CSV格式对比：
Standard模式（三列）：
content,metadata,source "文本内容…","{""category"":""vulnerability_mining"",""year"":""2024"",""section"":""Abstract"",""chunk_id"":1}",paper.pdf
- ❌ 分隔符后面还有metadata和source列
- ❌ Dify可能无法正确分段
Merged模式（合并，推荐）：
content,metadata,source "文本内容…[Metadata: {""category"":""vulnerability_mining"",""year"":""2024"",""section"":""Abstract"",""char_count"":135,""source_file"":""paper.pdf"",""title"":""Title""}] [Source: paper.pdf]",,
- ✅ 所有信息在content中
- ✅ 分隔符在最末尾
- ✅ Dify可以准确分段
- ✅ 元数据在content中，不会丢失
使用方法
# 默认使用merged模式（推荐） python process_papers.py –input ./papers # 等同于 python process_papers.py –input ./papers –csv-mode merged # 显式指定merged模式 python process_papers.py –input ./papers –csv-mode merged # 使用standard模式（不推荐） python process_papers.py –input ./papers –csv-mode standard
测试两种模式
# 测试CSV输出模式 python test_csv_modes.py
这将生成两个对比CSV文件，并显示详细的格式对比。
元数据精简
在merged模式下，精简了元数据字段，仅保留核心检索字段：
保留的字段：
- category: 论文类型
- category_cn: 中文类型
- year: 发表年份
- section: 章节
- char_count: 字符数
- source_file: 来源文件
- title: 论文标题
移除的字段：
- chunk_id: 在merged模式下不需要
Dify导入设置（Merged模式）
重要：使用merged模式时，确保Dify的分段标识符与生成的CSV中的分隔符完全一致。
