二 数据治理
2.3基于Dify的文本分割
Dify支持通过直接上传文档实现文本分割（如图2-1所示），用户可导入现有文本文件，进而执行后续的分段与清洗操作。目前，Dify 已兼容 MD、MDX、MARKDOWN、HTM、PROPERTIES、TXT、VTT、XLSX、PDF、CSV、DOCX、HTML、XLS 等多种文件格式。需注意的是，单次批量上传最多支持5个文件，单个文件大小上限为15 MB，累计上传文件总数不超过20个。针对更大规模的文件处理需求，用户可自行编写Python脚本实现批量上传，此处不再展开详述。
图2-1 Dify上传文档数据
此外，Dify 的文本分段与清洗模块支持自定义分段标识符、分段最大长度、分段重叠长度等参数，并提供预设的文本预处理规则（如图2-2所示）。经多方对比与经验分析，在实际数据库构建中采用如下配置：分段标识符选用 \\n\\n、\\n、.（符合英文论文写作规范）；分段最大长度设为1024字符，分段重叠长度设为50字符（均采用 Dify 默认推荐值）。文本预处理规则包括：替换连续空格、换行符及制表符，同时保留 URL 与电子邮件地址。上述设置充分契合智能体应用的实际场景需求。
图2-2 Dify文本分段与清洗
由此即可构建完整的知识库（如图2-3所示）文本切割流程。该流程操作简便、上手门槛低，与Dify后续处理环节高度兼容，但其自定义扩展能力相对有限，可调参数与个性化修改空间较小。
图2-3 Dify知识库示例
