
Generation 在 Agent 架构中看起来最简单——LLM 读完输入,输出一段文字。实际中,生成质量由两个东西决定:你给了 LLM 什么(输入质量),和 LLM 怎么生成(解码策略)。
一、预处理决定效果
很多团队花大量时间调 Prompt、选模型,但输入质量一团糟。先把输入搞干净,比调任何 Prompt 都有效。

预处理四步
文档分块:切太细丢语义,切太粗检索不准。按自然语义边界切,10-20% 重叠。
质量过滤:不是所有检索回来的都有用。用相似度阈值+去重+长度过滤。
排序:按相关性降序。LLM 对输入开头和末尾更敏感(Lost in the Middle)。
压缩:提炼而非裁剪。提取式(保留核心句子)、摘要式(LLM 浓缩)、结构化(转表格)。
二、解码策略
LLM 逐词预测,每一步根据已有内容预测下一个最可能的词。选择策略直接影响生成质量。
贪心解码:每一步选概率最高的词。确定可复现,但容易单调重复。适合翻译、代码生成。
束搜索:每一步保留 B 条最优路径,最后选全局最佳。适合翻译、摘要。
温度采样:T→0 退化贪心,T→1 保持原始分布,T>1 随机性增大。低 T 适合事实性回答,高 T 适合创意场景。
Top-k 采样:只从概率最高的 k 个词中采样。缺陷:分布平坦时 k=50 也会选到不合理词。
Top-p(Nucleus)采样:选择累计概率达到 p 的最小词集合——分布集中时少选,分散时多选。当前最主流。

生产推荐配置
| 推理/事实性回答 | Top-p=0.9, T=0.1 |
| 创意写作 | T=0.8, Top-p=0.9 |
| 翻译/代码 | 贪心解码或束搜索 |
| Agent 工具调用 | T=0.1—确保参数序列正确 |
三、三类幻觉和六个根源
| 事实性幻觉 | 编造不存在的论文标题——格式规范但全是假的 |
| 忠实性幻觉 | 做摘要时自己往里加原文没有的内容 |
| 推理幻觉 | 多步推理时跳步,算出漂亮但错误的答案 |
六个根源:

工程控制手段
从最广泛到最精确:
实践中效果最好的是组合使用:低温度+引用强制+知识边界声明。三者几乎零成本,能把幻觉率降低 60% 以上。



