D2 | Token、Context、温度——5 个核心概念一次搞懂

文章目录

• D2 | Token、Context、温度——5 个核心概念一次搞懂
• • 写在前面
  • 一、Token 化：4 种主流算法的差异
  • • 实战：对比不同 Tokenizer
  • 二、Context Window：你的 AI 为什么\”忘了\”前文
  • • 2.1 主流模型的 Context Window 对比
    • 2.2 Lost in the Middle：长 Context 的\”中间遗忘\”
    • 2.3 实战：Lost in the Middle 实测
    • 2.4 长 Context 的工程应对
  • 三、Temperature + Top-P：采样策略的组合拳
  • • 3.1 贪心 vs 采样
    • 3.2 三个采样参数
    • 3.3 实战：Temperature × Top-P 网格实验
    • 3.4 最佳实践
  • 四、Top-K 和重复惩罚：进阶控参
  • • 4.1 Top-K
    • 4.2 Frequency Penalty 和 Presence Penalty
    • 4.3 实战：3 种采样策略对比
  • 五、输出控制：max_tokens、Stop Sequences、Penalty 全套
  • • 5.1 max_tokens：控制输出长度
    • 5.2 Stop Sequences：自定义停止符
    • 5.3 实战：完整输出控制
  • 六、生产环境的\”参数调优 checklist\”
  • • 6.1 决策树
    • 6.2 参数配置器（生产级工具）
  • 七、这一篇的小结
  • • 7.1 5 个 Key Takeaway
    • 7.2 一张图速记
    • 7.3 思考题
  • 下篇预告

D2 | Token、Context、温度——5 个核心概念一次搞懂

写给\”看完 D1 还是有点迷糊\”的你

本文是《60 天 AI 全栈转型：传统开发者的大模型工程师之路》S1 第 2 篇 配套代码仓库：gitcode.com/road-emblem/60-days-ai-stack

写在前面

D1 我们讲了 LLM 的\”第一性原理\”——它是什么、怎么工作、Token 是什么。

那篇文章发出去后，我收到最多的问题是：

“Token 我懂了，但实际开发中还有一堆参数我搞不定，比如 Context 满了怎么办？Temperature 和 Top-P 怎么配合？什么时候用 max_tokens？”

这些都是\”看完基础，但还没法动手干活\”的开发者最痛的点。

所以 D2 我们不重复 D1 的内容，直接深入 5 个 LLM 应用工程师必须掌握的核心概念：