欢迎光临
我们一直在努力

AI 数学的秘密花园:08.注意力是什么?(可微分的软选择,像在菜市场挑菜,Q/K/V就是你的购物车)

第8章:注意力是什么?(可微分的软选择,像在菜市场挑菜,Q/K/V就是你的购物车)

第一部分七章咱们已经把AI数学的基础乐高搭得结结实实,是不是已经觉得AI没那么高冷了?今天咱们正式推开第二部分的大门——Transformer的心脏地带!从这一章开始,你会真正明白为什么Transformer这么强,用它就像开一辆智能汽车:眼睛雪亮、自动看路、还能灵活变道,完全懂你想去哪儿。

今天先聊聊Transformer里最闪亮、最核心的发明:注意力机制(Attention)。

在这里插入图片描述

(瞧这张,推着购物车在菜市场挑新鲜菜的阿姨,多像AI在“挑”最有用的信息啊!)

注意力不是死盯着看,而是让AI像聪明的老顾客,在菜市场里灵活挑菜——想吃啥就多看两眼,不想吃的就轻轻扫过。


想象一个周末,你提着购物车去菜市场买菜。

你心里有明确需求:“今天我想做西红柿炒蛋!”(这就是你的Query,查询需求,像一张小纸条)

你走到每个摊位前,看看标签:“新鲜西红柿”“有机鸡蛋”“今天特价黄瓜”……(这些标签就是Key,钥匙/匹配度)

根据匹配度,你决定给每个摊位多少注意力:

  • 西红柿摊:90%!必须重点看
  • 鸡蛋摊:70%!也需要
  • 黄瓜摊:5%就够了,今天不买

然后,你从这些摊位实际拿走对应的东西(西红柿、鸡蛋……)——这些真实货物就是Value(价值/内容)。

最后,你购物车里的东西,就是

赞(0)
未经允许不得转载:171主机测评 » AI 数学的秘密花园:08.注意力是什么?(可微分的软选择,像在菜市场挑菜,Q/K/V就是你的购物车)
分享到: 更多 (0)

评论 抢沙发

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址