Transformer 怎样让一个词读懂远处的另一个词?

“杯子放不进箱子,因为它太小。”读者会结合常识判断“它”更可能指箱子。如果把最后两个字换成“太大”,指代关系又会改变。文本理解因此需要在多个位置之间交换信息,而不只是为每个词查一个固定释义。Transformer 的注意力机制提供了一种可训练的信息交换规则:当前位置根据自己的表示,选择如何汇总其他位置的信息。

Vaswani 等在 2017 年提出的模型以机器翻译为主要实验场景。它的重要性来自一组能够组合的结构设计,包括注意力、位置表示、前馈网络和残差连接。理解这些部件分别负责什么,比把注意力简单比作“像人一样关注重点”更有助于判断模型的能力和局限。原始论文

多根光纤在不同位置间以强弱不同的光路相连
AI 生成配图 · 光纤长曝光摄影 · 未完纪

词元表示会随上下文变化

输入文字首先被分成词元。词元可能是一个汉字、词的一部分、标点或其他片段,具体边界由分词器决定。每个词元获得一个初始向量,再与位置信息结合。这个初始表示可以表达统计规律,却不能单独解决上下文中的歧义。“苹果”出现在水果清单和公司财报里,需要连接的信息显然不同。

注意力层把其他位置的信息加权汇总给当前位置。经过多层计算,一个词元向量可以逐渐包含句子关系、篇章线索和任务相关信息。这里的“包含”指信息能够通过后续计算被利用,并不意味着向量里存在一格固定对应“公司”、另一格固定对应“水果”。表示通常是分布式的,同一个概念可能涉及许多坐标。

还要区分自注意力与交叉注意力。自注意力中的查询、键和值来自同一序列;原始翻译模型的解码器还通过交叉注意力读取编码器的输出。今天常见的仅解码器语言模型主要沿着因果自注意力生成文本,结构与原始编码器—解码器 Transformer 有继承关系,也有明确差别。

查询、键和值构成怎样的运算

把输入表示按行排成矩阵 X,三组线性投影产生 Q、K、V。一个注意力头的计算可以写作 Attention(Q,K,V)=softmax(QKᵀ/√d)V,其中 d 是键向量维度。QKᵀ 给出位置之间的匹配分数;softmax 沿候选位置归一化,使每行权重非负且加起来等于一;最终输出是值向量的加权和。

查询可以理解为当前位置形成的检索条件,键提供用于匹配的表示,值提供实际汇总的内容。三者都是训练得到的投影,这个类比不应被当作数据库字段的字面定义。缩放因子与数值尺度有关:在分量具有一定独立性和方差的简化假设下,点积方差随维度增长。除以维度平方根有助于避免分数过大,使 softmax 过早变得极端。

多头机制使用多套投影,把各头输出拼接后继续变换。不同头可以形成不同的信息通道,但不能仅凭数量就推断它们自动学成语法、常识、数学等整齐分工。注意力之后的前馈网络负责逐位置的非线性变换,残差连接与归一化则影响信息保留和训练稳定性。整个网络的能力来自这些部件共同作用。

打开 HTML 互动演示 · 注意力权重怎样从得分变成加权系数?

用一个合成例子看清加权汇总

考虑人为构造的三个位置,其缩放后的匹配分数为 2、1、0。这不是某个真实模型的测量。softmax 后的权重大约为 0.665、0.245、0.090。如果值向量分别为 (1,0)、(0,1)、(1,1),汇总结果约为 (0.755,0.335)。输出不是把最高分位置原样复制出来,而是混合了三个位置的信息。

若把分数同时加上 100,归一化结果不变,因为分子分母中的共同因子会抵消。若把三个分数同时乘以很大的正数,权重通常会更集中于最大项。这两个性质说明,读注意力图时应关注相对分数和归一化方式,颜色亮度并不是独立存在的“重要程度”。不同层、不同头的颜色也不宜直接横向比较。

这个例子还揭示一个容易忽视的细节:权重相同,值向量不同,输出也不同。后续输出投影、残差路径和其他头仍会继续改变结果。因此,“这个位置得到很高权重”与“这个位置对最终答案产生很大影响”之间,还隔着多条计算路径。若要讨论因果贡献,需要做干预实验,而不只是展示一张热力图。

位置与遮罩如何限定可读范围

如果没有任何位置编码或位置相关结构,只把词元向量放进同样的相互比较过程,网络很难表达我们需要的顺序关系。“甲帮助乙”和“乙帮助甲”含有同一批词,却描述不同事件。原始 Transformer 使用正弦位置编码;其他模型可以采用不同位置机制,但都需要交代顺序怎样进入计算。

生成模型还必须遵守训练时的信息条件。预测当前位置的下一个词元时,不应提前读取答案后面的内容。因果遮罩把不可读取的匹配分数排除出 softmax。训练可以并行计算许多位置的损失,因为每个位置的可见范围由遮罩控制;推理时仍要逐步得到新词元,不能把这种训练并行性直接理解为整段答案一次生成。

遮罩的实现需要结合填充位置、批处理和缓存检查。若某些填充词元意外获得权重,或缓存的位置编号出现偏移,模型可能在短例子上正常、长输入时退化。一个实用的基础检查是在关闭随机性后改变未来词元,确认早期位置的结果不变;再比较完整序列计算与使用缓存逐步计算是否在允许的数值误差内一致。

长序列成本为何不只是一句平方复杂度

标准全注意力需要计算成对位置的关系。作为一个合成内存估算,若序列长度为 4096,单个头的分数矩阵含 16,777,216 个元素;按每元素两字节,仅这一矩阵约为 32 MiB。十六个头就是约 512 MiB,尚未计入批次、其他中间量和训练梯度。长度翻倍,成对元素数量会增加到四倍。

这个估算描述的是直接显式保存矩阵的实现,并不代表所有内核都必须占用同样空间。FlashAttention 通过分块和重新组织 softmax 的计算,减少慢速显存与片上存储之间的数据搬运,在保留精确注意力定义的同时改善实际效率。它优化了计算组织,不能由此推断所有成对算术都变成了线性复杂度。FlashAttention 论文

部署时还需区分提示词处理和逐词解码。前者有大量位置可并行,后者反复使用历史键值缓存,可能更受内存带宽影响。比较两套实现时,应分别报告输入长度、输出长度、批次、首次词元延迟和后续生成速度。只给一个每秒词元数,往往不足以解释用户实际等待多久。

怎样检验模型真的利用了远处的信息

可以构造受控的指代与关系任务,让关键对象、关系词和答案随规则变化,并保持其他词尽量一致。先改变关键信息,再改变无关修饰,比较模型对两者的敏感度。随后把证据放在开头、中间和结尾,逐步增加干扰段落。这样能区分“识别某种表面模板”与“根据所需证据作答”,也能发现位置依赖。

Lost in the Middle 在多文档问答和键值检索中研究了证据位置的影响,说明可接收更长输入与稳定使用其中信息需要分别测量。它提供的是对应实验条件下的观察;评估新模型仍应使用自己的任务、数据和长度范围,不能把某次实验曲线当作全部架构的固定定律。原始研究

进一步的研究可以消融某些注意力头,或替换关键位置的内部表示,观察任务表现怎样变化。但干预本身可能把激活推离模型熟悉的分布,结论需要与多种干预方式相互印证。最终应交付一组可复查的输入、预期答案、运行设置和错误分类。注意力提供了信息流动的机制,模型在具体任务里有没有正确使用它,需要由这些证据回答。

训练损失告诉我们什么,又没有告诉我们什么

注意力定义了信息怎样汇总,训练目标则决定网络为什么要汇总这些信息。对自回归语言模型,常见目标是提高真实后续词元的条件概率。交叉熵损失可写成各位置负对数概率的平均值。模型若给正确词元分配更高概率,损失就下降,但它可能通过语法、主题线索、记忆或推理等不同途径做到这一点。

因此,较低的语言建模损失并不能单独证明模型解决了某一种语义关系。可以设计配对测试:两段文字只有一个因果条件不同,要求答案相应改变。若模型给出的解释很顺畅,却持续选择训练中更常见的结论,它可能依赖了相关性捷径。测试还应替换人名、地点和数字,避免题目恰好触发熟悉文本。

需要特别注意评估数据与预训练语料的重合。完全复现公开问答的答案,与在新的组合上正确推断,并不是相同证据。研究者可以生成结构受控、内容重新采样的实例,同时检查任务本身是否引入了简单线索。例如正确答案总是更长,或出现在最后一个位置,都会让模型在不利用目标关系的情况下获得高分。

对多层网络,还可以比较中间层表示能否预测目标属性,但线性探针“能读出某个信息”,不等于主模型在回答时实际使用了它。探针结果、消融结果与任务行为应分别记录,再看它们能否形成一致解释。这样的证据链比给某个注意力头贴上“理解因果”的标签更稳妥,也更方便其他研究者复查。

参考资料

© 版权声明
THE END
喜欢就支持一下吧
点赞14