Transformer 是怎么工作的
2017 年的一篇论文《Attention Is All You Need》提出了 Transformer 架构， 今天几乎所有大语言模型（GPT、Claude、Gemini、DeepSeek、Qwen）都建立在它之上。 这篇文章用尽量通俗的语言讲清它的四个核心部件。
1. 自注意力：让每个词环顾四周
处理"它追着球跑，因为它很兴奋"这句话时，模型需要知道第二个"它"指的是谁。 自注意力机制让每个词计算自己与句中所有其他词的"相关度分数"，再按分数加权吸收信息。 这像会议室里每个人同时聆听所有其他人，并决定把注意力分配给谁。
计算上是三个矩阵的乘法：
Attention(Q, K, V) = softmax(QK^T / √d_k) V
Q（查询）、K（键）、V（值）都是输入的线性变换，√d_k 缩放防止分数过大导致 softmax 梯度消失。
2. 位置编码：找回被丢弃的顺序
自注意力本身对词序不敏感（"猫咬狗"和"狗咬猫"算出的注意力相同），所以必须额外注入位置信息。 原论文用正弦/余弦函数，现代模型多用旋转位置编码（RoPE），DeepSeek 系列在此基础上做了注意力变长外推。
3. 多头注意力：多角度看同一句话
一个"头"只学一种关注模式（指代、语法、语义相似……），把几十个头并行算再拼接， 模型就能同时从多个维度理解上下文。GPT-3 有 96 个头，现代模型普遍在几十到上百之间。
4. 残差与前馈层：深而不倒的关键
每个子层都套一层残差连接（输出 = 输入 + 变换），让梯度可以直通底层， 百层网络才能训练得动。注意力层之间穿插的前馈网络（两层 MLP）负责"消化"注意力收集来的信息， 占了模型大部分参数量。
一个冷知识
本页由站长发布于个人学习笔记站点，页面编号 ZWT-HID-Q8X2。
ZWT-HID-Q8X2
