《Transformer 凭什么取代 RNN：把 Attention is All You Need 读成人话》
AI 技术 · 论文解读 · 2026-09-08
引子：一个狂妄的标题
2017 年，Google 的八位研究员发了一篇论文，标题就三个词：Attention Is All You Need——注意力就是你所需的一切。
这个标题狂得可以。当时机器翻译的江湖被 RNN、LSTM、GRU 统治了多年，注意力机制只是给这些模型打辅助的配角。这篇论文做了一件狠事：把主角裁掉，让配角上位。这个新架构，叫 Transformer。
后来的事大家都知道了：GPT 里的 T，就是 Transformer。
RNN 的死穴：一个字一个字地读
要理解 Transformer 的革命性，得先看它推翻了什么。
RNN 处理一句话的方式，跟我们普通人读英语课文一模一样：从第一个词开始，读一个词、记一下，再读第二个词，把之前的记忆带上，一个接一个往后传。
问题就出在这个"一个接一个"上。这种天生顺序的计算结构意味着：算到第 100 个词之前，第 99 个词必须先算完。GPU 有几千个核心，却只能排队干活，训练慢得要死。
这是 RNN 的死穴，也是 Transformer 的机会窗口。
核心三步：并行读完全句
Transformer 的做法可以拆成三步。
第一步：把词变成向量。语言先被转换成计算机能理解的高维数字。每个词向量里编码了它的"默认含义"——"苹果"这个词自带水果属性，"iPhone" 自带手机属性。
第二步：并行地做点积。不再排队，而是让句子里所有词同时上阵，两两之间做向量点积。点积就是"打分"：两个词的含义越相关，分数越高。"The animal didn't cross the street because it was too tired" 里的 it，会和 animal 打出高分——模型由此知道 it 大概率指的是动物，而不是马路。
第三步：按分数加权提取。对得分高的词，也就是关联度高的词，给予更高的注意力权重，把它们的信息更多地"提取"过来。关联弱的词，权重趋近于零，等于忽略。
一句话概括：并行算关联，按分取信息。整句话的计算是同时发生的，GPU 终于能火力全开。
配方里还有四味料
光有点积还不够，论文里还有四个关键设计，缺一不可。
位置编码（Positional Encoding）。并行处理有个副作用：所有词同时进场，模型分不出"狗咬人"和"人咬狗"——词是一样的，语序没了。解决办法是给每个位置注入一组正弦/余弦波信号，相当于给每个词别上"我是第几个词"的工牌。原始词义 + 位置信号，判断准确率才能提上来。
多头注意力（Multi-Head Attention）。一次注意力只看一种关系，太单调。Transformer 并行开 8 个"头"，有的头盯语法，有的头盯语义，有的头盯指代，最后把结果汇总。相当于让八个人分工处理不同任务，而不是一个人盯所有事情。
残差连接（Residual Connection）。信息在层层网络里传递，就像传话游戏，传多了会变形。残差连接的做法很朴素：每层算完，把自己"加工过的理解"加上"最原始的输入"一起往下传——原始信息永远有一条直通通道，不会被层层加工冲掉。
Masked 注意力（掩码）。训练时模型手里其实攥着"标准答案"（后面的词），不遮住就等于抄答案。Mask 的作用就是人为把答案盖住，强制模型只凭前文预测下一个词。做题不看答案，学会了才是真的会。
成绩单：又快又好
效果是碾压级的。WMT 2014 英德翻译任务，Transformer 拿到 28.4 BLEU，比包括集成模型在内的所有已有最好成绩高出 2 BLEU 以上；英法翻译单模型 41.0 BLEU，8 块 GPU 只训练了 3.5 天——训练成本只有前人最佳模型的一小部分。
又快又好，还把架构简化到了极致：没有循环，没有卷积，只有注意力。
尾声
回头看，这篇论文真正回答的问题不是"怎么翻译得更好"，而是"怎么让机器高效地分配注意力"。这八个字后来长成了 GPT、长成了今天的所有大模型。
而这八个字，其实不只对机器成立——这个话题，我们下一篇接着聊。
论文原文：Vaswani et al., Attention Is All You Need, NIPS 2017