Transformer 论文

文献信息

标题：Attention Is All You Need

作者：Vaswani, Shazeer, Parmar, Uszkoreit, Jones, Gomez, Kaiser, Polosukhin

机构：Google Brain / Google Research

发表：NeurIPS 2017

arXiv：https://arxiv.org/abs/1706.03762

---

核心贡献

1. 提出 Transformer 架构：完全基于注意力机制，摒弃 RNN/CNN

2. Multi-Head Attention：多头并行注意力

3. 位置编码：正弦/余弦函数编码位置信息

4. Encoder-Decoder 结构：原始用于机器翻译

---

机构描述为简写，不穷尽作者在不同时间的全部任职。

nanoGPT 与原论文的区别

nanoGPT 实现的是 Decoder-only 架构（GPT 风格），与原始论文的 Encoder-Decoder 有所不同：

| 特性 | 原始 Transformer | nanoGPT (GPT-2) |

|------|-----------------|-----------------|

| 架构 | Encoder + Decoder | Decoder only |

| 归一化位置 | Post-Norm | Pre-Norm |

| 位置编码 | 正弦函数 | 可学习参数 |

| 主要任务 | 机器翻译 | 语言建模 |

---

相关页面

../01-概念/Transformer架构 — 架构解析

../01-概念/注意力机制 — 注意力机制

../02-技术/nanoGPT代码解析 — 代码实现

本轮核查来源与限制（2026-09-17）

https://arxiv.org/html/1706.03762v7

https://raw.githubusercontent.com/karpathy/nanoGPT/master/model.py

只修本轮明确列出的陈述，不将旧页整篇升级为已验证。themis_only为本地保存和禁止外发的兼容标记，不代表本地模型推理。