Transformer 的结构是怎样的？
先自己想一想，再看参考要点
参考要点
- 目前的大模型基本是只保留解码器的 Decoder-only 结构
- Token 经词嵌入变成向量（Qwen2.5-7B 为 3584 维），依次经过几十个相同的层（28 层），每层先用注意力从前文收集信息，再用前馈网络逐位置加工
- 子层都带残差连接和归一化（多为 Pre-Norm 的 RMSNorm）
- 最后一个位置经线性层得到 logits，softmax 后得到下一个 Token 的概率
学习站：先用面试题自评定级，按水平和面试日期排出每天的计划，自评过的题按间隔复习。免费、无需注册，记录只保存在自己的浏览器中。