本文详细总结了Transformer模型架构中Decoder部分的总体网络结构，以及数据在其中的运算和流转流程。

之前在一文彻底搞懂Transformer模型的Encoder结构与计算流程一文中，详细整理了Transformer模型的Encoder架构，本文继续学习和解析Transformer的Decoder的结构以及完整的计算流程。因为Decoder与Encoder的模型结构与计算流程非常类似，所以最好参考一文彻底搞懂Transformer模型的Encoder结构与计算流程以及如何理解Transformer架构中的多头注意力机制？把Transformer的自注意力概率与计算流程先搞清楚。

下图是一个完整的Transformer Encoder-Decoder的网络架构：

• 左侧为连续N个Encoder Block组成的Transformer Encoder，用于实现把输入的自然语言文本转换为向量表示的语义信息。
• 右侧为连续N个Decoder Block组成的Transformer Decoder，用于基于Encoder输出的语义信息的向量表示来实现自然语言功能的输出，如机器翻译，文本续写等。

Decoder的输入和输出

Transformer的输入和输出结构如下图所示。

Decoder的输入包含两部分数据：

• 下方输入（Outputs Shifted Right）：用于执行掩码自注意力 (Masked Self-Attention)计算。其内容是模型已生成的 Token 序列，从而让模型知道“我已经说了什么”。
• 中间输入（来自Encoder提取的语义向量）：用于执行交叉注意力 (Cross Attention)计算。其输入内容是基于 Encoder 的语义向量计算得到的 K 和 V 矩阵，让模型知道“源句子的意思是什么”。其计算逻辑是 Decoder 会用自己的 Q（我想找哪个语义）去跟 Encoder 的 K, V 进行匹配。

Decoder的输出为上图最上方的Output Probilities。输出内容的维度等于模型输出词表大小（Vocabulary Size）的向量。通过最后的 Linear 层和 Softmax 层处理之后，这个向量代表了模型输出词表中每一个单词作为“下一个输出单词”出现的概率分布。通常选取概率最大的那个索引（Index），然后去字典里查出对应的单词作为下一个输出单词。

Outputs shifted right输入与自回归预测

以上提到Decoder下方输入Outputs Shifted Right的内容是模型已生成的 Token 序列，这个在推理流程中要如何理解？

在初始状态下，模型是没有输出的，此时 Outputs Shifted Right 部分的输入内容就是一个起始信号 <SOS>（Start of Sentence）。此时模型会根据 Encoder 的语义和起始信号，在Decoder端执行一次前向推理，预测生成第一个词（例如 Hello）。接下来，新生成的这个词 hello 就会被接入到decoder的输入端，此时decoder的输入序列就变成：[<SOS>, Hello]，模型继续基于这个新的输入序列执行前向推理，预测出第二个词 world，第二个词同样被接入到输入端，这样输入端的输入序列就变成 [<SOS>, Hello, World]，依此类推，直到最终模型预测输出的结果为

<EOS>（End of Sentence，结束符），此时推理停止。

以上就是Decoder执行前向推理预测生成一个个单词的完整流程，因为每生成一个单词，这个单词都会被重新拼接到输入预测序列的最后，用于推理新的单词，这个过程也就是所谓的自回归预测过程。

Decoder Block的结构

Transformer 中的Decoder部分由多个相同的Decoder Block组成，其主要功能是根据Encoder所提供的语义表示（如上图中Encoder部分的输出）和先前已生成的输出标记（如上图中的Outputs Shifted Right部分）生成最终的输出序列。