步骤 1: 文本预处理与分词

LLM无法直接处理原始字符串，需将其转换为词元（Tokens）序列。

• 文本预处理: 清理（如去HTML标签）、编码转换（UTF-8）、规范化（如小写）。
• 分词 (Tokenization): 将文本切分成词元。现代LLM多采用子词分词 (Subword Tokenization)，平衡词汇表大小和序列长度，处理未登录词 (OOV)。

  子词分词示例 (概念性):

  句子: "探究现代大语言模型"

  BPE 可能分词: ["探究", "现代", "大", "语言", "模型"] 或 ["探", "究", "现代", "大语", "言模型"]

  WordPiece 可能分词: ["探究", "现代", "大", "语言", "模型"] (词内子词可能带##前缀)

  字符级分词: ["探", "究", "现", "代", "大", "语", "言", "模", "型"]

• 主流子词算法:
  • 字节对编码 (Byte Pair Encoding, BPE): GPT系列使用。迭代合并高频字节对。字节级BPE可避免UNK。
  • WordPiece: BERT使用。类似BPE，但基于似然性合并。
  • SentencePiece: Google开发。语言无关，直接从原始句子训练，空格视为普通符号。支持BPE和Unigram。
  • Unigram Language Model: 从大词汇表开始，迭代移除降低似然性最小的词元。
• 特殊词元: 如 ``, ``, ``, `[UNK]`, ``, ``。辅助理解结构、执行任务、控制生成。

步骤 2: 词嵌入与位置编码

将离散的词元ID转换为连续的向量表示，并注入位置信息。

• 词嵌入 (Token Embeddings): 每个词元ID映射到一个稠密的、低维向量 ($d_{model}$维)。通过查找表实现，训练中学习。使得语义相似的词元在嵌入空间中接近。初始是无上下文的。
• 位置编码 (Positional Encoding): Transformer本身不感知顺序，需明确注入位置信息。
  • 绝对位置编码:
    • 正弦/余弦编码: 原始Transformer使用。基于固定公式，可推广到更长序列。
      \(PE_{(pos, 2i)} = \sin(pos / 10000^{2i/d_{model}})\)
      \(PE_{(pos, 2i+1)} = \cos(pos / 10000^{2i/d_{model}})\)
    • 学习的位置编码: 为每个绝对位置学习一个向量。
  • 相对位置编码 (如 RoPE): 更关注词元间相对距离。
    旋转位置编码 (RoPE) LLaMA, PaLM等采用。通过对Q, K向量应用与位置相关的旋转操作注入信息，点积自然取决于相对位置。长度外推性好。
    对Q, K向量应用旋转矩阵：
    \(\begin{pmatrix} \cos m\theta_i & -\sin m\theta_i \\ \sin m\theta_i & \cos m\theta_i \end{pmatrix} \begin{pmatrix} x_j \\ x_{j+1} \end{pmatrix}\)
• 最终输入 = 词嵌入 + 位置编码 (通常相加)。

步骤 3: 解码器核心处理

输入向量序列经过N个相同的解码器层（Decoder Layer）堆叠处理，迭代细化表示。

每个解码器层包含:

• 掩码多头自注意力 (Masked Multi-Head Self-Attention):
  • 自注意力: 计算Query, Key, Value向量。通过Q, K点积计算注意力权重，对V加权求和。
  • 掩码 (Causal Masking): 预测第i个词元时，不能访问未来信息 ($j > i$ 的注意力分数设为负无穷)。
  • 多头: 并行执行h个注意力计算（不同表示子空间），拼接结果后线性变换。增强模型捕捉多样上下文特征的能力。
• 前馈神经网络 (Feed-Forward Network, FFN):
  • 通常2个线性层 + 1个非线性激活函数 (ReLU, GeLU)。
  • $d_{model} \rightarrow d_{ff} (\text{通常} 4 \times d_{model}) \rightarrow d_{model}$。
  • 位置独立，引入非线性，增强表达能力。
• 残差连接 (Residual Connections) 与 层归一化 (Layer Normalization):
  • 残差连接: $x + \text{Sublayer}(x)$。缓解梯度消失，促进信息流动。
  • 层归一化: 稳定训练，加速收敛。
    • Post-LN: $\text{LayerNorm}(x + \text{Sublayer}(x))$ (原始Transformer，可能不稳定)
    • Pre-LN: $x + \text{Sublayer}(\text{LayerNorm}(x))$ (现代LLM常用，更易训练)

步骤 4: 生成下一个词元的概率分布

将解码器最终的隐藏状态转换为词汇表空间中每个词元作为下一个词元的概率。

• 获取最终隐藏状态: 取序列最后一个有效词元对应的最终隐藏状态向量 (维度 $d_{model}$)。
• 线性变换 (语言模型头): 将该隐藏状态向量通过一个权重为 $d_{model} \times \text{vocab\_size}$ 的线性层，输出logits向量 (长度 $\text{vocab\_size}$)。
  权重绑定 (Weight Tying) 输入词嵌入矩阵与输出线性层权重矩阵共享 (转置后)，减少参数，可能提升性能。
• Softmax函数: 将logits转换为概率分布。
  \(P(token_i | \text{context}) = \text{softmax}(z_i) = \frac{e^{z_i}}{\sum_{j=1}^{\text{vocab\_size}} e^{z_j}}\)
  输出向量元素值在0-1之间，和为1。

步骤 5: 词元选择与采样策略

从概率分布中选择一个具体词元作为输出，影响生成文本特性。

• 贪心搜索 (Greedy Search): 选择概率最高的词元。简单快速，但易局部最优，文本可能单调。
• 束搜索 (Beam Search): 每步保留k个最高概率序列。质量通常优于贪心，但计算成本高，仍可能缺乏多样性。
• 随机采样方法: 引入随机性，增强多样性和创造力。
  • 纯随机采样: 直接按概率分布采样，易产生不连贯文本。
  • 温度参数 (Temperature Scaling): $z'_i = z_i / T$。
    • $T > 1$: 分布更平缓，更多样，可能牺牲连贯性。
    • $T < 1$: 分布更尖锐，更保守，接近贪心。
  • Top-k 采样: 仅从概率最高的k个词元中采样。
  • Top-p (核心) 采样: 从累积概率超过阈值p的最小词元集中采样，候选集大小动态调整。
  • Min-p 采样: Top-p的改进，平衡质量和多样性。

步骤 6: 自回归生成与终止条件

选定词元后，进入循环生成过程，直到满足终止条件。

• 自回归生成:
  • 选出的词元ID添加到当前序列末尾。
  • 新序列作为LLM下一时间步的输入，重复步骤3-5。
  • “生成-反馈-再生成”循环，当前输出依赖先前所有输出。
• 终止条件:
  • 生成结束符 (End-of-Sequence, EOS token): 如``。模型学习在内容自然结束时生成。最理想的停止方式。
  • 达到最大长度限制 (Maximum Length): 防止过长或无限生成。安全网。
  • 其他自定义停止序列: 如特定标记。
• 推理挑战: 自回归生成是串行的，可能耗时。KV缓存等技术用于优化。