跳转至

附录 术语表

按字母序排列的 LLM 与 AI Infra 中英对照术语表。每条目后给出简要解释，便于查阅。

A

  • Adam / AdamW：主流优化器。AdamW 是 Adam + 权重衰减解耦，当前 LLM 训练事实标准。
  • AGI（Artificial General Intelligence）：通用人工智能，能在所有智力任务上达到或超越人类。当前 LLM 还未达成。
  • Agent：LLM + 工具调用 + 循环的复合系统，能"做事"而不只是"说话"。
  • ANN（Approximate Nearest Neighbor）：近似最近邻搜索，向量库核心算法。
  • AlpacaEval：基于 LLM-as-judge 的对话质量评测。
  • ALiBi：位置编码方案，在 attention score 上加位置偏置。

B

  • BPE（Byte Pair Encoding）：主流子词分词算法，GPT/Llama 等用。
  • BBPE（Byte-level BPE）：以字节为基础单元的 BPE，永不产生 UNK。
  • bf16（Brain Float 16）：与 fp16 同为 2 字节，但范围同 fp32，更稳定，现代训练主流。
  • Benchmark：基准测试集，如 MMLU、HumanEval。
  • Block table：PagedAttention 中记录 seq → 物理 block 列表的数据结构。

C

  • Causal Mask：Transformer Decoder 用的下三角 mask，防止看见未来 token。
  • Chinchilla Scaling Laws：DeepMind 2022 提出，建议 D ≈ 20 × N。
  • Continuous Batching：每 step 动态重组 batch，长短请求混跑，配合 PagedAttention 实现。
  • Cross-Entropy：分类与 LLM 预训练的标准 loss。
  • Context Window：模型一次能处理的最大 token 数。
  • Constitutional AI：Anthropic 的自我批评 + 自我修正训练方法。
  • Cross-attention：Encoder-Decoder 模型中 Decoder 拿 Encoder 输出做 K/V 的注意力。

D

  • DPO（Direct Preference Optimization）：直接从偏好对训策略，简化版 RLHF。
  • DP（Data Parallelism）：数据并行，每卡完整模型，数据切分。
  • DeepSpeed：Microsoft 分布式训练框架，ZeRO 系列作者。
  • DPSGD：差分隐私 SGD，保护训练数据隐私。

E

  • Embedding：把离散 token 映射到稠密向量的查表操作。
  • EOS（End of Sequence）：序列结束符，生成时遇到即停。
  • Expert Parallelism：MoE 模型按 expert 切到不同 GPU 的并行策略。

F

  • FFN（Feed-Forward Network）：Transformer 中每层 attention 后的前馈网络，占参数量大头。
  • FSDP（Fully Sharded Data Parallel）：PyTorch 原生版 ZeRO-3。
  • FlashAttention：分块 + SRAM 重用的注意力 IO 优化，1/2/3 三代。
  • FP8：1 字节浮点，H100 起原生支持，"无脑量化"。
  • Function Calling：LLM 原生支持的结构化工具调用接口。

G

  • GQA（Grouped-Query Attention）：多 head 共享 K/V 组，KV Cache 折中方案，现代主流。
  • GPT（Generative Pre-trained Transformer）：OpenAI 系列，decoder-only 架构鼻祖。
  • GPQA：研究生级 benchmark，难度高、防污染。
  • GPTQ：基于 Hessian 的 INT4 后量化方法。
  • Gradient Clipping：限制梯度范数，防爆炸。

H

  • HNSW（Hierarchical Navigable Small World）：分层图结构的 ANN 算法，主流向量库用。
  • Hybrid Retrieval：向量检索 + BM25 关键词检索的融合。
  • HyDE：先让 LLM 假设答案，用假设答案做 query 检索。

I

  • IVF（Inverted File）：基于聚类的 ANN 索引。
  • IFEval：指令遵循能力 benchmark。
  • Inference Engine：推理引擎，如 vLLM、TensorRT-LLM。

J

  • Jailbreak：越狱攻击，绕过模型对齐。
  • Jamba：Transformer + Mamba 混合架构。

K

  • KV Cache：缓存历史 K/V 避免重复计算的推理优化。
  • KL Divergence：衡量两个分布差异，RLHF 中约束 policy 不偏离 ref。
  • KTO：Kahneman-Tversky Optimization，单样本偏好优化。

L

  • LoRA（Low-Rank Adaptation）：低秩适配器微调，业务首选。
  • LMSys Arena：基于真实用户偏好的 Elo 评分榜。
  • LayerNorm / RMSNorm：层归一化，RMSNorm 是简化版，现代主流。
  • Long-context：长上下文，4K→1M+ 的窗口扩展。
  • LiveBench：持续更新防污染的 benchmark。

M

  • MHA（Multi-Head Attention）：标准多头注意力。
  • MQA（Multi-Query Attention）：所有 head 共享 1 个 K/V，KV Cache 极小。
  • MLA（Multi-head Latent Attention）：DeepSeek 的 latent 投影 KV 压缩方案。
  • MoE（Mixture of Experts）：多专家路由，总参大激活小。
  • MMLU：57 科多项选择知识 benchmark。
  • MT-Bench：多轮对话 benchmark，GPT-4 当裁判。
  • MCP（Model Context Protocol）：Anthropic 提出的工具协议标准。
  • Mamba / SSM：状态空间模型，Transformer 替代方案之一。
  • MFU（Model FLOPs Utilization）：实际算力 / 峰值算力，40-55% 算优秀。

N

  • Next-Token Prediction：预测下一个 token，LLM 预训练任务。
  • NCCL：NVIDIA 集合通信库。
  • NIST AI RMF：美国 NIST 的 AI 风险管理框架。

O

  • o1 / 推理模型：显式生成 chain-of-thought + RL 优化的推理路线。
  • Optimizer States：Adam 等优化器存的动量/方差，占训练显存大头。
  • Over-refusal：过对齐，合理问题被拒答。

P

  • PagedAttention：vLLM 的分页 KV Cache 管理，借鉴 OS 虚拟内存。
  • PPO（Proximal Policy Optimization）：RLHF 用的策略梯度算法。
  • PTQ（Post-Training Quantization）：训练后量化，最常用。
  • QAT（Quantization-Aware Training）：训练时模拟量化，质量好但成本高。
  • Perplexity：语言模型困惑度，exp(loss)，越低越好。
  • Positional Encoding：位置编码，注入顺序信息。
  • Prefill：LLM 推理处理 prompt 的阶段，算力密集。
  • Phi：Microsoft 的小模型系列，证明数据质量 > 规模。
  • Prompt Injection：prompt 注入攻击。
  • Power-of-2-choices：负载均衡算法，随机选 2 再选较闲者。

Q

  • Q/K/V（Query/Key/Value）：Attention 的三个投影。
  • QLoRA：4bit 量化基础模型 + LoRA fp16 微调，消费级 GPU 可用。
  • Q-Former：BLIP-2 提出的视觉到文本的桥接模块。

R

  • RAG（Retrieval-Augmented Generation）：检索增强生成。
  • ReAct：Reasoning + Acting 的 Agent 范式。
  • RLHF（Reinforcement Learning from Human Feedback）：人类反馈强化学习。
  • RLAIF：用 AI 反馈替代人类反馈。
  • RoPE（Rotary Position Embedding）：旋转位置编码，外推性好，现代主流。
  • RMSProp：自适应学习率优化器。
  • Red Teaming：红队攻击测试模型安全。
  • Rerank：用 cross-encoder 对召回结果重排，提升精度。
  • RadixAttention：SGLang 的基数树 prefix cache。
  • Reflexion：失败后反思再重试的 Agent 范式。

S

  • SFT（Supervised Fine-Tuning）：监督微调。
  • Scaling Laws：损失随算力/参数/数据的幂律关系。
  • Self-Attention：自注意力，Transformer 核心。
  • SentencePiece：语言无关的分词器实现。
  • SwiGLU：现代 LLM 主流 FFN 激活。
  • Speculative Decoding：投机解码，小模型生成 + 大模型验证，质量无损加速。
  • SmoothQuant：迁移激活难度到权重的量化方法。
  • Sliding Window Attention：滑动窗口注意力，长上下文优化。
  • SWE-Bench：软件工程任务 benchmark。
  • Spot Instance：可被回收的低价云实例，适合容错训练。
  • SSM（State Space Model）：状态空间模型，Mamba 等。

T

  • TP（Tensor Parallelism）：张量并行，权重按维度切分。
  • PP（Pipeline Parallelism）：流水并行，模型按层切分。
  • Transformer：2017 年提出的核心架构，所有现代 LLM 基础。
  • Tied Embedding：输入 embedding 与输出 LM head 共享权重。
  • TensorRT-LLM：NVIDIA 推理引擎，极致延迟。
  • TGI：HuggingFace 推理引擎。
  • Triton：OpenAI 的 GPU kernel DSL。
  • TTFT（Time To First Token）：首 token 延迟。
  • TPOT（Time Per Output Token）：每 token 延迟。
  • Tree of Thoughts：树搜索式 Agent 范式。
  • Tied LoRA：多 LoRA 切换的工程方案。

U

  • UNK（Unknown Token）：未登录词标记，BBPE 后基本不产生。

V

  • vLLM：最流行的开源推理引擎，PagedAttention 作者。
  • ViT（Vision Transformer）：视觉 Transformer，多模态视觉编码器常用。
  • Vector Database：向量数据库，如 Milvus/Qdrant/pgvector。

W

  • Warmup：学习率从 0 线性升到目标值，LLM 训练必用。
  • WordPiece：BERT 用的子词分词算法。
  • WSD：Warmup-Stable-Decay 学习率调度。

X / Y / Z

  • YaRN：RoPE 位置外推方法，扩展上下文窗口。
  • ZeRO（Zero Redundancy Optimizer）：DeepSpeed 的显存切分优化，1/2/3 三阶段。
  • Zero-shot / Few-shot：零样本 / 少样本推理。

附录 习题参考答案 附录 配套资源