前言¶

关于本书¶

这是一本面向工程师的 LLM 与 AI 基础设施入门教材。如果你是已经熟悉一门编程语言、做过几年后端或前端工作的工程师，最近因为业务需要或者个人兴趣想要快速建立对大语言模型（Large Language Model, LLM）和 AI 基础设施（AI Infrastructure）的完整心智模型，这本书就是为你写的。

我们假设你能看懂 Python 代码片段，但不需要你预先了解神经网络、反向传播、Transformer 这些概念——本书会从最基础的部分讲起，但节奏会比一份纯入门读物更快，因为我们会假设你具备工程师的工程直觉：你能理解"显存""吞吐量""延迟""分布式""批处理"这些通用计算机系统概念。

为什么写这本书¶

2022 年底 ChatGPT 发布以来，LLM 已经从研究话题变成了工程现实。但相关资料分布极不均衡：

论文与学术教材深度足够，但缺少工程视角；
博客与公众号文章时效性强，但碎片化、难成体系；
框架文档实操性强，但讲不清"为什么"，读者只能记住"怎么做"。

工程师需要的不是再一份"Transformer 详解"，而是一份能让自己在 1-2 周内通读完成、读完后能：

看懂技术新闻（"DeepSeek-V3 用了 MLA"），知道每个名词指什么；
与 ML 同事或候选人对话时不会陷入概念错位；
在做技术决策（选推理引擎、评估量化方案、设计 RAG）时有判断依据；
进一步深入某一方向时知道该读什么。

本书的目标就是这一份"工程师的 LLM 全景速通"。

全书结构¶

全书 15 章 + 附录，可大致分为四个部分：

部分	章节	主题
第一部分：基础	1-4	引言、深度学习基础、Transformer、Tokenizer/Embedding
第二部分：训练	5-7	预训练、后训练（SFT/RLHF/DPO）、量化与稀疏化
第三部分：推理与系统	8-12	KV Cache、推理引擎、分布式训练、向量库/RAG、模型服务
第四部分：应用与未来	13-15	Agent、评估与安全、前沿方向

每章统一结构：导读 → 概念讲解 → SVG 图示 → 代码片段 → 工程实战要点 → 小结 → 练习题。

代码片段以 Python 伪代码与 PyTorch 风格为主，重在表达思路，不追求端到端可运行。每章末尾 5-10 道练习题用于自检，参考答案见附录。

如何阅读¶

顺序通读：第一遍按章节顺序读，重点理解概念与图示，代码片段不必逐行追；
回查参考：第二遍可作为参考手册，按需查阅；
结合实战：每章末尾的"工程实战要点"是真实工程中会遇到的决策点，建议结合自己工作中的场景思考。

致谢¶

本书内容综合了公开论文、官方文档、博客与社区讨论。受限于篇幅，许多细节只能点到为止；如需深入，每章末尾会给出关键参考文献。

下一章：第一章引言与LLM时代全景