深入理解 AI Infra：量化分析与系统设计开源书

解决什么

多数开发者调用模型 API 时只关心功能实现,却不清楚为什么同样的请求延迟相差几倍、成本差一个数量级。这本开源书从第一性原理出发,教你量化计算一次生成需要多少显存、计算量和数据读写,理解注意力机制、KV 缓存、MoE 架构如何改变资源需求,掌握从单卡到万卡集群的系统设计权衡。作者李博杰曾参与 FPGA 加速 Bing 搜索、昇腾 AKG 算子生成等项目,将"从约束推导设计"的方法论贯穿全书:先按硬件容量、带宽、算力做数量级估算,再对照实测找出优化空间。

为何火

作为《深入理解 AI Agent》(45k+ stars)的姊妹篇,本书填补了中文技术社区在 AI 基础设施量化分析领域的空白。不同于泛泛介绍概念的资料,全书围绕"搬什么、搬多少、搬几次、经过哪里、谁必须等它"五个核心问题,用实际算例拆解 Qwen、DeepSeek 等主流模型的资源消耗。4500+ stars 的热度来自其工程实用性:配套 Python 计算工具可直接复现书中数字,换成自己的模型和硬件立即得到估算结果,无需 GPU 或模型权重。书稿开源在 GitHub,每次更新自动构建 PDF/EPUB 发布,读者可追踪最新修订。

核心功能

全书 12 章涵盖从模型架构到数据中心网络的完整技术栈:第 1-3 章建立模型与负载的量化认知,第 4-7 章深入加速器架构、算子运行时、超节点和网络通信,第 8-10 章聚焦推理优化、分布式推理和训练系统,第 11-12 章讨论资源调度与端边云协同。每章附带配套实验(experiments/ 目录按章节组织),提供运行方法、输入条件和结果记录。计算工具支持查看模型配置、估算逐算子资源需求,例如 python3 calculations/calc.py forward --model qwen3-8b --tokens 8192 即可输出 Qwen3-8B 在 8192-token prefill 下的详细分析。

安装

克隆仓库后即可阅读 Markdown 正文,推荐下载 PDF(GitHub Releases 自动构建):

git clone https://github.com/bojieli/ai-infra-book.git
cd ai-infra-book
# 静态计算只需 Python 3.10+ 标准库
python3 calculations/calc.py models

本地构建网站需 Python 3.10+ 和依赖包,PDF 编译需 Pandoc、XeLaTeX 和中文字体。仓库使用 Git LFS 保存论文和实验记录(约 20GB),默认跳过 LFS 文件,复现特定实验时按需拉取:git lfs pull --include="experiments/ch05/05-01/**" --exclude=""。

适合谁

已调用过模型 API 或在本地运行过模型,想弄清性能瓶颈和成本优化方向的开发者;从事系统、网络、芯片工作的工程师和研究人员,需要了解各层设计与实际模型任务的联系。阅读需要 Python、线性代数和计算机系统基础。建议先读第 1-3 章建立认知,做应用和推理服务重点看第 8-9 章,做系统网络关注第 5-7 章,做芯片体系结构深入第 4-7 章。中文用户可直接阅读原版,英文版由社区翻译(可能滞后)。

社区评价

暂无足量社区公开讨论,以下为基于项目本身的中立评估:本书在 GitHub 获得 4500+ stars,显示出技术社区对量化分析方法的认可。作为开源技术书,其价值在于打破"黑盒调用"思维,用第一性原理拆解模型运行的资源消耗。配套计算工具和实验记录增强了可复现性,读者可验证书中结论并应用到自己的场景。书稿仍处初稿阶段持续修订,作者鼓励读者通过 Issue 或 PR 参与勘误和改进,体现开源协作的迭代优势。

选型对比

市面上 AI 基础设施的书籍多为概念介绍或特定框架教程,本书独特之处在于"量化推导":不只告诉你用什么技术,而是教你算出为什么用、能省多少。对标《计算机体系结构:量化研究方法》在传统领域的地位,本书将同样的方法论应用到 LLM 时代。相比商业培训课程动辄数千元,开源书籍零成本获取且持续更新。与纯论文阅读相比,本书提供系统化的知识框架和工程算例,降低入门门槛。配套工具可直接用于生产环境的容量规划,实用性强于纯理论资料。

已知坑

书稿明确标注为初稿,部分章节可能存在推导跳步或概念交代不足的情况,作者欢迎读者指出不清楚的地方。仓库使用 Git LFS 保存大文件,完整克隆需 20GB 空间,建议按需拉取实验数据。PDF 本地编译依赖 XeLaTeX 和中文字体,环境配置有一定门槛,不熟悉 LaTeX 的读者建议直接下载 Releases 中的预编译版本。配套实验需要 GPU 环境,没有相应硬件的读者只能阅读已有记录无法复现。书中算例基于特定模型版本和硬件配置,实际应用时需根据自己的环境调整参数,不可直接套用结论。