深入理解 AI Infra：量化分析與系統設計開源書

解決什麼

多數開發者呼叫模型 API 時只關心功能實現,卻不清楚為什麼同樣的請求延遲相差幾倍、成本差一個數量級。這本開源書從第一性原理出發,教你量化計算一次生成需要多少視訊記憶體、計算量和資料讀寫,理解注意力機制、KV 快取、MoE 架構如何改變資源需求,掌握從單卡到萬卡叢集的系統設計權衡。作者李博傑曾參與 FPGA 加速 Bing 搜尋、昇騰 AKG 運算元生成等專案,將"從約束推導設計"的方法論貫穿全書:先按硬體容量、頻寬、算力做數量級估算,再對照實測找出最佳化空間。

為何火

作為《深入理解 AI Agent》(45k+ stars)的姊妹篇,本書填補了中文技術社群在 AI 基礎設施量化分析領域的空白。不同於泛泛介紹概念的資料,全書圍繞"搬什麼、搬多少、搬幾次、經過哪裡、誰必須等它"五個核心問題,用實際算例拆解 Qwen、DeepSeek 等主流模型的資源消耗。4500+ stars 的熱度來自其工程實用性:配套 Python 計算工具可直接復現書中數字,換成自己的模型和硬體立即得到估算結果,無需 GPU 或模型權重。書稿開源在 GitHub,每次更新自動構建 PDF/EPUB 釋出,讀者可追蹤最新修訂。

核心功能

全書 12 章涵蓋從模型架構到資料中心網路的完整技術棧:第 1-3 章建立模型與負載的量化認知,第 4-7 章深入加速器架構、運算元執行時、超節點和網路通訊,第 8-10 章聚焦推理最佳化、分散式推理和訓練系統,第 11-12 章討論資源排程與端邊雲協同。每章附帶配套實驗(experiments/ 目錄按章節組織),提供執行方法、輸入條件和結果記錄。計算工具支援檢視模型配置、估算逐運算元資源需求,例如 python3 calculations/calc.py forward --model qwen3-8b --tokens 8192 即可輸出 Qwen3-8B 在 8192-token prefill 下的詳細分析。

安裝

克隆倉庫後即可閱讀 Markdown 正文,推薦下載 PDF(GitHub Releases 自動構建):

git clone https://github.com/bojieli/ai-infra-book.git
cd ai-infra-book
# 靜態計算只需 Python 3.10+ 標準庫
python3 calculations/calc.py models

本地構建網站需 Python 3.10+ 和依賴包,PDF 編譯需 Pandoc、XeLaTeX 和中文字型。倉庫使用 Git LFS 儲存論文和實驗記錄(約 20GB),預設跳過 LFS 檔案,復現特定實驗時按需拉取:git lfs pull --include="experiments/ch05/05-01/**" --exclude=""。

適合誰

已呼叫過模型 API 或在本地執行過模型,想弄清效能瓶頸和成本最佳化方向的開發者;從事系統、網路、晶片工作的工程師和研究人員,需要了解各層設計與實際模型任務的聯絡。閱讀需要 Python、線性代數和計算機系統基礎。建議先讀第 1-3 章建立認知,做應用和推理服務重點看第 8-9 章,做系統網路關注第 5-7 章,做晶片體系結構深入第 4-7 章。中文使用者可直接閱讀原版,英文版由社群翻譯(可能滯後)。

社群評價

暫無足量社群公開討論,以下為基於專案本身的中立評估:本書在 GitHub 獲得 4500+ stars,顯示出技術社群對量化分析方法的認可。作為開源技術書,其價值在於打破"黑盒呼叫"思維,用第一性原理拆解模型執行的資源消耗。配套計算工具和實驗記錄增強了可復現性,讀者可驗證書中結論並應用到自己的場景。書稿仍處初稿階段持續修訂,作者鼓勵讀者通過 Issue 或 PR 參與勘誤和改進,體現開源協作的迭代優勢。

選型對比

市面上 AI 基礎設施的書籍多為概念介紹或特定框架教程,本書獨特之處在於"量化推導":不只告訴你用什麼技術,而是教你算出為什麼用、能省多少。對標《計算機體系結構:量化研究方法》在傳統領域的地位,本書將同樣的方法論應用到 LLM 時代。相比商業培訓課程動輒數千元,開源書籍零成本獲取且持續更新。與純論文閱讀相比,本書提供系統化的知識框架和工程算例,降低入門門檻。配套工具可直接用於生產環境的容量規劃,實用性強於純理論資料。

已知坑

書稿明確標註為初稿,部分章節可能存在推導跳步或概念交代不足的情況,作者歡迎讀者指出不清楚的地方。倉庫使用 Git LFS 儲存大檔案,完整克隆需 20GB 空間,建議按需拉取實驗資料。PDF 本地編譯依賴 XeLaTeX 和中文字型,環境配置有一定門檻,不熟悉 LaTeX 的讀者建議直接下載 Releases 中的預編譯版本。配套實驗需要 GPU 環境,沒有相應硬體的讀者只能閱讀已有記錄無法復現。書中算例基於特定模型版本和硬體配置,實際應用時需根據自己的環境調整引數,不可直接套用結論。