LlamaFactory：零程式碼微調100+大模型的開源平臺
hiyouga/LlamaFactory ·
零程式碼微調100+主流LLM/VLM的一站式工具,支援LoRA/QLoRA/RLHF等全鏈路訓練,配備Web介面和CLI,已被亞馬遜/輝達等採用
成熟度：維護活躍,最近提交4天前,open issues 1067個,已獲ACL 2024收錄,商業級採用案例
项目体检
技术 · Python 3.11+ + PyTorch 2.4+ + Transformers 4.55+ + Gradio 4.38+ (Web界面) + PEFT/TRL训练库
许可 · Apache-2.0,允许商用且无需开源修改,可自由集成到商业产品
活跃 · 极活跃:最新版本v0.9.5发布于2个月前,286位贡献者持续维护,4天前仍有代码提交
LlamaFactory 是一個簡單易用且高效的大型語言模型訓練與微調平臺，由 GitHub 使用者 hiyouga 維護的開源社群專案（倉庫 hiyouga/LlamaFactory），不是某一家模型廠商的閉源官方控制台，而是面向本地與雲端訓練場景的第三方開源工具。
它主要解決「想在自己環境裡微調上百種預訓練模型、又不想從零寫訓練程式碼」的問題，適合需要本地或自託管微調、對齊與匯出的研究者、工程團隊與愛好者。最關鍵的使用邊界是：能力與成本高度依賴你自己的 GPU/NPU 與資料條件，專案本身提供的是訓練與部署工具鏈，而不是包乾式的託管微調 SaaS 標價方案。
核心能力可概括為：通過零程式碼命令列與 WebUI（LLaMA Board）做持續預訓練、多模態指令監督微調、獎勵模型與 PPO/DPO/KTO/ORPO 等對齊訓練，並支援 LoRA/QLoRA、多後端推理匯出以及 OpenAI 風格 API 部署。
LlamaFactory 官網首頁整頁截圖
LlamaFactory是什麼？誰開發的是否官方專案？
LlamaFactory 官方中文文件的定位是：簡單易用且高效的大型語言模型（Large Language Model）訓練與微調平臺，可在無需編寫任何程式碼的前提下，在本地完成上百種預訓練模型的微調。
GitHub README 的概括是：輕鬆微調 100+ 大型語言模型，提供零程式碼命令列（CLI）和 Web UI，並強調對前沿模型族的 Day-N 微調支援。倉庫地址為 https://github.com/hiyouga/LlamaFactory，主頁指向 https://llamafactory.readthedocs.io。
它是開源社群專案，不是單家閉源「官方控制台」。README 提到已被 Amazon、NVIDIA、Aliyun 等使用。v0.9.4 起倉庫名由 LLaMA-Factory 更新為 LlamaFactory，與舊稱指向同一專案演進線。
LlamaFactory GitHub 倉庫頁整頁截圖
專案還提供技術說明、AMD GPU 文件、昇騰 NPU 文件與官方部落格等學習入口，並設有微信與 NPU 使用者社群。英文文件頁面被明確標註為進行中（WIP）。
LlamaFactory開源許可證是什麼？可以商用嗎？
GitHub 倉庫登記的許可證為 Apache-2.0。最新發布版本為 v0.9.5。
官方頁面沒有列出定價與獨立「商用授權套餐」：專案以開源倉庫與文件站點分發，不在同一頁面上再列一套付費授權價目。是否符合你的商用合規要求，需要直接閱讀 Apache-2.0 許可文本，並結合你方資料、模型權重與部署環境的第三方條款自行判斷。
README 還提醒：除列出的官方連結外，其他網站均為未經授權的第三方網站，請謹慎使用。這與許可證是不同層面的風險——第三方映象或「李鬼」站點可能夾帶不明改動。
LlamaFactory能做什麼？真能零程式碼微調100+大模型嗎？
官方稱可以在無需編寫任何程式碼的前提下，在本地完成上百種預訓練模型的微調；README 同步寫明零程式碼命令列與 Web UI。這裡的「零程式碼」指常規微調流程可通過命令列引數/配置與 WebUI 完成，而不是完全不能擴充套件程式碼。
已支援的模型族（文件與 README 列舉）包括：
- LLaMA、LLaVA、Mistral、Mixtral-MoE
- Qwen / Qwen3 / Qwen3-VL、DeepSeek、Yi、Gemma、GLM、Baichuan、ChatGLM、Phi 等
- Day 0 級支援示例：Qwen3、Qwen2.5-VL、Gemma 3、GLM-4.1V、InternLM 3、MiniCPM-o-2.6
- Day 1 級支援示例：Llama 3、GLM-4、Mistral Small、PaliGemma2、Llama 4
訓練與對齊方法包括：
- （增量）預訓練、（多模態）指令監督微調
- 獎勵模型訓練、PPO、DPO、KTO、ORPO
- 釋出說明中還提到 MPO、FP8 訓練等路徑
引數高效與節省視訊記憶體相關選項包括：
- 16-bit 全引數微調、凍結微調、LoRA
- 2/3/4/5/6/8-bit QLoRA（經 AQLM/AWQ/GPTQ/LLM.int8/HQQ/EETQ 等）
- 進階演算法：GaLore、BAdam、APOLLO、Adam-mini、Muon、OFT、DoRA、LongLoRA、LLaMA Pro、Mixture-of-Depths、LoRA+、LoftQ、PiSSA 等
- 加速與技巧：FlashAttention-2、Unsloth、Liger Kernel、KTransformers、RoPE scaling、NEFTune、rsLoRA 等
任務面覆蓋： 多輪對話、工具呼叫、影像理解、視覺定位、影片識別、音訊理解等。對多數模型，可用工具呼叫資料集做智慧體調優（agent tuning），為模型配備工具使用能力；也可使用 Glaive Function Calling V2（en&zh）等工具呼叫資料。
監控： LlamaBoard、TensorBoard、Wandb、MLflow、SwanLab 等。
若需要接入自定義模型，文件說明可在 src/llamafactory/data/template.py 用 register_template 註冊模板，在 src/llamafactory/extras/constants.py 提供下載路徑；多模態還可涉及 src/llamafactory/data/mm_plugin.py，並支援 ModelScope 等下載源。
如何快速安裝LlamaFactory並啟動WebUI做零程式碼微調？
v0.9.4 起安裝方式由 pip 遷到 uv，釋出說明給出的安裝命令為：
uv pip install llamafactory
含義簡述：
uv：釋出說明要求使用的安裝工具鏈（自 pip 遷移而來）pip install：在 uv 管理的環境中安裝包llamafactory：要安裝的專案包名
部分資料集使用前需要確認授權，README 建議先登入 Hugging Face 賬號：
pip install "huggingface_hub<1.0.0"
huggingface-cli login
huggingface_hub<1.0.0：安裝低於 1.0.0 的 Hub 客戶端huggingface-cli login：寫入賬號憑證，以便訪問需確認的資料集
環境版本（README 表格）：
| 元件 | 最低 | 推薦 |
|---|---|---|
| torch | 2.0.0 | 2.6.0 |
| transformers | 4.49.0 | 4.50.0 |
| CUDA（可選平臺） | 11.6 | 12.2 |
README 還列出 deepspeed、bitsandbytes、vllm、flash-attn 等可選執行時依賴的最低/推薦版本，安裝加速或量化後端前應按當前 README 表格核對。
v0.9.4 起需要 Python 3.11–3.13（3.9–3.10 已棄用）。若最新特性不可用，README 說明應拉取最新程式碼並重新安裝。某些模型需從 main 分支安裝 transformers，並使用 DISABLE_VERSION_CHECK=1 跳過版本檢查。
啟動 WebUI（LLaMA Board）：
README 寫明開發了一體化 Web UI（all-in-one Web UI），用於訓練、評估與推理；GUI 路徑稱為 LLaMA Board（基於 Gradio）。安裝 llamafactory 包之後，即可按 README 中「Fine-Tuning with LLaMA Board GUI」路徑進入瀏覽器介面，在頁面上選擇模型、資料集與微調方法，而不必先寫訓練指令碼。
官方公開說明裡強調的是「安裝後通過 LLaMA Board / Gradio 做零程式碼微調」這一結果，本地訓練與雲端訓練都是文件寫明的用法。另支援 Docker 構建；v0.9.3 起提供官方 GPU Docker 映象。雲端入口包括 Colab（免費）、PAI-DSW（免費試用）、AMD GPU Cloud（免費額度）。
模板必須一致： 基座模型可選 default、alpaca、vicuna 等；指令/對話模型務必使用對應模板；訓練與推理要使用同一模板。可在 template.py 新增自定義聊天模板。若模型同時存在推理（reasoning）與非推理（non-reasoning）版本，使用 _nothink 字尾區分。推理模型另有 enable_thinking 引數。
怎樣用LoRA/QLoRA高效微調Qwen/DeepSeek？資料準備到訓練完整演示
Qwen、DeepSeek 均在 README 支援列表中。資源高效路徑明確包含 LoRA 與 2/3/4/5/6/8-bit QLoRA。下面以官方 README 可核對的「工具呼叫智慧體調優（agent tuning）+ LoRA/QLoRA」最小 SFT 為例，寫清輸入、關鍵配置欄位、步驟與得到的結果（不編造未公佈的損失或準確率）。
以 glaive_toolcall_en 工具呼叫資料做 LoRA 監督微調為例
1. 輸入（訓練前準備好的物件）
| 項 | 取值（文件可核對） |
|---|---|
| 模型 | README 支援列表中的指令/Chat 版，例如 Qwen3 或 DeepSeek 係指令模型 |
| 資料集 | dataset: glaive_toolcall_en（README 寫明：通過該工具呼叫資料為多數模型做 agent tuning，配備 tool using 能力） |
| 模板 | 與該指令/Chat 模型對應的模板；基座才用 default / alpaca / vicuna 等 |
| 演算法 | LoRA，或 2/3/4/5/6/8-bit QLoRA（經 AQLM/AWQ/GPTQ/LLM.int8/HQQ/EETQ） |
| 訓推約定 | 訓練與推理使用同一模板（README：Remember to use the SAME template） |
2. 安裝與資料訪問（先得到可執行環境）
uv pip install llamafactory
若資料集需要 Hugging Face 確認：
pip install "huggingface_hub<1.0.0"
huggingface-cli login
也可按 README 從 ModelScope Hub 或 Modelers Hub 下載模型與資料。
3. 關鍵配置欄位（寫入訓練配置 / 命令列引數）
一次最小可核對配置應至少固定這些欄位（欄位名來自 README/文件）：
### 模型與資料
model_name_or_path: <Qwen3 或 DeepSeek 指令模型路徑或 Hub 名>
dataset: glaive_toolcall_en
template: <與該指令模型對應的模板名>
### 高效微調
finetuning_type: lora # 或走 QLoRA 量化路徑
# QLoRA 時再配合 AQLM/AWQ/GPTQ/LLM.int8/HQQ/EETQ 等量化後端
### 可選省視訊記憶體 / 長文本 / 大數據開關（按需）
# streaming: true
# max_steps: 10000
# neat_packing: true
# shift_attn: true
# rope_scaling: linear # 訓練階段；推理改 dynamic
說明：
dataset: glaive_toolcall_en：官方寫明的工具呼叫智慧體調優資料欄位template：指令模型必須用對應模板；PaliGemma 這類預訓練模型則需paligemma模板才能較好用於對話補全finetuning_type: lora/ QLoRA：對應支援表中的 LoRA、QLoRA 列- 若模型同時有推理與非推理版本，用
_nothink字尾區分；推理模型可加enable_thinking - 中文文件入門路徑覆蓋 SFT 訓練；本地訓練入口見 README 的 Start local training
4. 啟動訓練並監控
按 README「Start local training」或中文文件「SFT 訓練」啟動後：
- 過程可用 LlamaBoard、TensorBoard、Wandb、MLflow、SwanLab 檢視曲線
- 釋出說明支援 early-stopping，驗證指標不再提升時可提前結束
- 得到的直接結果：可儲存的 LoRA 介面卡 / 檢查點（不是固定榜單分數）
5. 儲存、合併、匯出與推理（輸出物）
按入門文件「模型儲存、LoRA 合併與量化」繼續：
- 儲存檢查點，必要時做 LoRA 合併與量化
- 匯出檢查點時可儲存 Ollama modelfile，便於轉到 Ollama 側載入
- 推理走 OpenAI 風格 API、Gradio UI 或 CLI；worker 可選 vLLM 或 SGLang
- 配置
infer_backend: vllm時，官方稱可獲得約 270% 的推理速度 - demo API 已對齊 OpenAI 格式，便於接到現有 Chat 應用
6. 本示例結束後你應拿到的結果清單
| 結果 | 說明 |
|---|---|
| LoRA/QLoRA 檢查點 | SFT 正常結束的直接產物 |
| （可選）合併後權重 | 經「LoRA 合併與量化」得到 |
| Ollama modelfile | 匯出檢查點時官方支援儲存 |
| 可呼叫的推理服務 | OpenAI 風格 API + vLLM 或 SGLang；或 Gradio UI / CLI |
| 能力傾向 | README 對 glaive_toolcall_en 的表述：為模型配備工具使用（tool using）能力 |
視訊記憶體與規模相關的官方參考（估算，非你機器上的保證值）：
- 全量
bf16/fp16：硬體表為估算（estimated），7B 約 120GB、14B 約 240GB - FSDP+QLoRA：可在 2×24GB GPU 上微調 70B
- Unsloth：官方描述有 Llama-2-7B-56k within 24GB，並稱相對 FlashAttention-2 可到 117% 速度、50% 視訊記憶體
- KTransformers：官方稱可在 2×4090 GPU + CPU 場景探索 1000B 級微調
- v0.9.5 支援 FSDP2、用
ray.remote啟動分散式；v0.9.4 支援 DeepSpeed AutoTP
若最新特性不可用，README 說明應拉取最新程式碼並重新安裝。另有 vLLM-ascend、昇騰 NPU、Megatron Bridge / mcore_adapter 等進階後端，可按硬體替換，不改變「glaive_toolcall_en → LoRA/QLoRA SFT → 匯出 → API 推理」主鏈。
RLHF/DPO等對齊訓練在LlamaFactory裡如何配置與避坑？
LlamaFactory 把對齊相關能力寫進同一套平臺，而不是隻做 SFT。
文件與 README 對齊相關能力：
- 獎勵模型訓練
- PPO 訓練
- DPO 訓練
- KTO 訓練
- ORPO 訓練
- 釋出說明中的 MPO 演算法支援
配置時建議抓住的邊界：
-
先 SFT 再對齊的資料與模板一致
訓練/推理模板必須相同；指令模型要用對應模板，避免「對齊階段換模板」導致對話格式漂移。 -
方法列在支援表中，不代表每條模型線都有完整復現教程
社群 issue 中有人提出結合 GRPO 復現 DeepSeek-R1 類推理模型、向 huggingface open-r1 看齊的需求（#6792），說明強化學習/推理模型復現仍是高頻討論區，而不是「一鍵等於論文全套」。 -
yaml 與命令列如何同時用
有使用者提問如何同時使用 yaml 與 CLI 引數（#5830）。若你的復現依賴大量超參，需要事先理清覆蓋優先順序，避免被另一側引數悄悄覆蓋。 -
多模態與 VLM 對齊/微調的細節
存在 LLaVA 實現嚴重不對齊的討論（#6008），以及 VLM 上為視覺編碼器與語言骨幹設定不同學習率的需求（#5831）。做多模態獎勵建模或偏好對齊前，應先驗證視覺側輸入鏈路。 -
匯出合併後再服務
有報告顯示合併 LoRA 後的 GPT-OSS 20B 在 vLLM 服務部署時出現 KeyError（#8969）。對齊後的服務路徑（合併權重 / 介面卡載入 / 推理後端）要單獨冒煙，不能預設「訓練成功＝服務成功」。 -
功能型偏好與工具呼叫
需要更通用函式呼叫（function call）方式的討論仍在進行（#8351）。工具呼叫資料（如 Glaive 系列）與 DPO/PPO 偏好資料是不同目標，不要混成同一套指標。
LlamaFactory自託管成本高嗎？有云版嗎多少錢？
LlamaFactory 本身以開源本地/自託管為主；README 同時給出「雲端訓練」入口，但那些是 Colab、PAI-DSW、AMD GPU Cloud 等外部算力環境，不是專案頁面上的一檔固定「LlamaFactory 企業版月費」。官方沒有列出獨立託管微調定價表，因此下表只整理已寫明的使用路徑與費用屬性，不把外部雲的隱性賬單寫成官方套餐價。
| 方案 | 價格 | 關鍵額度 | 適合誰 |
|---|---|---|---|
| 本地自託管 | 開源使用；算力自備 | 視自有 GPU/NPU；全參 7B 估算約 120GB 級視訊記憶體 | 有機器、要資料本地化的團隊 |
| Colab | 頁面標註免費 | 有免費 T4 微調 Llama-3 的 notebook 說明 | 試用流程、學生與入門 |
| PAI-DSW | 免費試用 | 試用額度以平臺為準 | 想在阿里雲系環境試跑的人 |
| AMD GPU Cloud | 免費額度 | 贈金/積分以平臺為準 | 有 AMD 資源或想用其贈金的人 |
表後補充：
- 硬體錶帶有估算（estimated）標註：全引數微調（Full，bf16 或 fp16）在表中對應 7B→120GB、14B→240GB 等估算，不能當成你機器上的保證值
- 降成本常用路徑：LoRA/QLoRA、FSDP+QLoRA（官方描述 70B @ 2×24GB）、Unsloth、KTransformers、量化匯出、vLLM/SGLang 推理
- v0.9.3 支援 S3/GCS 雲資料；適合資料在物件儲存、訓練在雲主機的拆分架構
- 昇騰 NPU 有安裝配置、訓練、分散式與效能最佳化文件，可把成本從單一 NVIDIA 供給裡挪出一部分
- 官方頁面沒有提供按 token 計費的託管微調價目；若需要託管式 API 微調，那是與 OpenAI 等雲廠商方案的對比問題（見下文）
LlamaFactory中文支援怎麼樣？介面文件和中文模型友好嗎？
中文友好度整體較高，尤其適合主要工作語言為中文的使用者。
- GitHub README 提供 English | 中文 切換
- 中文文件站點： https://llamafactory.readthedocs.io/zh-cn/latest/
- 部落格資源有英文與中文
- 預訓練資料示例含 Wikipedia（zh）、SkyPile zh
- SFT 資料含 Identity（en&zh）、Glaive Function Calling V2（en&zh）等
- 支援 Qwen、Baichuan、ChatGLM、Yi、DeepSeek 等中文場景常見模型族
- README 提及基於 Llama-3、用 LlamaFactory 微調的中文衍生模型相關 Colab 筆記
- 社群含微信與 NPU 使用者群，對中文使用者溝通成本更低
相對不足：英文文件仍標 WIP；若你只閱讀英文頁，可能遇到進度落後於中文頁或 README 的情況。介面主體 LLaMA Board 基於 Gradio，具體 UI 文案語言以你安裝版本為準；功能說明優先以中文文件與中文 README 為準更穩妥。
LlamaFactory能替代OpenAI Fine-tuning API嗎？與Cohere、Anthropic Custom Models有何區別？
能否「替代」取決於你要替代的是訓練控制權還是託管與合規一站式服務。LlamaFactory 強項是本地/自託管、模型面廣、演算法與量化選項多、可匯出到 OpenAI 風格 API 或 vLLM；雲廠商 Fine-tuning API 強項通常是免運維、與其生態賬號/結算/內容策略繫結。
| 維度 | LlamaFactory | OpenAI Fine-tuning API | Cohere Fine-tuning | Anthropic Custom Models |
|---|---|---|---|---|
| 產品形態 | 開源訓練與微調平臺，CLI + WebUI | 一般特點：雲端微調與推理 API 生態 | 一般特點：企業向雲端 NLP/LLM 微調與部署 | 一般特點：面向定製模型的雲端合作/託管路徑 |
| 模型範圍 | 100+ 本地預訓練模型族，Day-N 跟新 | 一般特點：以自家模型與開放介面為主 | 一般特點：以自家模型線為主 | 一般特點：以自家模型定製為主 |
| 演算法自由度 | SFT、全參/凍結/LoRA/QLoRA、PPO/DPO/KTO/ORPO 等 | 一般特點：提供平臺規定的微調範式 | 一般特點：提供平臺規定的微調範式 | 一般特點：定製流程由廠商方案定義 |
| 資料與部署位置 | 可本地完成微調；也支援雲端筆記本/DSW 等 | 一般特點：資料與訓練在廠商雲側 | 一般特點：資料與訓練在廠商雲側 | 一般特點：資料與訓練在廠商雲側 |
| 推理整合 | OpenAI 風格 API、vLLM、SGLang、Ollama modelfile 等 | 一般特點：與自家 Chat/Completions 生態銜接 | 一般特點：與自家 API 生態銜接 | 一般特點：與自家 API/企業方案銜接 |
| 費用模式 | 軟體開源；成本主要在自有或租用算力 | 一般特點：按廠商計費項結算 | 一般特點：按廠商計費項結算 | 一般特點：企業合同/方案報價 |
| 運維責任 | 需自管環境、依賴、視訊記憶體與併發 | 一般特點：廠商側託管 | 一般特點：廠商側託管 | 一般特點：廠商側託管 |
競品資訊以各家官網為準。
粗選型建議：
- 要私有域資料不出機房、要 Qwen/DeepSeek 等多元基座、要 DPO/PPO/QLoRA 細控 → 更貼近 LlamaFactory
- 要零硬體、要與現成 Chat 應用賬單一體、接受只能在廠商模型與條款內微調 → 更貼近各家 Fine-tuning / Custom Models
- 中間態：用 LlamaFactory 在 Colab/PAI-DSW/自有 GPU 訓練，再用 OpenAI 風格 API 把模型接到現有 Chat 應用，減少業務側改介面的成本
LlamaFactory有哪些侷限與常見坑？
已知問題與侷限
GRPO/推理模型復現仍是高關注缺口：社群希望結合 GRPO 支援 DeepSeek-R1 等推理模型復現、對齊 open-r1 類效果，討論熱度高。跟進見 #6792。
yaml 與命令列引數混用易迷糊：有人不清楚如何同時使用 yaml 與 CLI。合併配置時要自行驗證最終生效值。見 #5830。
LLaVA 實現存在嚴重不對齊報告：多模態使用者需額外驗證訓練與推理一致性，不能預設視覺對話已對齊。見 #6008。
Qwen3-VL SFT 報錯有人踩中：sft 微調 Qwen3-vl-8B-Instruct 的錯誤反饋仍在討論。上新視覺模型建議先小資料冒煙。見 #9277。
Unsloth 加速可能直接報錯：啟用 unsloth 加速時有失敗案例，需準備好回退到非 Unsloth 路徑。見 #7177。
混合圖文增量預訓練仍有人在問：有人詢問未來是否支援混合圖文資料的多模態增量預訓練。若你的主流程是「圖文繼續預訓練」而非指令 SFT，要先評估現狀是否夠用。見 #7581。
LoRA 合併後 vLLM 服務可能 KeyError：合併 LoRA 的 GPT-OSS 20B 在 vLLM 服務部署時報 KeyError 有記錄，匯出與服務部署要分階段驗證。見 #8969。
cutoff_len 對超長樣本的處理方式有人不滿：有建議希望 cutoff_len 可選擇直接丟棄過長樣本。見 #3995。
硬體數字是估算值，全參門檻高：硬體錶帶有估算（estimated）標註，全引數微調視訊記憶體門檻高（如 7B 約 120GB、14B 約 240GB 量級），不能當成你機器上的保證值；視訊記憶體不夠應改走 LoRA/QLoRA 等路徑。
英文文件仍在進行中：英文文件標為 WIP，中英文資訊不一定同步；優先對照中文文件與 README 更穩妥。
第三方網站需謹慎：除官方連結外的第三方網站被明確提醒需謹慎，避免下載到夾帶不明改動的映象。
部分資料集有訪問門檻：部分資料集必須先完成 Hugging Face 確認並登入，否則訓練前會卡在資料訪問。
模板與推理開關用錯會導致行為差異：訓練與推理模板必須一致；reasoning / _nothink / enable_thinking 用錯會改變模型行為，需與模型版本匹配。
執行環境版本已抬升：v0.9.4 起 Python 3.9–3.10 已棄用，專案要求 Python 3.11–3.13，請優先使用 3.11–3.13；安裝鏈已遷到 uv，仍用舊方式可能裝到過期環境。
LlamaFactory適合誰？個人研究者還是企業團隊？
更適合：
- 個人研究者與學生：可用 Colab 免費 T4 notebook、QLoRA/LoRA 在消費級顯示卡上做 SFT/DPO 實驗
- 開源模型應用開發者：需要 Qwen、DeepSeek、Llama、Gemma、GLM 等快速跟進（含 Day 0/Day 1 支援敘述）
- 企業演算法/平臺團隊：要資料本地訓練、昇騰 NPU 或 AMD 路徑、FSDP/DeepSpeed/Megatron 等擴充套件，並最終用 OpenAI 風格 API 對內服務
- 多模態與工具呼叫試驗者：影像/影片/音訊理解、工具呼叫資料集上的智慧體調優（agent tuning）等
需要謹慎評估的人：
- 完全不想碰環境與視訊記憶體、只想按次買託管微調的業務方——更應直接看雲廠商 Fine-tuning
- 期望「開啟網頁=論文級 RL 全自動復現」的使用者——對齊演算法已支援，但復現深度與模型線仍要自備經驗
- 只認單一英文企業支援合同的採購場景——本專案是 Apache-2.0 開源社群形態，需自建支援體系
README 寫明被 Amazon、NVIDIA、Aliyun 等使用，說明企業落地案例存在；但這不等於提供與商業 API 同構的 SLA 頁面。
FAQ
LlamaFactory免費嗎？
軟體以開源方式提供，可本地安裝使用。雲端側文件列出了 Colab（免費）、PAI-DSW（免費試用）、AMD GPU Cloud（免費額度）等入口。真正花錢的大頭通常是你自備或租用的 GPU/NPU 與儲存，而不是頁面上的某一檔「LlamaFactory 訂閱費」；官方沒有列出獨立託管微調定價表。
LlamaFactory支援哪些模型？
中文文件列舉含 LLaMA、LLaVA、Mistral、Mixtral-MoE、Qwen、Yi、Gemma、Baichuan、ChatGLM、Phi 等；README 還寫到 Qwen3、Qwen3-VL、DeepSeek、GLM 等。v0.9.5 增加對 Qwen3.5/Qwen3.6/Gemma4 的主要支援（primary support），併兼容 Transformers v5。具體能否上某一種量化或後端，仍要以當前版本說明為準。
LlamaFactory WebUI怎麼用？
專案提供一體化 Web UI，GUI 稱為 LLaMA Board，基於 Gradio，用於訓練、評估與推理。使用 uv pip install llamafactory 安裝後，按 README 中「Fine-Tuning with LLaMA Board GUI」路徑即可在瀏覽器裡選擇模型與資料做零程式碼微調。監控還可與 LlamaBoard、TensorBoard、Wandb 等聯動。
LlamaFactory和LLaMA-Factory是同一個專案嗎？
是同一專案的命名演進。v0.9.4 釋出說明寫明：倉庫名由 LLaMA-Factory 更新為 LlamaFactory。舊文件裡的 LLaMA-Factory 一般即今天的 LlamaFactory。
LlamaFactory能做全引數微調嗎？
能。支援表含全引數微調（Full-tuning），並有 16-bit 全引數微調描述。代價是視訊記憶體高：硬體估算表中 Full（bf16 或 fp16）對 7B/14B 給出 120GB/240GB 量級。視訊記憶體不夠時應改用 LoRA/QLoRA、凍結微調或 FSDP/QLoRA 等。
LlamaFactory視訊記憶體不夠怎麼辦？
可改用 LoRA 或 2/3/4/5/6/8-bit QLoRA；嘗試 Unsloth、量化後端、neat_packing、流式資料集；或按官方描述用 FSDP+QLoRA 在雙 24GB 卡上衝擊 70B 級。KTransformers 路徑官方稱可探索 2×4090 + CPU 的 1000B 級模型微調。推理階段改用 vLLM/SGLang 也有助於把「訓練成功但服務爆視訊記憶體」分開最佳化。
LlamaFactory支援多GPU嗎？
支援分散式相關路徑：v0.9.5 支援 FSDP2、用 ray.remote 啟動分散式訓練；v0.9.4 支援 DeepSpeed AutoTP；另有 NPU 分散式訓練文件與 Megatron Bridge / mcore_adapter 等後端。雙卡 FSDP+QLoRA 微調 70B 是官方 changelog 明確寫過的能力敘述。
LlamaFactory微調後的模型怎麼匯出與部署？
入門文件覆蓋模型儲存、LoRA 合併與量化。匯出檢查點時可儲存 Ollama modelfile。部署上可使用 OpenAI 風格 API，並結合 vLLM；也支援 SGLang 後端，以及 Gradio UI 與 CLI 推理。專案還說明 demo API 已對齊 OpenAI 格式，便於接到各類 ChatGPT 式應用。
LlamaFactory和llm factory有關係嗎？
目前能確認的官方入口為 hiyouga/LlamaFactory 與 llamafactory.readthedocs.io；名稱相近的其他專案需另行核實，請勿將名稱近似等同為同一倉庫。下載與文件請以上述官方入口為準，並警惕 README 所提醒的未授權第三方網站。
LlamaFactory更新頻率如何？
倉庫創建於 2023-05-28，最近推送記錄至 2026-09-28；星標約 75366、fork 約 9239。釋出線示例：v0.9.3（2025-06-16）、v0.9.4（2025-12-31）、v0.9.5（2026-05-30）。版本節奏與模型跟進（Llama4、Qwen3、Gemma 4、Transformers v5 等）較密，但也意味著依賴與 Python 版本會階段性抬升。
LlamaFactory官網與相關入口
- 文件主頁：https://llamafactory.readthedocs.io — 專案文件入口與導航
- 中文文件：https://llamafactory.readthedocs.io/zh-cn/latest/ — 閱讀中文安裝、訓練、NPU 與監控說明
- 英文文件：https://llamafactory.readthedocs.io/en/latest/ — 英文文件（標註 WIP）
- 自定義模型說明：https://llamafactory.readthedocs.io/en/latest/advanced/model_support.html — 註冊模板與模型下載源
- GitHub 倉庫：https://github.com/hiyouga/LlamaFactory — 原始碼、README、安裝與雲端入口
- Releases：https://github.com/hiyouga/LlamaFactory/releases — 版本更新與特性變更
本文資訊核對至 2026 年 10 月(LlamaFactory v0.9.5)。價格與限制以官方頁面為準。
參考資料
- LlamaFactory 中文文件首頁
- LlamaFactory 文件主頁
- LlamaFactory GitHub 倉庫
- LlamaFactory 釋出頁（Releases）
- 自定義模型支援說明（template 與下載源）
- Issue #6792：GRPO 與推理模型復現討論
- Issue #5830：yaml 與命令列引數同時使用
- Issue #6008：LLaVA 實現對齊問題
- Issue #9277：Qwen3-VL SFT 報錯
- Issue #7177：Unsloth 加速報錯
- Issue #7581：混合圖文多模態增量預訓練
- Issue #8969：合併 LoRA 後 vLLM 服務 KeyError
- Issue #3995：cutoff_len 丟棄過長樣本的建議
安装方式：pip install llamafactory