Token Saver

這是什麼

Token Saver 是一個開源的自託管快取代理工具，專為頻繁呼叫大語言模型（LLM）API 的開發者設計。它通過在本地或伺服器上快取重複的 API 請求和響應，避免向 OpenAI、Anthropic 等服務商重複傳送相同查詢，從而顯著降低 token 消耗和 API 費用。

核心功能

• 智慧快取機制：自動識別並快取重複的 LLM API 請求，相同輸入直接返回快取結果
• 自託管部署：完全掌控資料和快取策略，無需依賴第三方服務
• 透明代理：作為中間層執行，無需修改現有程式碼即可接入
• 開源可定製：基於 GitHub 開源，可根據團隊需求調整快取規則和儲存方式

適合誰

適合有一定技術能力、需要頻繁呼叫 GPT/Claude 等 LLM API 的開發團隊或個人開發者。特別適用於測試環境、批次處理或有大量重複查詢的場景（如客服機器人、內容稽核）。需要自行搭建部署環境，不適合純小白使用者。