本地深度研究助手 - 完全離線的AI學術搜尋工具

解決什麼

傳統AI搜尋工具(如Perplexity、OpenAI Deep Research)存在三大痛點:資料上傳雲端存在隱私風險、依賴商業API產生持續成本、無法檢索私有文件。Local Deep Research 提供完全本地化的解決方案:所有資料用SQLCipher加密儲存在本地,支援arXiv、PubMed、維基百科等10+公開搜尋引擎,同時可索引使用者私有文件庫。通過多輪代理式檢索(agentic search),在單張RTX 3090上用Qwen3.6-27B模型即可達到~95%的SimpleQA基準準確率,效能逼近商業方案。

為何火

專案在Reddit r/LocalLLaMA社群引發熱議,成為首個在消費級硬體(單卡3090)上實現高準確率深度研究的開源方案。HN討論中獲190點贊,開發者關注其評估方法論——如何量化"研究報告質量"成為核心議題。社群認可其技術突破:傳統RAG受限於向量檢索的召回率,而該專案採用迭代式多源檢索+LLM推理的混合架構,在學術場景下表現優異。加密儲存和完全離線能力吸引了對資料主權敏感的企業和研究機構。

核心功能

多源智慧檢索:整合SearXNG元搜尋、arXiv學術庫、PubMed醫學文獻、Brave搜尋等,支援使用者上傳私有PDF/文件建立本地知識庫。檢索過程採用代理式迭代:LLM分解問題→多輪檢索→交叉驗證→生成帶引用的報告。

模型靈活性:支援llama.cpp、Ollama、LM Studio等本地推理框架,也可接入OpenAI、Anthropic、Google等雲端API。推薦配置為27B引數模型(如Qwen3.6),在24GB視訊記憶體下可流暢執行。

隱私與加密:預設使用SQLCipher對所有研究歷史和文件索引加密,金鑰本地管理。支援完全離線執行,無需網際網路連線(使用本地文件庫時)。

報告匯出:生成的研究報告包含完整引用鏈,支援匯出為PDF(需WeasyPrint)或Markdown格式,便於學術寫作引用。

安裝

Docker Compose(推薦):

# 下載配置檔案並啟動三服務棧
curl -O https://raw.githubusercontent.com/.../docker-compose.yml
docker compose up -d
# GPU加速需額外下載gpu.override.yml併合並啟動

啟動後訪問 http://localhost:5000,首次執行需等待約30秒初始化。

pip安裝(需手動配置Ollama和SearXNG):

pip install local-deep-research
python -m local_deep_research.web.app

Windows使用者需額外安裝Pango庫以支援PDF匯出,macOS/Linux開箱即用。

硬體要求:CPU需支援AVX指令集(2011年後的Intel/AMD),推薦24GB視訊記憶體GPU執行27B模型;純CPU模式可用但速度較慢。

適合誰

1. 學術研究者:需要檢索arXiv/PubMed等專業資料庫,且對文獻引用準確性要求高的博士生、科研人員
2. 企業知識管理:希望在內網部署私有文件檢索系統,避免敏感資料上傳公有云的企業IT部門
3. 隱私敏感使用者:不信任商業AI服務資料處理方式,需要完全掌控研究歷史的個人使用者
4. 本地LLM愛好者:已有Ollama等本地推理環境,希望探索RAG之外的agentic search架構的開發者

不適合:追求極致速度的使用者(本地推理比雲端API慢5-10倍)、硬體受限無法執行20B+模型的場景。

社群評價

HN討論熱度高(190點),核心爭議集中在評估方法論:多位開發者質疑"如何客觀量化研究報告質量",建議引入LLM-as-judge自動評估框架,對比事實抽取準確率、推理正確性、預測合理性等維度。有使用者指出示例輸出"較為混亂",認為缺少中間知識圖譜層(如Neo4j)導致資訊組織不夠結構化,建議增加圖資料庫儲存實體關係後再生成報告。

技術路線上,社群認可其突破傳統RAG的20k-40k上下文視窗限制(通過迭代檢索而非一次性載入全文),但對"直接掃描大語料庫"的可行性存疑——needle-in-haystack基準顯示小模型在超長上下文中事實追蹤能力急劇下降。正面評價集中在"首個消費級硬體達成高準確率"和"完全開源可審計"兩點,被視為對抗商業閉源方案的重要里程碑。

選型對比

vs Perplexity/OpenAI Deep Research:

• 優勢:資料完全本地、無API費用、支援私有文件、可審計原始碼
• 劣勢:推理速度慢(本地27B模型 vs 雲端175B+)、需自行維護硬體、初始配置門檻高

vs 傳統RAG方案(如LangChain+向量庫):

• 優勢:多輪迭代檢索提升召回率、支援跨源交叉驗證、自動生成引用
• 劣勢:資源消耗更高(需多次LLM呼叫)、複雜問題耗時更長(5-15分鐘 vs 秒級)

vs 競品open-deep-research: 社群有使用者推薦btahir的fork版本,稱"導航更友好",但LearningCircuit版本在學術搜尋整合度和加密特性上更完善。

已知坑

1. Mac/Windows網路陷阱:--network host在Docker Desktop上靜默失效,導致容器無法訪問宿主機的Ollama服務,必須用docker-compose或手動配置橋接網路
2. 老舊CPU不相容:pandas/scikit-learn預編譯輪子需AVX指令集,2011年前的CPU會報Illegal instruction錯誤,無解決方案只能換硬體
3. 中文學術庫訪問:arXiv/PubMed等國外站點在國內訪問不穩定,建議配置映象站或代理;SearXNG預設配置對中文搜尋最佳化不足,需手動調整引擎權重
4. 報告質量不穩定:社群反饋示例輸出"混亂",專案承認缺少結構化中間層,當前版本更適合事實查詢而非複雜推理任務
5. 視訊記憶體佔用:27B q8量化模型需約28GB視訊記憶體,3090(24GB)需用q4量化或更小模型,犧牲部分準確率
6. Windows PDF匯出:需手動安裝GTK+Pango依賴,官方文件連結的安裝步驟較繁瑣

中文使用者特別注意:專案文件和UI均為英文,社群主要在Discord/Reddit英文頻道活躍;私有文件索引支援中文PDF但分詞效果依賴模型能力,建議選用中文最佳化模型如Qwen系列。