本地深度研究助手 - 完全离线的AI学术搜索工具

解决什么

传统AI搜索工具(如Perplexity、OpenAI Deep Research)存在三大痛点:数据上传云端存在隐私风险、依赖商业API产生持续成本、无法检索私有文档。Local Deep Research 提供完全本地化的解决方案:所有数据用SQLCipher加密存储在本地,支持arXiv、PubMed、维基百科等10+公开搜索引擎,同时可索引用户私有文档库。通过多轮代理式检索(agentic search),在单张RTX 3090上用Qwen3.6-27B模型即可达到~95%的SimpleQA基准准确率,性能逼近商业方案。

为何火

项目在Reddit r/LocalLLaMA社区引发热议,成为首个在消费级硬件(单卡3090)上实现高准确率深度研究的开源方案。HN讨论中获190点赞,开发者关注其评估方法论——如何量化"研究报告质量"成为核心议题。社区认可其技术突破:传统RAG受限于向量检索的召回率,而该项目采用迭代式多源检索+LLM推理的混合架构,在学术场景下表现优异。加密存储和完全离线能力吸引了对数据主权敏感的企业和研究机构。

核心功能

多源智能检索:集成SearXNG元搜索、arXiv学术库、PubMed医学文献、Brave搜索等,支持用户上传私有PDF/文档建立本地知识库。检索过程采用代理式迭代:LLM分解问题→多轮检索→交叉验证→生成带引用的报告。

模型灵活性:支持llama.cpp、Ollama、LM Studio等本地推理框架,也可接入OpenAI、Anthropic、Google等云端API。推荐配置为27B参数模型(如Qwen3.6),在24GB显存下可流畅运行。

隐私与加密:默认使用SQLCipher对所有研究历史和文档索引加密,密钥本地管理。支持完全离线运行,无需互联网连接(使用本地文档库时)。

报告导出:生成的研究报告包含完整引用链,支持导出为PDF(需WeasyPrint)或Markdown格式,便于学术写作引用。

安装

Docker Compose(推荐):

# 下载配置文件并启动三服务栈
curl -O https://raw.githubusercontent.com/.../docker-compose.yml
docker compose up -d
# GPU加速需额外下载gpu.override.yml并合并启动

启动后访问 http://localhost:5000,首次运行需等待约30秒初始化。

pip安装(需手动配置Ollama和SearXNG):

pip install local-deep-research
python -m local_deep_research.web.app

Windows用户需额外安装Pango库以支持PDF导出,macOS/Linux开箱即用。

硬件要求:CPU需支持AVX指令集(2011年后的Intel/AMD),推荐24GB显存GPU运行27B模型;纯CPU模式可用但速度较慢。

适合谁

1. 学术研究者:需要检索arXiv/PubMed等专业数据库,且对文献引用准确性要求高的博士生、科研人员
2. 企业知识管理:希望在内网部署私有文档检索系统,避免敏感资料上传公有云的企业IT部门
3. 隐私敏感用户:不信任商业AI服务数据处理方式,需要完全掌控研究历史的个人用户
4. 本地LLM爱好者:已有Ollama等本地推理环境,希望探索RAG之外的agentic search架构的开发者

不适合:追求极致速度的用户(本地推理比云端API慢5-10倍)、硬件受限无法运行20B+模型的场景。

社区评价

HN讨论热度高(190点),核心争议集中在评估方法论:多位开发者质疑"如何客观量化研究报告质量",建议引入LLM-as-judge自动评估框架,对比事实抽取准确率、推理正确性、预测合理性等维度。有用户指出示例输出"较为混乱",认为缺少中间知识图谱层(如Neo4j)导致信息组织不够结构化,建议增加图数据库存储实体关系后再生成报告。

技术路线上,社区认可其突破传统RAG的20k-40k上下文窗口限制(通过迭代检索而非一次性加载全文),但对"直接扫描大语料库"的可行性存疑——needle-in-haystack基准显示小模型在超长上下文中事实追踪能力急剧下降。正面评价集中在"首个消费级硬件达成高准确率"和"完全开源可审计"两点,被视为对抗商业闭源方案的重要里程碑。

选型对比

vs Perplexity/OpenAI Deep Research:

• 优势:数据完全本地、无API费用、支持私有文档、可审计源码
• 劣势:推理速度慢(本地27B模型 vs 云端175B+)、需自行维护硬件、初始配置门槛高

vs 传统RAG方案(如LangChain+向量库):

• 优势:多轮迭代检索提升召回率、支持跨源交叉验证、自动生成引用
• 劣势:资源消耗更高(需多次LLM调用)、复杂问题耗时更长(5-15分钟 vs 秒级)

vs 竞品open-deep-research: 社区有用户推荐btahir的fork版本,称"导航更友好",但LearningCircuit版本在学术搜索集成度和加密特性上更完善。

已知坑

1. Mac/Windows网络陷阱:--network host在Docker Desktop上静默失效,导致容器无法访问宿主机的Ollama服务,必须用docker-compose或手动配置桥接网络
2. 老旧CPU不兼容:pandas/scikit-learn预编译轮子需AVX指令集,2011年前的CPU会报Illegal instruction错误,无解决方案只能换硬件
3. 中文学术库访问:arXiv/PubMed等国外站点在国内访问不稳定,建议配置镜像站或代理;SearXNG默认配置对中文搜索优化不足,需手动调整引擎权重
4. 报告质量不稳定:社区反馈示例输出"混乱",项目承认缺少结构化中间层,当前版本更适合事实查询而非复杂推理任务
5. 显存占用:27B q8量化模型需约28GB显存,3090(24GB)需用q4量化或更小模型,牺牲部分准确率
6. Windows PDF导出:需手动安装GTK+Pango依赖,官方文档链接的安装步骤较繁琐

中文用户特别注意:项目文档和UI均为英文,社区主要在Discord/Reddit英文频道活跃;私有文档索引支持中文PDF但分词效果依赖模型能力,建议选用中文优化模型如Qwen系列。