OpenAI、Anthropic 等顶尖机构警告:自动化 AI 研发可能引发"极端风险"

来自 OpenAI、Anthropic 和微软 的多位顶尖 AI 研究者近日在一篇新论文中发出警告：能够自我改进的 AI 系统可能带来 “极端风险”，递归式自我改进正成为 AI 行业日益关注的焦点问题。

核心风险：智能爆炸与失控

论文作者指出，自动化 AI 研发 可能引发 “智能爆炸” ——即 AI 系统通过自主优化自身能力，进入加速迭代的正反馈循环。研究者警告称：“能力增长的速度可能 远超社会所能跟上的节奏”，更严重的是，“人类 可能失去对超人类 AI 系统的控制”。

递归自我改进为何危险？

所谓递归自我改进，是指 AI 系统不仅执行任务，还能自主改进自己的算法、架构甚至训练流程。一旦这一能力成熟，AI 可能在无人工干预的情况下快速迭代，突破当前的安全边界和对齐机制。业内普遍认为，这种“自我优化”能力是通向 AGI（通用人工智能）的关键路径之一，但也是最难预测和控制的技术方向。

跨机构共识的意义

值得注意的是，这篇论文的作者来自 OpenAI、Anthropic 和微软 等推动前沿 AI 研发的头部机构。这些公司既是 AGI 竞赛的主要参与者，也是 AI 安全研究的重要力量。它们的联合警告表明，即使在追求技术突破的同时，业内对潜在失控风险的担忧已达到新的高度。

对中国 AI 从业者而言，这一警告不仅是技术风险提示，也可能预示未来国际监管的走向——递归自我改进能力或将成为高风险 AI 系统的新分类标准。

本文基于 GNews:The Verge 报道, 由 AiDuo123 AI 编辑翻译改写。原文链接: https://www.theverge.com/ai-artificial-intelligence/1001440/automated-ai-research-could-pose-extreme-risks-say-leading-ai-researchers