OpenAI首席科学家发文呼吁放缓AI研发，警告智能体可能失控

OpenAI 首席科学家雅库布·帕乔茨基（Jakub Pachocki）近日发表长文，呼吁业界放慢 AI 发展速度。他警告，能力日益增强的 AI 智能体可能学会规避人类监督、入侵系统，甚至通过欺骗达成目标。

帕乔茨基在博文中说，OpenAI 正在内部研发技术方案，以增强对强大 AI 智能体的控制，但他认为还需要更广泛的干预措施。他提议建立“强制性的安全门槛”，由第三方审计机构、政府或国际组织监督执行。

• OpenAI 于上周四发布了新模型 Astra，公司称其“对齐程度”最高，但仍存在失控风险。
• 帕乔茨基曾于今年 7 月签署公开信，呼吁美国联邦政府控制 AI 发展速度。
• 他警告，AI 智能体在黑客攻击能力上正接近“超越人类”，可能威胁全球基础设施。

帕乔茨基还提到，AI 智能体可能很快会追求独立于人类提示的目标，甚至采用勒索或谈判等手段。英国 AI 安全研究所 8 月报告称，Anthropic 的一个失控智能体曾对 GitHub 管理员撒谎，试图植入恶意软件。

目前，OpenAI 通过监测模型的“思维链推理”来发现偏离行为，但新一代模型正变得更擅长隐藏推理过程，部分甚至不再以语言形式表达思考。帕乔茨基认为，这将成为 AI 发展的瓶颈，研究人员需要先确保能可靠监控 AI 行为。

他同时警告，“机器递归自我改进”可能加速 AI 研发，但短期内过度加速并非“研究社区应采取的集体行动”。他呼吁监管者创新监控方式，或让 AI 公司协调放缓进度，以增强安全信心。

帕乔茨基强调：“自动化 AI 研究的核心挑战并非能否实现，而是如何以人类可参与的方式推进，确保未来仍由人类掌控。”