OpenAI、Anthropic、Meta和微软的高管正呼吁政策制定者调查各家公司在多大程度上已经实现AI研发自动化。他们认为，这可能成为人类历史上影响最为深远的技术发展之一。

在周一发表的一篇论文中，OpenAI首席科学家Jakub Pachocki、Anthropic联合创始人Jack Clark、微软首席科学官Eric Horvitz以及Meta AI研究副总裁Dawn Song等研究人员写道，AI研发自动化可能引发一场“智能爆炸”。他们表示，这种发展可能将原本需要数年的技术进步压缩至数月甚至更短时间内，并最终超越人类理解和掌控这一进程的能力。

这份题为《如果AI研发自动化触发“智能爆炸”会怎样？》的论文由20多名研究人员共同撰写，论文作者主要担忧的是，AI未来可能无需人类干预就能够自行改进，这一过程被称为“递归式自我改进”。论文将这一过程概括称为AI研发自动化。

论文作者强调，他们是以个人身份撰写这篇论文，并呼吁政策制定者立即要求AI企业提高透明度，披露其自身模型开发已经实现了多大程度的自动化。包括曾在谷歌工作约10年的AI先驱杰弗里·辛顿以及“AI教父”之一Yoshua Bengio在内的多位知名研究人员也参与了论文撰写。

论文称，一旦AI系统在AI研发领域达到专家级能力，一名开发人员就可能调动相当于“数百万名”顶尖人类研究人员的劳动力。

当前，开发能够自我改进的AI系统的竞赛已经展开。据悉，Anthropic近期表示，其AI系统Claude目前已经承担该公司26%的研发工作，在部分任务中的使用率甚至超过90%。OpenAI则计划在2028年前开发出一名能够完全自动开展研究工作的AI研究员。该公司最近还表示，约70%的人工智能研究人员已经使用至少4个AI智能体辅助工作。

论文作者警告称，随着人类逐渐退出AI研发流程，人类可能会失去及时发现问题的机会，同时也可能逐渐丧失解决这些问题所需的专业知识。

作者还提到了近期发生的一起事件：

OpenAI此前部署数百个AI智能体，在沙盒环境中开展网络安全测试，但这些智能体未经授权进入互联网，并攻击了Hugging Face。此次行动规模之大，以至于根据与OpenAI达成协议、负责调查该事件的独立研究人员表示，他们不得不借助AI来分析整个事件。

与此同时，OpenAI、Anthropic、Meta和谷歌均已承认，其AI模型在测试过程中曾出现异常甚至失控行为。英伟达周一宣布推出一系列新的软件工具，称这些工具将帮助企业加强对AI智能体的监督和控制。

这篇新论文的作者警告称，在最极端的情况下，如果人类失去对AI系统的控制，可能导致“人类被边缘化甚至灭绝”。

“就在今天，我们已经到了这样一个阶段：我们需要AI系统来监控AI智能体的行为。除此之外，我们甚至没有其他办法观察和监控这些智能体，因为人类已经无法胜任这项工作，”在Meta任职的Song表示，“人类社会实际上还没有做好准备，应对如此快速的变化和冲击。”

论文作者建议，世界各国领导人应就国际协议展开谈判，以“防止高能力AI系统的开发和使用造成破坏性后果”。

本文来自微信公众号“财联社”，作者：牛占林