翁荔回归 OpenAI,英伟达押注 Ilya,AI 大牛要用「AI 造 AI」

爱范儿
个人专栏
热度: 3697

翁荔回归OpenAI领导递归自我改进研究,推动AI参与自身模型研发;Ilya创办的Safe Superintelligence获英伟达投资,探索新型AI进化范式;与此同时,超千名AI从业者联名呼吁建立自动化AI研发的减速与控制机制,反映行业在加速创新与安全治理间的深刻张力。

摘要由 Mars AI 生成
本摘要由 Mars AI 模型生成,其生成内容的准确性、完整性还处于迭代更新阶段。

如果一位国人 AI 工程师,技术过硬,履历漂亮,还出身北大这样的顶尖学府,那 ta 什么都有可能做,就是不可能不上班

前脚因为健康和生活是「最重要的对齐工作」,从 Thinking Machines Lab 离职的翁荔,后脚就传出重新回到 OpenAI上班。据公司发言人透露,她将领导一支加速内部研究的团队,参与 OpenAI 对「递归自我改进」的探索,也就是让 AI 参与训练、改进自己的下一代模型。

英伟达

无独有偶,她的前同事、另一位曾经 OpenAI 核心人物 Ilya Sutskever 创办的 Safe Superintelligence,也终于从密不透风的研究中露出了一条缝。英伟达在获得罕见的内部研究访问后,决定向 SSI 投资,并用新一代 Vera Rubin 系统将其算力扩大一个数量级。

英伟达

英伟达确信,SSI 过去两年一直在推进一条不同于现有大模型路线的新研究方向。对此,Ilya 没透露更多,只说了一句:「我们有值得扩大规模的研究。」

好奇群众一下子更来劲了,社交媒体上出现了一篇对公开线索的逆向分析,推测 SSI 寻找的并不是下一套更大的预训练配方,而是一种新的迭代和进化方式:让模型不只在训练完成后静止不动,而是在反馈、实验和持续学习中不断产生更强的下一代。

英伟达

这个判断没有得到 SSI 确认,但它与 Ilya 过去一贯的主张高度一致。他此前多次表示,单纯依靠更多数据和算力的 scaling 时代正在接近边界,AI 需要重新学会像人一样,用较少经验形成更深理解,并在与环境的互动中继续成长。

这些已经相当功成名就的头部AI人才,似乎都在看往同一个方向:怎样让 AI 替自己研发下一代 AI。

「自我进化」不是 AI 半夜重写大脑

提到递归自我改进,很容易联想到一个科幻画面:AI 突然意识到自己的缺陷,直接修改神经网络权重,醒来时已经比昨天聪明十倍。

英伟达

现实中的起点要朴素得多。AI 研发本来就是一条不断循环的流水线:研究员阅读论文和实验记录,提出一个假设,修改训练代码,排队运行实验,等结果出来后比较指标、寻找失败原因,再设计下一轮方案。

今天的大模型已经可以参与其中很多环节,它能阅读代码库,复现论文,编写实验脚本,调用算力运行测试,整理几十组结果,分析哪一个参数可能出了问题,然后继续修改代码。过去一支团队几天完成一轮的工作,未来可能由多个智能体并行尝试几十条路线,再把最有希望的结果交给人类判断。

翁荔在 7 月初发布的长文《Harness Engineering for Self-Improvement》,几乎提前写出了她即将负责的研究方向。她认为,近期最现实的自我改进路径不是模型直接重写大脑,而是让 AI 先学会改造自己的工作环境:自动分析失败记录,调整上下文管理、工具调用和工作流,再通过新的实验结果继续优化这一套系统。更成熟的 harness 可以推动自动化研究,更强的模型又可以反过来把 harness 变得更简单,二者形成循环。

英伟达

这也让翁荔与 Ilya 的两条路线出现了有趣的呼应:OpenAI 更像是在把现有研发流程逐步交给 AI,让它先成为一名能够工作的研究工程师;SSI 则可能试图从更底层寻找新的学习范式,让模型本身具备持续迭代和进化的能力。

AI 并不需要一开始就有能力直接修改自己的权重。只要它能改善训练流程、筛选数据、设计评测,或者优化包裹在模型外面的 harness,就已经在参与制造自己的继任者。

前者从工程循环往里走,后者从模型机制往外走,目标都是缩短一代 AI 到下一代 AI 之间的距离。

同时,千人联名请愿放慢速度

就在大牛们想要加速押注这条路线时,行业内部出现了另一种声音。

本周,超过 1100 名来自 OpenAI、Anthropic、Google、Meta 等公司的从业者联署声明,要求提前建立能够控制「自动化 AI 研发」速度的技术与协调工具。参与者中包括 OpenAI 首席科学家 Jakub Pachocki、Anthropic 联合创始人 Jack Clark 和 Jared Kaplan 等高级研究者——以及,Ilya 本人。

英伟达

请愿并没有要求停止 AI 研究,甚至没有否认自我改进可能带来的价值。它担心的是,一旦 AI 开始显著加快 AI 研发,能力增长可能快过人类理解和控制系统的速度。

英伟达

仔细想想,这种「看似矛盾」的反复横跳,来自于同一群人,甚至同一个人。同一时间,就可以做出两种判断:他们既相信自动化研究可能是 AI 下一次飞跃的关键,也相信一旦这条反馈回路真正运转,行业必须拥有在必要时减速的能力。

因为这套循环一旦形成,就与过去发布一款更强模型不太一样。过去的进步速度最终受制于人类研究团队。人要提出问题、安排实验、判断结果,进度也会因为预算、人力和组织流程停下来。

自动化 AI 研发的目标,正是逐步拿掉这些瓶颈。模型越强,越能帮助团队更快造出下一代模型;下一代模型又会成为更好的研究员,进一步缩短下一轮研发时间。

要进步,也要控制速度

因此,尽管看似矛盾的两股力量,其实共享同一个前提:自动化 AI 研发正在从遥远设想变成一项具体的工程目标。

翁荔回到 OpenAI,说明递归自我改进已经开始获得专门的组织和负责人;英伟达愿意在看过 SSI 秘密研究后投入巨额资金和最新算力,说明新的学习路线至少已经到了值得扩大验证的阶段。

英伟达

请愿者要求准备刹车,也不是因为他们认为这条路线不会成功,恰恰是因为他们开始认真考虑它成功以后会发生什么。

真正的分歧不在于 AI 应不应该帮助人类做研究。代码生成、论文检索和实验自动化早已进入实验室。而在于,当 AI 从一件提高研究员效率的工具,逐渐变成能够自行提出方案、运行实验、评价结果并修改下一轮流程的研究系统时,人类应该在哪些节点保留决定权。

这意味着一系列需要讨论的问题:谁来设定它优化的目标?谁来判断一次看似提高跑分的修改有没有破坏安全边界?当多个实验室都处于竞争中,哪一家公司愿意单独暂停一次有效的迭代?,如果模型的研发周期真的从一年缩短到数月、数周,外部评估和内部安全团队还能不能跟上?

英伟达

AI 公司现在争夺的早就不只是造出爆款模型,它们正在争夺一套能够持续制造更强模型的研发系统。

一边是 Ilya 和翁荔这样的顶尖研究者,希望找到新的迭代方式,让 AI 参与自己的进化;另一边,是同一行业里的上千名研究者要求提前准备一套减速机制。两种立场之间,阵营随时变化,态度也并不针锋相对,所有人都面对着一道共同的难题:当研究工具开始加速研究本身,谁还能决定下一代 AI 应该在什么时候到来?

本文来自微信公众号“APPSO”,作者:发现明日产品的

声明:本文为入驻“火星财经 专栏”作者作品,不代表火星财经官方立场。
转载请联系网页底部:内容合作栏目,邮件进行授权。授权后转载时请注明出处、作者和本文链接。未经许可擅自转载本站文章,将追究相关法律责任,侵权必究。
提示:投资有风险,入市须谨慎,本资讯不作为投资理财建议。
本内容旨在传递行业动态,不构成投资建议或承诺。