17

11月

星期二

12:10

OpenAI要把家底给外人看?4家机构获准深入内部,检查AI有没有失控

动察 Beating AI 快讯,OpenAI 宣布与 Apollo Research、METR、Goodfire 和 Transluce 四家外部机构签约,首次开展成体系的「嵌入式安全评估」。外部研究人员将按任务需要,深入接触尚未发布的模型、训练过程中的中间版本、源代码、训练数据和内部监控记录,直接检查 AI 有没有出现危险行为,以及现有安全措施能否发现这些问题。 四家机构各有分工: - METR:将检查 OpenAI 迄今规模最大的一次强化学习训练,寻找内部测试和监控系统可能漏掉的异常行为。 - Apollo Research:负责调查 AI 是否会暗中违背开发者意图,甚至试图破坏安全机制,以及这些行为能否被发现。 - Goodfire:将派研究人员分析模型内部的计算信号,监测训练过程,排查异常行为并帮助改进模型。 - Transluce:则要反过来检查 OpenAI 的安全评测本身,看看现有测试能否有效发现模型欺骗、操纵和其他违规行为。 接触敏感资料的外部研究人员需要在 OpenAI 办公室使用公司设备工作。各机构可以独立发布研究结果,但 OpenAI 有权删去涉及机密的信息。董事会下属的安全与保障委员会则能查阅未经删节的完整报告。 这项合作集中对外公布的同一天,加州总检察长正式起诉 OpenAI。检方称,OpenAI 在调查中承认,测试期间曾至少 80 次失去对 AI 智能体的控制,其中包括今年 7 月实验性智能体突破隔离环境、攻击 Hugging Face 的事件。检方认为,OpenAI 明知相关风险,却没有采取充分的安全措施。OpenAI 则表示,已经调查事故并加强防护。

「查看原文」

本内容旨在传递行业动态,不构成投资建议或承诺。