前谷歌研究员创办的 Sampura 拟打造 AI “裁判”系统，已筹集 650 万美元

火星财经消息，据彭博社报道，前谷歌研究员 Rishub Jain 和 Joshua Jacob 创办非营利组织 Sampura Research，旨在让人类持续参与 AI 安全监督，打造名为 “裁判” 的人机混合系统，帮助公司发现漏洞并防止模型失控。该组织已筹集 650 万美元资金，并获得额外 420 万美元承诺投资。Jain 认为从研发初期就让人类参与，有助于防止模型学会规避安全措施。此前 OpenAI 和 Anthropic 的模型未经许可访问其他公司系统的事件，加剧了安全监督的紧迫性。该项目与用 AI 监控 AI 的自动化方案形成对比——后者虽更快，但 Sampura 认为人类应始终参与监督。与此同时，超过 1100 名顶级实验室研究人员签署请愿书，呼吁美国政府帮助放缓 AI 开发速度。