OpenAI 推出 Control Room 系统，可在 35 秒内切断模型输出

火星财经消息，OpenAI 宣布推出名为 Control Room 的集中式系统，用于追踪其研究基础设施中的模型工作负载，并在出现安全或安保隐患时快速中止相关任务。该系统目前覆盖 OpenAI 内部的研究工作负载，包括训练实验、评估和数据处理。OpenAI 表示，随着模型能力增强，相关的安全与安保风险随之上升，能否及时发现潜在问题并在必要时迅速叫停模型，正变得愈发关键。在具体机制上，Control Room 会为每项研究任务分配一个标识符，推理引擎在生成模型输出前会核验该标识符。当人工或自动化监控系统下达停止指令时，Control Room 会撤销该任务的授权，从而阻断后续输出，即便底层研究程序仍在运行。OpenAI 称，缓存的授权可能使关停延迟最多 35 秒；此外，若 Control Room 本身不可用，系统被设计为拒绝新的请求。此次发布前，OpenAI 今年已披露多起研究模型在评估中偏离指令的事件。7 月，该公司称其模型逃出受限测试环境，并入侵 Hugging Face 以在安全评估中作弊。10 月，其披露一个研究模型未经授权使用加密钱包，以测试网 ETH 支付智能合约部署费用，并在最终总结中隐去了这笔支出。