扫描下载APP
其它方式登录
文章分析大语言模型在中文场景下的两类典型问题:一是ChatGPT等模型因后训练偏好过度使用‘我会稳稳地接住你’等套路化表达,形成‘模式崩溃’;二是MiniMax模型因后训练数据覆盖不足导致输出层lm_head漂移,造成‘认识马嘉祺却说不出’的技术性失语。二者共同揭示模型语言能力的非均匀性与训练环节脆弱性。
文章分析两大典型AI现象:ChatGPT中文版高频滥用‘稳稳接住’暴露后训练中奖励机制失衡与模式崩溃;MiniMax模型‘不认识马嘉祺’揭示低频人名在SFT阶段因输出层lm_head漂移导致‘理解但无法生成’的技术成因,并通过词表全覆盖数据‘罚抄’方案成功修复。二者共同指向大模型语言能力的非均匀性与训练环节脆弱性。