扫描下载APP
其它方式登录
何恺明团队提出嵌入式语言流(ELF)模型,通过在连续嵌入空间中进行流匹配去噪、仅在最终时间步解码为离散token,显著提升连续扩散语言模型性能;ELF以更少采样步数和十分之一训练token量,在文本生成、机器翻译和摘要任务上超越现有扩散模型。
何恺明团队推出新型扩散语言模型ELF,采用全连续embedding空间去噪、仅在最后一步离散化输出的创新架构,以105M参数、45B训练token和32步采样,在生成困惑度等指标上超越主流扩散语言模型,验证了连续扩散路径的有效性与高效性。