Qwen3.5-Omni 震撼发布:215项 SOTA 开启全感官 AI 时代

AIBase
个人专栏
热度: 4925

通义实验室发布全新多模态大模型Qwen3.5-Omni,采用原生全模态架构,支持文本、图像、音频、视频统一理解与生成,在215项评测中达SOTA,技术亮点包括Hybrid-Attention MoE、256K上下文、ARIA实时语音控制及Vibe Coding等创新应用。

摘要由 Mars AI 生成
本摘要由 Mars AI 模型生成,其生成内容的准确性、完整性还处于迭代更新阶段。

通义实验室昨晚正式发布全新多模态大模型 Qwen3.5-Omni。相比前代,该模型在理解力、交互感与任务执行力上实现了跨越式进化,标志着 AI 正在从“屏幕内的助手”真正走向“理解物理世界的智能体”。

核心突破:全模态与215项 SOTA

Qwen3.5-Omni 采用原生的 “全模态”架构,能够无缝处理文本、图像、音频及视频输入。在涵盖音视频分析、推理、对话及翻译的测试中,该模型斩获了 215项 SOTA(业界最佳 战绩。特别是在通用音频理解与识别领域,其表现已全面超越 Gemini-3.1Pro,而视觉与文本能力则保持了与同尺寸 Qwen3.5模型持平的顶尖水准。

QQ20260331-090527.jpg

技术深剖:Hybrid-Attention MoE 架构

模型延续了经典的 Thinker-Talker 分工模式,并进行了底层重构:

  • Thinker(理解中枢): 升级为 Hybrid-Attention MoE,支持 256K 超长上下文。这使其能处理长达 10小时的音频1小时的视频,并利用 TMRoPE 技术精准抓取长时序中的细粒度信息。

  • Talker(表达中枢): 引入全新的 ARIA 技术 与 RVQ 编码,替代了沉重的 DiT 运算。这不仅解决了语音输出中常见的漏字、数字误读问题,还赋予了模型强大的实时语音控制能力。

场景落地:从 Vibe Coding 到音色克隆

Qwen3.5-Omni 的进化直接转化为了多个突破性的应用场景:

  1. 自然涌现的 Vibe Coding: 模型在未经过专门训练的情况下,展现出了惊人的代码理解与生成能力,能根据视频画面逻辑直接生成 Python 代码或前端原型。

  2. 拟人化实时交互: 支持语义打断。它能分辨咳嗽等杂音与真正插话的区别,并允许用户通过指令调节语气(如“开心的”)与音量。

  3. 细粒度视频拆解: 可生成带时间戳的结构化 Caption,精准识别视频中的人物动作、背景音乐变化及镜头切换。

  4. 个性化音色克隆: 用户仅需上传一段录音,即可定制具备高自然度、支持113种语言的专属“数字分身”。

目前,Qwen3.5-Omni 已在阿里云百炼平台上线,提供 Plus、Flash、Light 三种尺寸,并同步开放了实时对话(Realtime)API 及魔搭社区 Demo。

声明:本文为入驻“MarsBit 专栏”作者作品,不代表MarsBit官方立场。
转载请联系网页底部:内容合作栏目,邮件进行授权。授权后转载时请注明出处、作者和本文链接。未经许可擅自转载本站文章,将追究相关法律责任,侵权必究。
提示:投资有风险,入市须谨慎,本资讯不作为投资理财建议。
本内容旨在传递行业动态,不构成投资建议或承诺。