淏楠最早在MiroMind做Agent，后来转去混元，负责多模态RL infra，最近又去了某具身公司负责模型训练。

本期播客原文约19000字，编辑整理后约5600字。

曲凯：去年应用落地有两条主线，一是Agent，二是多模态。现在Agent这边方向已经比较明确了，尤其是最近又有Personal Agent这一波。那多模态这边，这一年有哪些新的进展？

淏楠：在这个领域里，一年太长了哈哈。

不过我们可以再往回倒一下。其实在做多模态之前，25年10月的时候，我在MiroMind做纯语言的Agent，主要参与mid-train和SFT，做Web Search的数据。

但去年年底的时候我就意识到了一个问题：如果继续做Agent，我大概率会以造数据为主。对我来说，这件事不够有趣。

那时多模态也很热，我和一些做这块的朋友交流过，觉得这个方向还不错，自己也感兴趣，所以就转到了多模态。

曲凯：但做多模态的后训练，不也是要搞很多数据吗？你实际做下来，感受怎么样？

淏楠：我去混元做的是RL infra，更偏底层架构。

去了之后，学到了很多infra方面的事情。当时我们的infra、算法、reward三者是绑在一起的，能形成RL的闭环。

其实Agent和多模态的关系很紧密，因为Agent是很合理的人机交互方式，而且使用Agent的过程中也能产生各种有价值的数据，比如模型可能给出三四个片段，你可以选择要哪个。所以我们当时其实想做一个多模态领域的Cursor，然后围绕这整套Agent的使用方式去做后训练。

曲凯：国内虽然讲了很久RL，也有很多人在做，但有人说跟海外的差距还是很明显。你怎么看？

淏楠：其实工程实践、infra上的代差没有那么大，最大的差距可能还是卡不够。RL甚至比预训练还费卡。卡少，实验就少，经验积累也慢。

曲凯：那在多模态和Agent这两边都做过以后，你有什么感受？

淏楠：这两边挺像围城，大家都觉得对面更有意思哈哈。做Agent的哥们觉得自己天天就是洗数据，没劲；做视频的又觉得，大家都说视频不体现智力。

其实从职业发展看，Agent赛道有个天然的优势，就是工作机会比较多，比较容易换下家，因为Agent一直在主线上。

而多模态这边，好处就是有些工作体验会更有趣。比如review数据时，看视频总比逐条读Agent的轨迹、写规则筛数据更有意思。但这边的好机会可能没那么多。不过最近Computer Use很受重视，所以做多模态理解的同学可能会觉得今年好像还不错。而做生成的人，要么会去做视频或者世界模型，要么像我一样去做具身。

曲凯：你为什么会从多模态转到具身？

淏楠：其实这个逻辑非常顺，因为某种程度上，action也是一种模态，而且动作生成也可以用Diffusion Model，从模型逻辑上来看，两边很接近，甚至可以拿原来的代码试一把，迁移门槛没那么高。

曲凯：你讲的是为什么能转，那为什么要转？为什么不继续做视频生成？

淏楠：我会觉得视频生成比较难快速往上走，因为模型侧最能带来能力提升的仍然是预训练，这就导致这个方向更吃资本、吃大团队、吃公司，更有巨头效应，不是一拨厉害的人凑到一起就能干起来的。

我们也尝试过，但没成。其实年初我们本以为视频生成里也可能有一个R1时刻，就是能像当时语言模型那样，通过后训练、test-time scaling获得很大的能力提升。但做了半年，发现没跑出那么高效的RL scaling law。

那么要做好预训练，关键就是数据。而且，你还是得在有产品的地方做，才更有机会做成。infra大家都做得不错，开源生态也很好，找十来个有经验的同学，做两个月，都能推到一个相对合理的水平。但数据没人开源，只能靠积累，走不了捷径。你要么花钱采买，要么自己有产品，能回流和积累数据。

Seedance之所以做得这么好，和他们的数据质量以及产品都有很大关系。

曲凯：那视频生成模型现在发展到了什么程度？

我最近刷到一些AI短剧，感觉质量又上了一个台阶，接近Netflix的水平了，比如很推荐大家感受一下《无敌超人》。当然，感觉这种视频里应该还是有很多专业的人为因素在。

淏楠：我觉得做到接近电影水平没什么问题，但目前整体发展大概是60分，还在半山腰，因为模型能力还不太能被大家很方便地用起来。你自己去做一条短剧试试，就会发现很痛苦，上下文管理等各方面都不到位。

所以我觉得未来半年到一年，这个领域有两个机会。

一是便于操作的交互方式或者Harness。

其实视频里的交互和Harness，比代码领域里的更重要，因为代码里公认的标准就是快、好、整洁、好读，而视频除了连贯性、可编辑性等大家都需要的基础能力，还涉及到人的taste，每个人想施加的影响都不同。现在用非常详细的描述，也能控制镜头语言。但你要让人每次都敲一大段描述，也很累。未来更好的方式，可能是模型能根据前面的影片，提出几个合理的镜头方案，供你选择。你希望用哪种镜头表达这段内容，就代表了你的taste。

二是平台。现在创作AI视频的人远没有消费的人多，主要还是麻烦、成本高。但如果使用门槛和成本能拉下来，就可能形成一个用户既是生成者、又是消费者的平台。我们跟圈内人聊下来，大家都挺相信这一点。

曲凯：那抽卡还会长期存在吗？

淏楠：会存在，但概念可能会有变化。

现在的抽卡是选「能用的」，是因为有些片段质量很差。但未来可能模型生成的每段质量都很好，只是大家的偏好和taste不一样，所以会变成选「自己想要的」。

曲凯：明白。这几年陆续有些很火的开源项目，比如可以快速复制一个热门视频，让你自己换人、换元素，但好像都没能独立长成产品。你觉得这种事情，是不是最后都会被包进模型，成为泛化能力的一部分？

淏楠：我觉得是。模型搞定这种事情并不难，核心就是做好生成和理解一体化。比如换人这个场景，就需要模型先把视频的各种细节理解得很好，才能生成得很好。各家都在推进这条路线，我之前在混元做的UniRL其实也是这个方向。

曲凯：前段时间H3出来之后，有人拿它去做实时互动，比如直播之类的，还挺火的。这个方向的技术到了什么阶段？我自己粗浅的理解是，实时互动分成两类，一类是伪实时，就是生成速度快于消费速度；另一类是模型真的能跟着你的对话和动作做反应，其实就有点像世界模型了。

淏楠：目前大家主要还是在做伪实时互动，但还不太成熟，模型崩得很厉害，卡点是一致性。你要让生成加速，有很多办法，但一加速就更容易丢细节，比如镜头转回来之后，后面的东西就变了，或者人物换了一张脸。

所以目前看来，我个人觉得保证生成质量比追求速度更重要，而且我对真正的实时互动这件事也有点悲观，因为现在模型的生成能力还只有60分，没到能力溢出的时候，而要提升质量，就得把模型做大，也就会导致生成速度更慢。

第二条路线确实更像视频世界模型，最近也有些Demo，效果很像《塞尔达》，能让你在地图上跑来跑去。我觉得这个方向生成的视频质量还不太行，但还是有人在做。

不过最近这个圈子好像没那么热了，好多人都做着做着有点迷茫了，不知道自己做这个到底是为了什么，尤其是这个领域又受到了一波冲击，因为有人用白模加更小的Diffusion模型做渲染，看上去好像比做一个巨大的模型去仿真整个世界更有希望。

曲凯：以及世界模型这边，老大那家公司还卖了，就讲了好几年的故事，最后不做了…

淏楠：对呀！李飞飞站在这个圈子最前沿，如果她真看到了希望，那为什么要卖公司呢？

曲凯：而且听你讲，如果实时生成都还有点远的话，那世界模型就更远了。但我一直不太理解一点，就是市场情绪有波动很正常，但是researcher应该一直知道这件事非常难吧？不可能是大家本以为能做，但试了以后才发现不行吧？

淏楠：researcher可能只是被市场情绪架在那儿了。大家知道很难，但市场会让人觉得马上就得做出来。不过可能也没人想过这个东西真做出来了能干嘛。

曲凯：大家讲的故事就是做出来服务具身。

淏楠：那你为什么不直接做具身呢？我真做起来是觉得没有必要一定先走世界模型这条路。模型只要能理解当前环境，然后做一步action，再理解下一步，往下做就可以了。

曲凯：所以你觉得做具身有哪些正确的路线？

淏楠：之前有一拨人想做很大的模型，就是拿自己已有的视频生成模型或者大语言模型，调一调去做具身。这其实有点像Astra的路线，主要是大厂在做，不太适合初创公司。初创没有这样的技术积累，也没有这个基因、卡和钱。现在Astra出来以后，初创如果还要自己从头做，就显得更没希望了。所以现在很多具身厂商在拥抱Astra，我也觉得这是对的。

曲凯：我们正好可以聊一下，为什么Astra这个模型对具身的影响这么大？之前的模型怎么就没太带来这样的冲击？

淏楠：我们可以先讲一下，具身需要什么样的模型。

具身本质上需要的是一个能看懂这个世界，然后再给自己的硬件下一个操作指令的模型。这个指令的核心就是一个低维的vector，比如有二十多维，每一维都有准确的意义，告诉你机械手的每个电机会怎么动、动多少度。

大家之前也尝试过让语言模型直接来做这件事，但语言模型只能输出一串数字，要让它拿这串数字去操控电机，还得做一轮解析。这种方式就很不自然，大家试过之后也发现不work。

那为什么Astra这次让大家这么震动？因为它的理解能力很强，而且真能按照你的指令，输出一段有意义的动作序列，直接去操控机器人。

曲凯：它是特意基于具身去训练的吗？我听说OpenAI里面有两条线在做具身，一条是LM那边，把具身当作其中一部分去泛化；另一条是专门做具身。对Astra来说，到底哪边作用更大？

淏楠：我觉得是前者。OpenAI里是有人在做具身的，也采了很多数据，但这批人反而有点不知道怎么做。大家发现最后把所有的数据堆到主线的语言模型上，反而是最work的。

在这个泛化过程里，有两点比较重要：一是模型的理解能力，就是模型得看懂那些画面；二是真的得有具身数据，这样才能把理解转化成vector之类可落地的操作指令。

Astra这波确实用了更多的具身数据去做训练，以及Astra挺强的一点，是它能通过看关节动了之后的视觉效果，调整自己的输出，然后再看、再调整。

曲凯：这不就RSI了（笑）。那它的reward是什么？比如我要求它拿到苹果，那是不是画面里的本体真的拿起了苹果，就算一个reward？

淏楠：好问题。我不觉得它真的专门对着具身训练了reward。这应该是从其他领域迁移过来的能力，比如它可能在Blender里看到了操作后渲染结果会有什么变化。

曲凯：你提的这点也是我特别想问的一个问题，就是真机数据和虚拟仿真数据之间，哪个更重要？现在主流应该还是真机数据。

淏楠：对大模型厂商来说，仿真数据还是很有价值的，但对具身厂商来说，可能是反过来的。

具身厂商最后care的是东西能不能落地、能不能操控自家机器，所以它一定要用自己的机型去采各种trace、做训练。

举个例子，一家灵巧手公司真正想要的「抓」这个动作，是五根手指能非常贴合瓶子，把瓶子抓起来。但如果在仿真环境里做，有可能它拿中指和食指就把瓶子捏起来了，不符合你想要的效果。

当然，如果仿真环境真的做得非常好，那就是另一回事了，可能要重新考虑整个具身的发展路线。但目前仿真跟真实世界的差距还比较大。

曲凯：但感觉很多具身公司估值之所以那么高，就是因为在讲一个大脑加小脑的故事。那按现在的发展路径，是不是大脑这块后面还是语言模型的竞争？国内具身初创是不是不用管大脑，做好自己的小脑，以及刚才说的真正落地的部分就好？

淏楠：这个问题还真挺有意思。现在的发展趋势可能是大家自己做一个直接操控本体的模型，再组合一个语言和思考能力都非常强的大模型。具身厂商很难把后者做好，因为他们的卡量跟模型厂商可能有百倍的差距。

曲凯：所以你为什么会在今天这个节点加入具身？具身的估值已经非常高了，很多人也说存在泡沫，而且Astra出来之后，对整个具身大脑的故事又有很大影响。

淏楠：好多人问过我这个问题。这可能跟个人偏好有关吧。要是我说我想「改变人类」，大家可能觉得这哥们有点抽象，但我确实是这么想的哈哈。就是视频带给人的是精神享受，但如果要在这个行业干几十年，我更想做点偏生产力、能够影响大家生活的东西。我最终想做的其实是Physical AI，就是把AI以各种形式带到物理世界。我觉得只有这样，AI才能真的改变大家的生活。

曲凯：明白。那我们快速总结一下你从Agent到多模态再到具身这几段经历带给你的核心认知吧。

淏楠：Agent这边关键的就是怎么让大家更好地把智能用起来。其实现在开发的场景还是不够多，比如Game Agent就比较少有人在做。但实际上还有很多值得做的。

多模态这边，我觉得图片其实没什么可做的了，主要就是做视频。而视频这边，模型层面可能就是大厂之间的竞争，剩下的机会可能就是看谁能把可控性、Harness和交互做得更好。我还挺相信，未来半年肯定会有更好的交互式Studio或者Harness出来。

具身这边，大厂有大厂的玩法，就是做最上面的那一套大脑。而小厂的壁垒，就是按co-design的逻辑，做好硬件和用来控制硬件的小模型，上面再接一层很强的大模型，然后把这一套跑通，尽快落地。

曲凯：明白。你觉得Astra算具身的GPT-3时刻吗？

淏楠：我觉得有点算。它的价值在于可以在具身公司自己的小模型遇到解决不了的问题时接管，可能会替代部分数采员，并优化数据管线。

假设你的小模型在一个没训过的场景里，能泛化出50%的成功率，就已经非常不错了。现在一旦操作出问题，你可以让Astra接管。Astra接管的这种数据叫Error Recovery，非常有价值，可以拿来训自己家的小模型，把成功率从50%拉到80%。而当遇到Astra都解决不了的问题时，可能再由数采员来接管。这样下来，一方面能从一个人盯一台机器，变成一个人能盯十台机器，形成一套比较好的数据管线。另一方面，随着小模型的成功率提高，GPT调用量变少，人的负担也减小，就有可能形成scaling up的逻辑，推进具身落地。

曲凯：那Astra的具身能力，未来会被其他模型蒸馏出来，也有开源的选择吗？

淏楠：其实我们刚才聊的就已经是一种蒸馏了（笑）。

曲凯：但我想的是，这种具身领域的开源模型会由一家具身公司去做，还是被已有的DeepSeek、Kimi等模型公司做掉？

淏楠：蒸馏分两种，一种叫硬蒸馏，就是真的让Astra展现出操作轨迹，再拿去训。这种方式我觉得不适合具身，成本实在太高，没必要。

另一种是软蒸馏，我们刚才讲的就是一种。这种方式的成本是能cover住的，而且数据很有价值。我觉得这种方式大概率是具身厂商来做，而不是模型厂或大厂，因为具身厂商布置设备更方便。

曲凯：明白。最后，我能不能这么理解：国内具身从23年开始，到现在三年多，故事变了好几波，估值也都很高。Astra出来后，好像大家又被拉到同一起跑线，估值和市场会怎么变化，不太好讲，但它解锁了很多新的可能性，推进了落地？

淏楠：对，所以我是兴奋的。我觉得Astra算是让我第一次感觉到，具身真的能落地，而且有很强的泛化能力。我觉得这是整个具身领域非常重要的一个节点。

本文来自微信公众号： 42章经 ，作者：曲凯，原文标题：《少有的同时做过 Agent、多模态和具身的人 | 42章经》