视频标题：硅谷坐标 x Fireworks 联创 Benny Chen：开源模型、token 增速、推理优化和模型定制
视频作者：Silicon Valley Vector 硅谷坐标
编辑：Peggy，BlockBeats

编者按：在开源模型加速逼近闭源前沿模型、推理价格持续下降的背景下，行业讨论正在从「谁拥有能力最强的模型」转向「谁能以更低成本把模型投入生产」。但当模型能力趋同、Token 消耗增长成为共识，一个更底层的问题开始浮现：企业真正愿意付费的，究竟是更便宜的模型调用，还是能够稳定完成具体任务的专属智能？

近日，《硅谷坐标》主持人曹卿云与 Fireworks AI 联合创始人陈宇飞进行了一场对谈。Fireworks 位于模型与企业应用之间，主要为客户提供开源模型推理、性能优化和定制服务。相比单纯讨论开源能否追平闭源，陈宇飞的观察更接近真实工作负载：Token 流向哪里、企业为何付费，以及模型从概念验证走向生产还缺少什么。

在这场对谈中，陈宇飞是将「开源与闭源谁会胜出」拆解为一组更底层的结构性问题：Token 增长能否转化为收入，通用能力能否替代垂直积累，低价模型能否通过企业评测，以及推理平台如何在云厂商和应用公司之间获得价值。

第一，是开源模型的使用规模与商业价值正在分化。过去，能力追赶和调用价格是判断开源竞争力的主要指标；如今，Fireworks 平台每天处理约 40 万亿至 50 万亿个 Token，开源模型的实际使用量已经快速扩大。但免费流量、促销补贴和模型价格差异，会让 Token 统计高估部分需求。客户可能大量调用低价模型，却仍把最高预算交给效果最好的闭源模型。这意味着，开源的下一阶段不再只是扩大流量，而是证明其能够在高价值任务上达到甚至超过前沿模型，并把成本优势转化为付费意愿。

第二，是通用模型与垂直模型开始沿着不同方向演进。过去，每次前沿模型升级，都可能直接淘汰一批微调模型；现在，法律、医疗、编程等垂直应用正在积累更细的评测、数据和工作流，其优化目标也与前沿实验室逐渐分离。通用模型需要提高能力上限，垂直模型则要在有限场景内稳定交付结果。前者可以解决更广泛的问题，后者却更理解用户如何定义「正确」。这意味着，垂直公司的壁垒并不只是拥有一个定制模型，而是能够持续把行业需求转化为评测体系，并随着基础模型更新反复迁移。

第三，是企业 AI 落地的瓶颈正在从模型供给转向评测能力。过去，企业概念验证往往依赖试用体验和主观判断；现在，当 AI 进入呼叫中心、法律检索和医疗辅助等生产环节，仅凭「看起来效果不错」已经无法支持采购决策。企业必须知道模型在哪些任务上有效、何时失效，以及从闭源切换至开源会改变多少成本和质量。评测因此不再是附属工具，而是连接采购、训练与生产部署的基础设施。谁能定义任务、建立测试分布并持续更新标准，谁才真正掌握模型选择权。

第四，是推理平台的价值正在从「卖便宜算力」转向组织模型、硬件与工作流。过去，推理优化主要被理解为降低单个 Token 的成本；现在，缓存、任务拆分、模型路由和上下文管理都可能直接改变任务完成率。不同模型不必争夺同一个位置，而可以分别担任执行者和顾问。Fireworks 的商业逻辑也由此成立：不自建重资产硬件，而是通过训练、定制和持续推理，将收入与客户模型的实际使用绑定。但这条路径的主要对手并非单一新云公司，而是能够同时控制算力、软件和客户入口的大型云厂商。

第五，是开源模型崛起未必削弱基础设施需求，反而可能压缩模型层溢价，并把价值进一步推向推理和算力。科技巨头持续增加资本开支，也不只是计算短期回报，而是在衡量错过 AI 周期的长期风险。不过，对依赖外部融资的新云公司而言，债务成本、项目延期和回本周期仍会构成更直接的约束。模型越来越便宜，不代表建设和运行 AI 系统也会同步变轻。

如果将这场对谈压缩为一个判断，那就是：开源模型追平只是起点，AI 商业化的下一阶段，将围绕评测、定制、推理效率和客户工作流展开。

以下为原文内容（为便于阅读理解，原内容有所整编）：

TL；DR

·开源模型正在快速追平闭源模型，但 Token 增长不等于收入增长，企业预算仍优先流向效果最好的模型。

·蒸馏只能帮助开源模型短期缩小差距，长期竞争力仍取决于独立训练、评测数据、人才与算力。

·通用模型升级不再必然淘汰垂直模型，法律、医疗等场景的壁垒正在从模型能力转向评测、数据与工作流。

·企业 AI 从 PoC 走向生产的关键不在增加模型选择，而在建立能够衡量质量、成本和失败边界的评测体系。

·推理优化已从降低单 Token 成本扩展到缓存、任务拆分和模型路由，系统设计本身可以让多模型组合超过单一前沿模型。

·定制模型更适合覆盖大量同类客户的垂直 SaaS 平台，单一企业通常缺少足够广泛的数据分布和持续评测能力。

·Fireworks 的竞争力不在持有 GPU，而在连接训练、定制与持续推理，但真正的长期对手仍是能够覆盖完整技术栈的云巨头。

·开源模型普及未必削弱硬件需求，它更可能压缩模型层溢价，并将产业价值重新分配至算力、推理基础设施和企业工作流。

专访要点

开源会继续追赶，但蒸馏不是长期答案

Fireworks 团队多来自 Meta 的 PyTorch 生态。基于过去操作系统、数据库等软件的发展经验，团队长期相信，具有重要价值的软件最终会出现具备竞争力的开源方案。大模型可能沿着类似路径发展，只是这一轮追赶速度比陈宇飞原先预计得更快。

一方面，OpenAI、Anthropic 等闭源模型公司的年度经常性收入仍在迅速增长；另一方面，中美开源模型也在快速缩小能力差距，并把推理价格压到很低。开源与闭源并非一方增长、另一方必然衰退的零和关系。

对于部分开源模型通过闭源模型输出进行蒸馏，陈宇飞认为，这种方式可以帮助模型在短期内达到较高水平，却很难成为可靠的长期路径。闭源厂商可以逐步修补 API 和安全机制，降低推理过程及相关数据被提取的可能性。

但开源模型的进步也不完全依赖蒸馏。只要评测体系不断完善、数据成本继续下降，加上足够的人才、GPU 和工程能力，开源团队仍然可以独立训练出具有竞争力的模型。Meta 等拥有算力和人才储备的公司，没有理由长期与闭源前沿模型保持巨大差距。

这不代表闭源模型会失去市场。陈宇飞将二者类比为苹果和安卓：开放生态可能承接更大的使用规模，持续领先的闭源产品则可以凭借稳定体验、品牌认知和企业信任，保留价格敏感度较低的高价值客户。

企业采购往往偏向保守。「没有人会因为购买 IBM 而被解雇」，描述的正是这种决策心理。只要客户仍然相信采购头部闭源模型更加稳妥，OpenAI、Anthropic 等公司就能维持一定优势。相比短期技术差距，用户心智和市场进入能力可能更难改变。

陈宇飞预计，闭源模型公司的 ARR 仍会增长，但这一数字未必完整反映其最终获得的经济利益。例如，部分收入可能需要与云厂商分成，ARR 上涨不一定转化为相同比例的会计收入和利润。闭源模型的议价权是否下降，要等相关公司披露更完整的财务信息后才能判断。

长期来看，开源可能取得更大的调用规模，闭源则继续掌握利润更高的需求。决定两者商业边界的，不只是模型能力，还包括品牌、渠道、客户信任和收入分配方式。

Token 正在流向开源，收入却仍追随效果

据陈宇飞介绍，Fireworks 平台目前每天处理约 40 万亿至 50 万亿个 Token。按其援引的公开口径，这一规模已经超过 Gemini 和 OpenAI 对外公布的企业 API 流量。

平台上的主要需求来自编程、医疗、协同办公和深度研究。其中，越来越多原本不被视为编程的任务，正在被重新定义为「编程问题」。

PowerPoint、Excel 等办公软件便是典型案例。当模型能够通过代码或结构化工具操作这些软件，既有的代码生成、工具调用和强化学习方法就可以被迁移到办公场景。许多垂直 SaaS 公司也在把行业工具封装成模型可以调用的环境，再通过强化学习，让模型熟悉特定工作流程。

陈宇飞将当前需求大致归纳为两类：一类是编程，另一类是深度研究。不同垂直应用会结合两者，形成面向法律、医疗、办公等场景的专属 Agent。

他尤其看好面向非技术用户的协同办公产品。此前行业的大部分资源被投入数学、编程等「理科生需求」，但生成幻灯片、处理文档和制作视频等面向广泛知识工作者的需求，可能增长得更快。

计算机操作 Agent 的发展则比此前预期缓慢。一年多前，这类产品一度被认为可以绕过复杂 API，像人一样直接使用电脑；实际发展中，企业为了降低成本，反而把更多工作流转向纯文本。文本模型更便宜，也更容易嵌入现有流程。随着虚拟机成本下降和运行环境改善，计算机操作 Agent 仍可能获得更大空间，但具体优化路径仍在探索。

不过，Token 增长不能直接代表商业价值。公开模型路由榜单经常受到免费额度和推广活动影响，相同数量的 Token 也可能对应完全不同的价格。低价模型产生的流量，与昂贵前沿模型产生的流量，在收入层面的意义并不相同。

陈宇飞认为，收入比 Token 数量更能反映客户的真实选择。当企业对价格不敏感时，预算仍会流向效果最好的模型。因此，Fireworks 帮助客户定制模型时，首要目标通常不是做到「性价比不错」，而是在具体任务上达到甚至超过头部闭源模型。

编程市场同样存在使用量与收入分化。Token 消耗大概率会持续增长，但如果常用模型不断降价，更低价格会刺激更多调用，却不一定同步扩大市场收入。正如电力普及不意味着利润都由发电企业获得，AI 调用量增长也不能直接回答产业价值最终落在哪一层。

未来一段时间，开源模型的使用量可能继续上升，但相关支出能否同步扩大，取决于企业是否愿意投入资源进行定制。如果越来越多公司能让定制开源模型在具体任务上挑战闭源模型，流量和收入会进一步向开源迁移；如果定制成本、失败率和组织能力继续构成障碍，闭源模型仍会承接大部分高价值需求。

通用模型抬高能力上限，垂直模型积累任务壁垒

每当新的前沿模型发布，市场都会重新提出一个问题：企业投入数据和资金微调的模型，会不会迅速失去价值？

陈宇飞表示，2025 年确实有不少定制模型被新一代基础模型取代，但到 2026 年，这种情况已经明显减少。在他看来，这是垂直模型商业价值逐步稳定的积极信号。

原因在于，通用模型与垂直应用正在沿着不同方向优化。前沿实验室需要证明模型能够解决更困难的数学、科学和药物研发问题；法律、医疗等垂直公司关注的则是具体用户需求、任务完成率、引用准确性和工作流程是否可靠。

「把一个垂直领域的 Agent 做好，和解决黎曼猜想，可能是两种完全不同的工作。」

以法律 AI 公司 Harvey 为例，其优势不仅来自使用了哪一个基础模型，还来自对法律任务的拆解、评测体系、数据处理和产品流程。医疗场景同样如此，不同产品需要围绕医生的工作方式、资料来源和准确性要求建立专门标准。

这些评测和数据不会随着新模型发布而自动失效。基础模型升级后，垂直公司可以把既有训练环境迁移到新模型上，而不必重新理解整个行业。随着评测越来越细、数据清洗流程越来越成熟，垂直模型形成的是一种围绕具体任务持续积累的能力。

理论上，前沿模型公司也可以集中资源进入法律或医疗市场，并在单一领域击败现有产品。但这种做法未必符合其商业目标。通用模型公司需要服务广泛客户，如果把大量资源投入一个垂直领域，可能难以支撑其追求的市场规模和估值。

陈宇飞将通用模型比作需要照顾广泛口味的连锁餐厅，垂直模型则更像专注少数菜品的餐馆。后者不需要解决所有问题，只要在目标任务上显著优于通用方案，就可能建立独立的付费空间。

这种不均衡但高度专门化的能力，也被他称为「Jagged Intelligence」。一个法律模型或许无法解决黎曼猜想，却可以在某类法律任务中超过规模更大的通用模型。对企业客户而言，能否可靠完成工作，往往比模型是否具备更宽泛的能力更重要。

并非所有企业都适合定制模型。陈宇飞认为，最合适的客户是服务大量同类机构的垂直 SaaS 公司，而不是单一医院、律所或终端企业。

垂直 SaaS 平台能够接触大量客户，理解不同机构之间的共同需求，也可以建立覆盖更多情况的评测体系。单一企业通常缺少足够广泛的数据分布和持续评测能力，与其独立训练模型，不如把内部流程固化成技能、工具或 Agent，再调用外部基础模型完成任务。

在定制强化学习项目中，GPU 是主要成本，数据和训练环境同样关键。团队需要检查模型是否出现奖励黑客，即利用评测漏洞获得高分，却没有真正完成任务；同时还要确保训练环境稳定，并能够扩大训练规模。

初始环境不一定需要达到数十万条。陈宇飞表示，上千个训练环境就可能启动强化学习，因为模型会在训练过程中反复探索并生成大量轨迹。假设每个训练步骤对一条环境运行 128 次，一千条初始数据便可能生成约 12.8 万条训练轨迹。

定制模型上线后仍需「回炉」。当新的开源基础模型发布，平台可以把原有训练和评测体系迁移到新模型上。只要评测标准和任务环境已经固定，迁移本身不一定耗时；真正持续产生工作量的，是客户加入新的场景、工作流和更困难的任务。

因此，垂直公司的核心资产不是某一代模型的权重，而是能够随着基础模型更新反复迁移的数据、评测和工作流。

企业 AI 卡在 PoC，缺的不是模型而是评测

企业选择开源还是闭源模型，首要考虑的并不只是性能和价格，而是信任。

由于企业合同通常持续一至两年，采购方需要判断服务商及其生态能否长期支持业务需求。开源模型可能更便宜、更灵活，但闭源厂商在品牌传播、成功案例和市场认知上依然占优。

陈宇飞认为，开源模型及其服务商目前最明显的短板不是技术，而是市场进入能力。闭源模型公司可以不断通过新的能力演示和研究成果强化用户认知，开源生态却缺少统一的市场推广和客户沟通体系。

部署方式也在发生变化。早期企业更关注本地部署，如今越来越多工作负载转向云端。只要服务商能够在安全、虚拟私有云等环节建立信任，多租户云服务通常比企业独占 GPU 更具经济性。

单个企业未必能够让一批 GPU 始终保持高利用率，平台则可以聚合不同客户的需求，提高硬件使用效率。当推理成本在企业运营支出中的占比上升，共享基础设施带来的成本优势会更加明显。

企业从概念验证走向生产，最大的障碍之一则是缺少严谨的评测。许多公司即使已经把 AI 用于呼叫中心等重要环节，判断模型效果的方式仍接近凭感觉试用，而不是建立能够重复运行的测试标准。

没有评测，企业既无法稳定比较开源与闭源模型，也无法判断模型更新是否真正改善了业务。陈宇飞因此认为，能够设计 AI 评测的人才仍然稀缺。一套可靠的评测体系，可能帮助企业完成模型替换，并节省远高于其建设成本的长期支出。

这与传统软件公司的单元测试没有本质区别。过去，SaaS 公司需要在软件交付前运行一套测试；如今，垂直 AI 公司需要建立一组评测，确认 Agent 在投入生产前达到相应标准。行业工作的重心正在从部分「写测试」转向「写评测」，但核心仍是把产品质量转化为可衡量、可积累的组织能力。

第三方数据公司的发展也可以作为观察企业 AI 落地的指标。如果其客户继续集中于少数前沿实验室，说明普通企业建立独立 AI 能力的空间仍然有限；如果收入来源逐渐分散，则可能意味着更多企业开始购买数据、搭建评测并训练自己的模型。

企业真正缺少的不是更多模型，而是一套能够定义正确、识别失败并支持采购决策的标准。

推理优化从降低 Token 成本走向系统调度

Fireworks 的第一门核心业务是推理优化。陈宇飞认为，这项工作仍有很大空间，因为一个模型刚发布时的运行效率，与经过长期优化后的表现通常存在明显差距。

平台要解决的问题，是如何缩短这段优化周期，让新模型上线时就尽可能接近最佳状态。除了模型运行时本身，缓存、调度和配套基础设施都会影响最终成本。许多优化来自大量细碎的工程工作，因此推理优化仍是一项劳动密集型业务。

相比模型开发者提供的第一方 API，Fireworks 同时服务大量基础模型和定制模型，可以观察到更多不同的流量模式和工作负载。模型厂商首先要把自己的模型稳定地服务给广泛用户，第三方平台则可以针对特定客户的请求特点进行更细致的优化。

模型路由也不仅是为了降低成本。Fireworks 与 Harvey 的一项联合实验中，系统让一个模型担任任务执行者，另一个模型担任顾问，把长上下文任务拆成若干较短的子任务。由于大模型的效果可能随着上下文变长而下降，合理分工后，系统整体表现反而可能超过单独使用最强模型。

陈宇飞将这一过程类比为 CPU 性能优化。开发者需要了解处理器的特性，再把程序拆成适合该处理器的工作负载。同样，在 AI 系统中，基础模型可以被视为一种文本处理器：团队需要先理解不同模型的能力边界，再设计任务框架，最后把合适的模型放到合适的位置。

硬件优化也不能只看 GPU、HBM、CPU 和网络的单项指标。模型在训练之初，通常已经针对现有硬件的计算与内存比例进行设计。因此，模型从英伟达 GPU 迁移至特性相近的 AMD GPU 相对容易，迁移至架构不同的 ASIC 则可能需要大量工作。

一种新硬件能否成功，不只取决于参数是否接近英伟达，还在于供应规模、软件生态和经济激励能否促使开发者针对它优化模型。即使硬件配置与英伟达相似，如果开发者无法通过使用它获得足够回报，也很难形成生态。

推理平台最终优化的并不只是模型运行速度，而是模型、任务和硬件之间的匹配方式。

Fireworks 不持有硬件，但要连接训练与推理

面对 AI 云厂商向软件层扩张，Fireworks 暂时没有自建硬件或重资产购买 GPU 的计划。陈宇飞将公司的模式形容为更接近「二房东」：从基础设施供应方获取算力，把重点放在计算软件、推理服务和模型定制上。

Fireworks 与一般 AI 云平台的差异，在于平台上的大部分流量并非来自未经修改的基础模型，而是定制模型。陈宇飞认为，基础模型推理的竞争会越来越激烈，利润更可能来自能够为客户交付更好结果的专属模型。

Fireworks 将训练与推理连接成同一门生意。公司帮助客户训练模型，并希望模型上线后的推理流量持续增长。与只收取训练费用或咨询费用的服务商相比，这种收入结构让平台与客户的长期使用效果更加一致：客户通过模型产生更多价值，Fireworks 才能从持续推理中获得更多收入。

一些强化学习服务商只提供训练或咨询，其收入与模型上线后的使用效果未必直接相关。Fireworks 的商业逻辑则是通过训练提升模型效果，再从后续推理流量中获得回报。它出售的不是一次性的训练项目，而是让客户模型持续产生使用量的能力。

真正有能力覆盖整个链条的竞争者，不是单一新云公司，而是 AWS、微软 Azure 和 Google Cloud 等大型云服务商。它们既拥有算力，也可以建设强化学习服务、推理平台和开发工具。

Fireworks 一方面与云厂商竞争，另一方面也依赖其基础设施并与其合作。目前公司与 Azure 合作最为紧密，客户可以使用 Azure 额度购买 Fireworks 服务，同时也与 AWS 和 Google Cloud 开展合作。

陈宇飞认为，Fireworks 当前的推理优化能力仍优于云厂商的同类服务，但单点性能并不是最稳固的壁垒。更重要的是完成从训练、部署、评测到推理的整个机器学习运营周期，为开发者提供连贯体验。相较新云公司，Fireworks 覆盖的链条更长；相较云巨头，它需要在专业化和执行速度上保持优势。

即便未来 AI 能够自动完成内核、推理和后训练优化，理解客户需求仍可能是一项难以完全替代的工作。一个系统或许能够解决复杂数学问题，却未必能凭空理解企业的流程、约束和评判标准。Fireworks 的长期价值最终仍取决于能否把客户需求转化为模型、评测和可运行的产品。

开源压缩模型溢价，算力仍是最终约束

未来一至两年，Fireworks 面临的最大挑战仍是算力。公司能否以合理价格获得足够多的计算资源，将直接限制收入增长。陈宇飞将 Fireworks 当前的状态概括为「受算力约束」，并判断至少未来一年，市场整体仍可能维持这一状态。

这也影响了他对科技巨头 AI 资本开支的看法。市场通常从投资回报率出发，判断 Google、Meta 等公司是否投入过度；但对这些公司而言，另一种风险可能更大：如果 AI 最终带来极高回报，而自己因为减少投入错过这一轮竞争，便可能永久失去牌桌上的位置。

因此，即使短期超额投入，代价也可能只是财务报表承压，以及未来数年需要消化折旧。对拥有长期现金流和融资能力的科技巨头而言，这通常不是生存风险；错过关键技术周期却可能是。

新云公司的情况有所不同。它们需要更严格地计算项目回报、融资成本和回本周期。陈宇飞建议关注相关公司的债券评级、项目延期和再融资能力。如果未来 3 至 6 个月有参与者因信用问题无法继续借款，需要进行债务重组，市场是否还有资金愿意接手，将成为检验 AI 基础设施融资能力的关键节点。

对于「开源模型追平闭源模型将压低硬件需求」的市场叙事，陈宇飞持怀疑态度。在他看来，开源模型能力提升首先削弱的是模型层的溢价能力。如果整体 AI 支出不变，价值反而可能向提供算力和基础设施的公司转移。

不过，AI 资本开支最终能否兑现足够回报，仍是一个没有答案的问题。算力项目往往需要数年才能收回投资，而一年后的供需格局已经很难预测。现阶段相对清晰的信号是，无论 Fireworks 还是其服务的许多客户，仍然在寻找更多算力。

开源与闭源的竞争不会仅由模型排行榜决定。当能力差距持续缩小，产业价值将更多取决于谁能定义任务、验证效果，并以可持续的成本把模型投入生产。

[视频链接]