AI的推理计算将在未来几年内成为AI最重要的计算需求，已经逐渐成为共识。

推理计算，拆解开来有两个重要维度，成本和时间。  

其中提升推理速度带来的好处，在AI逐渐Agent化的时代，重要性凸显。

具体来说，在相同成本下提升推理速度，能让那些耗时长、推理强度高的Agent任务在更短时间内完成，从而提高整个系统的效率。

Fractile是一家全栈AI推理公司，致力于从零构建AI的底层推理技术，突破推理计算在“成本与延迟”之间的帕累托前沿限制。

它的初步目标是将AI推理速度提升至现有硬件的100倍，并将成本降至十分之一。

近日，据媒体报道，Fractile完成新一轮约7亿美元融资，本轮融资由Lightspeed和Redpoint领投，Thrive Capital参与投资，这使它的估值从此前的10亿美元升至65亿美元。

2026年5月，它获得由Accel、Factorial Funds以及Founders Fund联合领投的2.2亿美元的B轮融资，参与本轮融资的还有Conviction、Gigascale、O1A、Felicis、Buckley Ventures和8VC等机构。

更早之前，Intel前CEO Pat Gelsinger也对该公司进行投资。

此外，据彭博社报道，Anthropic已向Fractile下达了一份价值2.5亿美元的初步芯片订单。

当Agent运行速度卡在内存带宽上，Fractile选择押注“存内计算”

现在的先进AI系统有一个典型特征，推理阶段投入的算力规模与模型性能之间存在正相关关系。

Agent时代的到来，结合这个特征，使得很多科学和数学上的推导与突破，能够在AI的辅助下完成，或由AI独立完成。

这些高价值任务，往往需要消耗数千万，甚至上亿的token。但现在的顶级模型，由于其庞大的体量和推理计算资源的短缺，推理速度往往只有30-40token/s ，完成这种长程任务可能需要数周，加上中间反馈和调整的时间就更长。

所以，从输入指令到生成输出的时间，已成为制约前沿模型能力发挥的关键瓶颈。从产业角度看，推理计算既是AI行业的营收引擎，也是限制其规模扩张的最大掣肘。

在AI推理的技术栈中，整个计算过程高度受限于内存性能，尤其是内存带宽。如果能突破这一限制，把前沿模型的生成速度从30-40token/s提升到1200token/s，就可以把以往耗时一个月的工作压缩到1天之内。

AI推理硬件领域的公司，通常面临两条技术路径。第一是专用化，聚焦于极其特定的工作负载，打造专门适配这些特定需求的芯片。然而，AI领域的模型架构演进极快，而芯片的设计、验证、流片制造与测试却需要耗费漫长的时间，这条路线充满不确定性。

第二则是从根本上改变计算操作的执行方式，用新的底层模块重新设计芯片架构，并在此基础上构建可大规模扩展的系统。

Fractile选择的是这条路径。他们的研发工作贯穿了从基础AI研究、晶圆代工工艺创新到芯片微架构的全栈技术链条。

Fractile创始人Walter Goodwin，图片来源：Fractile

Fractile由Walter Goodwin在2022年创立，当时他只有26岁，刚从牛津大学AI与机器人学博士毕业。

读博期间，他主要研究怎么用预训练的视觉和语言模型，去做能适应新任务的通用机器人。在这个过程中，他逐渐判断AI会从大量专用模型转向少数大型通用模型，也开始思考当这些模型需要被大规模反复调用时，现有硬件还能不能承担推理需求。

目前，Fractile的核心高管主要来自NVIDIA、Graphcore、Imagination、Intel和Meta等企业。

具体分工上，前NVIDIA移动业务副总裁Pete Hughes负责硬件，来自Graphcore的原首席处理器架构师Alan Alexander和芯片副总裁Phil Horsfield分别负责架构与芯片。原Imagination软件工程副总裁Chris Smith管理软件团队，前Meta连接业务副总裁Dan Rabinovitsj和前英特尔代工服务（IFS）负责人Stuart Pann则分别主管系统工程与供应链。

Fractile目前尚未完全公开底层芯片细节，但可以确认它采用的是存内计算（in-memory compute）架构。这一机制无需再将模型参数在内存与处理器芯片之间来回搬运，而是直接将计算操作内嵌于内存之中。

这项技术能够帮助它突破束缚GPU性能的内存瓶颈（尤其是内存带宽），又大幅削减了功耗。

另一些使用存内计算技术的公司，它们的芯片主要部署在低功耗边缘设备上，而Fractile是极少数试图将这项技术引入数据中心级工作负载的企业之一。

而在具体的内存方案上，Fractile经历了一次从SRAM向DRAM的转向。

起初，Fractile的芯片与Groq或Cerebras类似，主要基于SRAM。因为SRAM能和逻辑电路集成在同一块硅片上，在计算单元与存放模型权重、KV缓存的存储单元之间提供极高带宽，支撑每秒数千个token的生成速度。

但随着模型参数量向数万亿演进、上下文大幅加长，原有架构逐渐受限。

Fractile认为，高速推理真正能带来质变的场景，是支撑长时间运行的Agent。但现有的高速推理芯片虽然带宽极高，内存容量却太小，实际部署中无法独立运行长上下文注意力机制，遇到这类计算还得切回GPU处理。而且在数据中心规模下，推理的经济性最终取决于每GB内存的成本。

为了跳出SRAM的局限，Fractile转向与内存供应商和晶圆代工厂深度合作，通过将DRAM直接三维堆叠在处理器逻辑芯片上方， 从低成本DRAM中获取远超传统HBM的超高带宽 。这样就能把GPU上大容量、低成本DRAM的可扩展性，与Groq或Cerebras的速度优势结合起来。

在芯片研发上，Fractile也引入了AI辅助设计，通过递归自我改进（RSI）来压缩周期。

因为传统的布局布线工具跑一次往往要好几天，他们一面用模糊布局等近似算法加速前期测试，一面在启动耗时昂贵的版图实验前， 先投入大量推理算力让模型把方案推演透，减少无效试错 。这样团队就能同时推进多个备选方案，缩短从捕捉模型趋势到敲定量产的时间差。

目前，Fractile尚未正式推出商业化量产芯片。在转向DRAM堆叠方案后，模拟与测试结果显示， 其芯片推理速度可达现有GPU的10到25倍 ，并继续保持十分之一的成本优势。按照计划，该计算平台将于2027年下半年开始量产爬坡。

AI推理的产业竞争不再只是造一颗芯片

训练模型追求在有限时间内完成更多计算，过去主要看重峰值算力。而推理，尤其是Agent场景，更在意单个任务多久完成。

Agent会连续经历推理、调用工具、获取结果再继续推理的过程，前一步的延迟会不断向后累积。进入Decode阶段后，每生成一个token都要反复读取模型权重和不断增长的KV缓存，数据要是送不过来，计算单元再强也只能等待。

过去20年里，芯片的浮点算力提升了约100万倍，但内存带宽只涨了约40倍。如果把长期落后的内存带宽大幅提上来，反而能减少达到同等智能水平所需的算力消耗，让模型的整体吞吐量成倍增长。因此随着长上下文和长链条任务增多，竞争重点正从单纯增加算力，转向提高内存带宽、减少数据搬运和降低单token延迟。

目前几条主流路线都在解决同一个问题——怎样同时获得足够大的内存容量和足够高的数据读取速度。

NVIDIA在获得Groq技术授权后采用了异构方案。Vera Rubin GPU和HBM负责Prefill、存放大容量KV缓存并计算Attention，Groq 3 LPX则把模型权重放进高速片上SRAM，负责对延迟更敏感的FFN和MoE计算，两种芯片共同完成一次推理。

Cerebras则是直接把大量SRAM和计算核心做到晶圆级芯片上，用巨大的片上带宽减少数据进出芯片。Fractile则在存内计算的基础上，从早期的SRAM方案转向把低成本DRAM与逻辑芯片紧密堆叠。  

国内也有在做这部分的，比如寅谱计算，走的是计算与存储协同路线，通过结合AI SSD与近存计算芯片，用更低成本的存储资源来减少显存与内存压力、解决I/O瓶颈。

这些路线背后的取舍，始终是带宽、容量、成本和灵活性。

推理正形成独立的基础设施产业，衡量标准从峰值算力转向响应速度、单位推理成本、能耗和持续服务能力。

随着Agent、长上下文和不同类型模型出现，一套通用GPU系统很难再覆盖所有场景，芯片、内存、网络和软件开始围绕不同工作负载重新组合。大模型公司和云厂商会更多参与芯片设计，硬件厂商也在向机架、网络和软件栈延伸，产业竞争的单位逐渐从单颗芯片扩大到整套推理系统。

这种变化也会在产业链上带来几类新的机会。

芯片侧会继续出现针对特定推理任务优化的处理器，以及围绕内存、先进封装和互连的新公司。基础设施侧需要新的软件把不同芯片、不同内存和机群组织起来，提高利用率并降低推理成本。服务侧则可能出现更多独立推理云，以及面向特定模型和行业的算力平台。

更长期看，当推理速度提升、成本持续下降后，一批今天因为速度太慢或成本太高而无法落地的Agent和实时AI产品，也会开始具备商业可行性。

本文来自微信公众号 “阿尔法公社”（ID：alphastartups），作者：发现非凡创业者的