扫描下载APP
其它方式登录
DeepSeek开源其自研推理引擎DeepInfer后，vLLM和SGLang等主流开源推理框架迅速集成优化，在预填充与解码性能上实现接近甚至部分超越DeepInfer的成果；开发者基于DeepInfer启发构建新项目如Resin，推动AI推理加速进入协同迭代、持续开源的新阶段。
文章聚焦AI推理阶段GPU利用率低下的问题，指出大量算力因系统瓶颈被浪费，提出通过AI Infra（人工智能基础设施）优化——特别是软件层和服务编排层——提升GPU使用效率。重点介绍SGLang、vLLM等开源推理引擎在KV Cache复用、连续批处理、Prefill/Decode分离、投机采样及强化学习协同训练（Miles框架）等方面的创新，强调其作为连接模型与芯片的‘AI操作系统’角色，推动算力普惠化。
