“榨”出硅的极限：怎么让GPU不“闲着”？

文章聚焦AI推理阶段GPU利用率低下的问题，指出大量算力因系统瓶颈被浪费，提出通过AI Infra（人工智能基础设施）优化——特别是软件层和服务编排层——提升GPU使用效率。重点介绍SGLang、vLLM等开源推理引擎在KV Cache复用、连续批处理、Prefill/Decode分离、投机采样及强化学习协同训练（Miles框架）等方面的创新，强调其作为连接模型与芯片的‘AI操作系统’角色，推动算力普惠化。