扫描下载APP
其它方式登录
DeepSeek开源其自研推理引擎DeepInfer后,vLLM和SGLang等主流开源推理框架迅速集成优化,在预填充与解码性能上实现接近甚至部分超越DeepInfer的成果;开发者基于DeepInfer启发构建新项目如Resin,推动AI推理加速进入协同迭代、持续开源的新阶段。
vLLM Semantic Router开源Decision 3.0系列多模态决策模型,参数规模覆盖0.6B至27B,支持文本、图片、视频输入,专注分类、选择、是非判断等结构化决策任务,本地可部署,在Jev Decision Index榜单中多项指标登顶,适用于客服分流、内容审核、模型路由等场景。