Cursor重排GPU流水线，MoE模型训练提速41%

据动察 Beating 监测，Cursor 开源 Mixture-of-Kittens（MoK），用于加速 MoE 大模型训练。它把原本分开的 GPU 数据传输和计算，合进一个 kernel（直接在 GPU 上运行的底层程序）。 MoE 会把模型拆成大量「专家」，每次只调用其中一部分。专家分散在不同 GPU 上，数据需要频繁搬运，有时会占掉一半以上的训练时间。 MoK 让 GPU 一边传数据，一边做计算，减少等待。在 512 块 GB300 GPU 的实际训练中，整体吞吐提高 41%。单独测试 MoE 层时，最高比公开方案快 2.37 倍。 MoK 已用于 Cursor 数万块 GPU 的 Composer 训练，并以 Apache 2.0 开源。目前只支持英伟达 Blackwell GPU，主要面向拥有 GB200、GB300 NVL72 集群的机构。

「查看原文」