Cursor Researchは、Mixture-of-Kittens（MoK）をオープンソース化しました。
MoKは、CursorのComposerモデルで使われるMixture-of-Experts（MoE）学習用のメガカーネルで、通信と計算の手順を1つの決定論（デターミニスティック）カーネルに統合します。
チームは、公開されている最強のベースラインに対し最大2.37倍のスループット向上を報告しています。
MoKはGitHubでApache-2.0の下に公開されました。
実行にはNVIDIA BlackwellのSM100またはSM103 GPUが必要で、GB200 NVL72またはGB300 NVL72ラックでの利用を前提としています。
さらにPython 3.12以上、PyTorch 2.10以上、CUDA 13.0以上が求められます。
MoE層が学習時間のボトルネックになっている点に着目し、NVL72ラックでのCPU-GPU同期を最小化する設計を採用しています。
具体的には、操作ごとに通信方向を選ぶほか、適切な粒度でオーバーラップを確保し、CPUをループから外すリング状トークンバッファを導入しました。
512 GPUでのエンドツーエンド試験では、GPUあたりのトークン/秒が760.9から1,070.2へ増加し、1.41倍の改善が示されています。
参照元：2026/08/05 「Cursor Open-Sources Mixture-of-Kittens (MoK): A Deterministic MoE Training Megakernel for GB300 NVL72 Racks」 https://www.marktechpost.com/2026/08/04/cursor-open-sources-mixture-of-kittens-mok-a-deterministic-moe-training-megakernel-for-gb300-nvl72-racks/
この記事へのリアクション
このニュースをどう受け止めましたか？
コメント