UC BerkeleyとUT Austinの研究チームは、Mixture-of-Experts（MoE）モデルを個人のPC上で動かすための推論サービングエンジン「FreeToken」を提案しました。
FreeTokenは、手元のマシンをGPU単体ではなく、GPU・CPU・メモリ・接続帯域を含む弾力的な推論基盤として扱い、計算とモデル状態を実際のリソースに継続的に割り当てます。
その結果、8GBのノートPC向けGPUで35Bモデルを対話速度で提供し、ゲーミングデスクトップでは284Bモデルを動作させ、ワークステーション環境ではGLM-5.2（753B）を単一GPUで稼働できるとしています。
FreeTokenはApache-2.0でGitHubに公開され、PyPIではfreetoken v0.1.2として提供されます。
Linux x86_64のNVIDIA GPU（ドライバr580以降、CUDA 13）を対象に、ft serveでOpenAIおよびAnthropic互換のエンドポイントをポート1919で公開し、デスクトップアプリもWindowsとLinux向けに用意されています。
研究では、既存エンジンがプリフィル時にスパース性を壊す、静的配置でデコード通信を取りこぼす、消費者CPUが残余計算を支えきれない点を課題として挙げました。
FreeTokenは帯域測定に基づきGPUとCPUへキャッシュミスを振り分ける方針や、意味に応じたキャッシュ、VRAM上限に合わせた弾力的なメモリ管理を組み込んだとしています。
RTX 5090環境ではQwen3.6-35B-A3BやDeepSeek-V4-Flashで既存ベンチマークより1.5〜2.3倍のデコードスループットを示し、最悪時のTTFTは44秒未満だったと報告しています。
一方で、監査データでは一部の主張が自己申告であり、独立再現は未実施とされています。
参照元：2026/08/23 「Meet FreeToken: An Edge-Native MoE Serving Engine that Runs 753B GLM-5.2 on a Single Workstation GPU」 https://www.marktechpost.com/2026/08/23/meet-freetoken-an-edge-native-moe-serving-engine-that-runs-753b-glm-5-2-on-a-single-workstation-gpu/
この記事へのリアクション
このニュースをどう受け止めましたか？
コメント