Together AIは、長文LLMの推論で主要なコストとなるKVキャッシュを2ビット(INT2)化する手法「OSCAR」をオープンソースとして公開しました。
OSCARは、INT2量子化が精度を崩しやすい原因である外れ値チャネルと、回転がデータ非依存になる問題に対処するため、注意機構の統計に基づく回転を導入します。
具体的には、キーではクエリの共分散により回転基底を決め、値ではアテンションスコアで重み付けされた値の共分散に基づいて回転基底を算出します。
さらに、Walsh-Hadamard変換とチャネルの並べ替えを組み合わせ、重要度の高い方向へ量子化誤差が適切に広がるよう設計されています。
OSCARはSGLangの本番推論スタックに統合され、paged attentionとの互換性を保ったままINT2 KVキャッシュモードで利用できます。
評価では、2.28ビット相当でBF16平均との差が最大でも3.78ポイントに収まり、KVメモリは約8倍削減、100Kトークンではデコード速度が最大3倍向上したとされています。
また、回転行列とクリップ閾値はRotationZooで事前計算済みとして提供され、再キャリブレーションなしで対応モデルに適用できるとしています。
参照元：2026/05/26 「Together AI Open-Sources OSCAR: An Attention-Aware 2-Bit KV Cache Quantization System for Long-Context LLM Serving」 https://www.marktechpost.com/2026/05/25/together-ai-open-sources-oscar-an-attention-aware-2-bit-kv-cache-quantization-system-for-long-context-llm-serving/
この記事へのリアクション
このニュースをどう受け止めましたか？
コメント