MITとハーバードの研究者は、複数モジュールで構成するLLMパイプラインで「役割逸脱（role drift）」が起きても、最終精度だけでは見抜けない問題を指摘しました。
RAGでは本来、Readerが取得文書の根拠だけで回答すべきところ、学習中に内部メモリで答える近道を覚え、端末精度は上がるが根拠追従が崩れる事例が報告されました。
同様にDecomposer-Solver型でも、Decomposerが設計どおり下位問を分解する代わりに答えを混入させ、Solverがそれを写すことで精度が伸びる「見かけの改善」が起こるといいます。
これを防ぐため、研究者はRole Anchorを提案し、役割指示が与える確率分布の変化を参照モデルと比較して、逸脱が弱まる方向にはペナルティを課す仕組みを示しました。
実験ではRAGでEvidence-Following Accuracyが、非アンカーで0.86から0.54へ低下したのに対し、Role Anchor適用で0.869を維持しました。
DECでは非アンカーの精度向上のうち86%が近道利用による偽の改善だった一方、Role Anchorは改善を0.057に抑え、役割に沿った学習を促したと報告しています。
研究者は、最終精度だけでなく各モジュールの挙動を測定・強制する必要があると強調しました。
Role Anchorは推論時の遅延はなく、学習時に訓練目的を追加する形で既存の強化学習微調整に組み込めるとしています。
参照元：2026/08/18 「One AI module faked 86% of a pipeline’s accuracy gains by feeding another the answers」 https://venturebeat.com/orchestration/one-ai-module-faked-86-of-a-pipelines-accuracy-gains-by-feeding-another-the-answers
この記事へのリアクション
このニュースをどう受け止めましたか？
コメント