AIモデルを複数組み合わせて問い合わせを振り分ける企業は、同時に誤る確率を見誤っているとする研究結果が報告されました。論文の著者Josef Chen氏らは、21社提供の67の最先端モデルを評価し、「co-failure ceiling（同時全滅の上限）」がルーティングや投票の精度を理論上制限すると示しました。
企業側は、コーディングに強いモデルと論理に強いモデルなどを集め、ペアごとの失敗相関が低いほど全体として失敗しにくくなると考えることが多いです。
しかし研究では、ペアごとの相関だけでは、複数モデルが同じ難問で同時に誤る“共通モード”を捉えられず、標準的な相関指標が失敗率を約2.25倍に過小評価することが分かりました。
MATH-500の検証では、統計モデルが同時全滅率を2.3%と予測した一方、実測は5.2%でした。
さらに、GPQAの大学院レベルの科学問題で多肢選択から自由記述に変更すると、同時全滅の割合が12.7%まで拡大しました。
研究は、開発前にClopper-Pearsonの上限計算で自社のco-failure率を無料で推定し、ルーティング投資の可否を見極める手法も提示しています。
検証可能なタスクでは複数モデルより単一の最良モデルが有利な場合が多く、同時全滅の尾部がどれだけ縮むかを自社で継続測定すべきだとしています。
参照元：2026/07/10 「Enterprises using multiple AI models are underestimating failure rates by 2.25x」 https://venturebeat.com/orchestration/enterprises-using-multiple-ai-models-are-underestimating-failure-rates-by-2-25x
この記事へのリアクション
このニュースをどう受け止めましたか？
コメント