企業のAI担当チームは、AIエージェントやLLM機能を社内評価で合格させつつ、顧客向けの障害が発生する事例が増えているとされています。VB Pulseの6月調査では、従業員100人以上の企業157社を対象に、社内評価を通過したにもかかわらず顧客に失敗が出た企業が約半数に上りました。さらに同様の失敗は4分の1で1回以上繰り返されました。
一方で企業は自動化を止めていません。回答者の66%は、人の確認なしで本番投入を一部認めるか、12か月以内に同様の仕組みを作る意向でした。信頼できる自動評価だけでリリース判断できるとする企業は5%にとどまりました。
記事はこの食い違いを「評価ギャップ」と位置づけます。従来のソフトテストは入力と期待出力の一致を確認しますが、エージェントは手順の選択やツール呼び出し、状態の変更が実行ごとに変わり得ます。個別には妥当な判断でも、最終結果が誤る可能性があります。
また、評価スコアが現場の成果を予測できないことが不信の最大要因で、次いでバイアスや一貫性不足、説明可能性の欠如、データ漏えい・プライバシー懸念が続きました。NISTも、管理環境での測定が現場にそのまま移らないとして、フィールドテストや運用後の監視、失敗時のエスカレーション手順を求めています。
Anthropicの指針として、1回成功することと毎回成功することは別であり、反復可能性を主要指標として扱うべきだと説明しています。さらに本番で起きたインシデントを恒久的な回帰テストに組み込み、低リスク業務は自律を広げつつ、高リスク領域は厳格な閾値や再現性テスト、ポリシーチェック、ロールバック、明確な人の介入経路を設けるべきだとしています。
参照元：2026/07/11 「Enterprise AI is entering an evaluation gap: Agents are gaining autonomy faster than companies can verify them」 https://venturebeat.com/orchestration/enterprise-ai-is-entering-an-evaluation-gap-agents-are-gaining-autonomy-faster-than-companies-can-verify-them
この記事へのリアクション
このニュースをどう受け止めましたか？
コメント