VB Transform 2026でLangChainのHarrison Chase CEO、ConvivaのHui Zhang CTO兼共同創業者、CoreWeaveのEmmanuel Turlayエンジニアリングディレクターが、AIエージェントの評価手法の見直しを語りました。単一の会話ログを高得点に見せても製品不具合が残る場合があり、企業は個別トレースの採点から、ユーザー集団をベースラインと比較する対照的分析へ移るべきだとしました。Zhang氏は、会話ごとに評価すると問題が見えない例として、靴購入の前後でフォロー質問の比率や会話外での完了率がカテゴリ単位でベースラインより大きく悪化しているケースを挙げました。Chase氏は評価基準を「新しいPRD」と位置づけ、出荷前に網羅的なテストを作り切ろうとする“評価麻痺”は避け、出荷後に反復するべきだと述べました。Turlay氏は、事前の網羅テストよりも常時の広範なモニタリングで失敗クラスを早期に特定し、その後に絞ったオフライン評価を組む構えを示しました。さらに、判定役のモデルは最上位で解けることを確認してから段階的に小型化し、必要に応じてトラフィックを全数ではなく一部サンプリングすると説明しました。Chase氏は、微調整したQwen系モデルで“ユーザーが誤りだと認識した”信号を検出でき、コストを大幅に下げられると述べました。人による承認は消えず、法務・医療など責任の所在がある領域では特に当面必要だと強調しました。
参照元：2026/07/21 「A single AI agent conversation can look perfect and still be broken, leaders from LangChain, Conviva and CoreWeave said at VB Transform 2026」 https://venturebeat.com/data/a-single-ai-agent-conversation-can-look-perfect-and-still-be-broken-leaders-from-langchain-conviva-and-coreweave-said-at-vb-transform-2026
この記事へのリアクション
このニュースをどう受け止めましたか？
コメント