Anthropicは、AIの安全性を評価するテストの作り方に関する助言を公開しました。
同社は、Claude Fable 5.1について、API経由の自傷関連の会話テストで適切に振る舞った割合が60%だった一方、Claudeアプリでは修正後に94%だったと説明しました。
この結果から、同じモデルでも測定手順や提供経路の違いで安全スコアが大きく変わり得ると警告しています。
また、見出しとして公表される安全スコアが不確実性の幅を隠してしまう可能性があるとも指摘しました。
Anthropicは、再現性のある評価設計と不確実性の扱いを重視すべきだとしています。
参照元:2026/11/14 「Anthropic says its AI safety scores depend heavily on how they’re measured」 https://thenextweb.com/news/anthropic-safety-evaluations-guidance-fable-self-harm
この記事へのリアクション
このニュースをどう受け止めましたか?
Reader Reaction



コメント