OpenAIは内部専用の自動レッドチーミングモデル「GPT-Red」の詳細を公開しました。
GPT-Redは自社モデルに対して攻撃を行い、プロンプトインジェクションの脆弱性を見つける役割です。
同社は、人手によるレッドチーミングは時間がかかり拡張性が乏しいこと、既存の頑健性評価が最新モデルで飽和していることを理由に挙げています。
また、ブラウザや接続アプリ、ローカルファイル、ツールなどでエージェントが外部情報を参照する場面が増え、攻撃者が細工した指示をデータに混ぜ込める余地が広がっていると説明しました。
GPT-Redはベンチマークではなくモデルとして動作し、プロンプトを送り応答を観察して目標に向け反復します。
運用では、攻撃能力を実運用モデルから切り離す方針を取っています。
学習は自己対戦型の強化学習で、攻撃役（GPT-Red）と複数の防御役LLMが多様なシナリオで同時に訓練されます。
報酬設計では、防御役は攻撃に抵抗しつつ本来のタスクも完了する必要があるとしています。
同社は、間接的なプロンプト注入の再現環境でGPT-5.1に対しGPT-Redが84%のシナリオで成功し、人手のレッドチームは13%だったと述べました。
さらにGPT-Redは「偽のChain-of-Thought」を植え付ける新種の直接攻撃を発見したとしています。
この攻撃ではGPT-5.1で95%以上の成功が報告され、GPT-5.6 Solでは10%未満に抑えられたとしました。
OpenAIは実環境でのケーススタディとして、社内の自動販売機エージェントで価格変更や注文操作が可能だった例、またCLIエージェントでデータ持ち出しシナリオに対する評価を行ったと説明しました。
同社はマルチターンや画像ベースの攻撃など一部は人手が必要で、GPT-Red自体は公開しない方針も示しています。
参照元：2026/07/17 「OpenAI Details GPT-Red: An Internal Automated Red-Teaming Model That Beat Human Red-Teamers 84% To 13% On Prompt Injection」 https://www.marktechpost.com/2026/07/16/openai-details-gpt-red-an-internal-automated-red-teaming-model-that-beat-human-red-teamers-84-to-13-on-prompt-injection/
この記事へのリアクション
このニュースをどう受け止めましたか？
コメント