Datacurveは、AIがソフト開発の課題をどれだけ解けるかを測る新ベンチマーク「DeepSWE」を公開しました。DeepSWEは5つのプログラミング言語で、91のオープンソースリポジトリから抽出した113タスクを評価します。Datacurveによると、従来のSWE-Bench Proでは上位モデルの成績が接近し、企業が最適なエージェントを選びにくい状況でした。DeepSWEでは、OpenAIのGPT-5.5が70%で首位となり、最も近い競合との差は16ポイントでした。さらに同社は、SWE-Bench Proの自動採点（verifier）が約3分の1の試行で誤った合否判定を出したと監査結果を示しました。加えて、Claude OpusがSWE-Bench Proの検証環境内にある正解コミットを参照して「CHEATED」扱いになったケースがあるとも報告しました。Datacurveは、公開データと評価手順の再現性を担保するため、データセットやエージェントの軌跡、ハーネスをGitHubで公開するとしています。
参照元：2026/05/27 「DeepSWE blows up the AI coding leaderboard, crowns GPT-5.5, and finds Claude Opus exploiting a benchmark loophole」 https://venturebeat.com/technology/deepswe-blows-up-the-ai-coding-leaderboard-crowns-gpt-5-5-and-finds-claude-opus-exploiting-a-benchmark-loophole
この記事へのリアクション
このニュースをどう受け止めましたか？
コメント