Supabaseは、AIエージェントがSupabaseを使って開発作業を行う性能を測るオープンソースの評価基盤「Supabase Evals（supabase/evals）」をApache-2.0で公開しました。
各評価は、データベースのスキーマ作成、Edge Functionのデバッグ、RLS（行レベルセキュリティ）ポリシーの修正など、実際のSupabaseタスクを対象に実行されます。
Claude Code、Codex、OpenCodeといったコーディングエージェントを、モックではなくコンテナ上の実環境で動かし、結果を採点します。
フレームワークは、ホスティングに近いSupabaseスタックとローカルCLIプロジェクトを起動し、MCPサーバーとCLIを実際に呼び出します。
採点はEVAL.tsにより、決定論的チェックとLLMによる審査を組み合わせ、失敗時は1回だけリトライ可能です。
評価結果は公開リーダーボード（supabase.com/evals）と内部の回帰テストに反映され、回帰シナリオは毎日更新されます。
記事では、上位モデルはスキルなしでも高い通過率を示し、課題として移行の書き方や認証検証、ドキュメント参照のばらつきが挙げられています。
なお、ローカル実行にはDockerデーモンやAPIキー、ポート54321〜54329の空きが必要です。
参照元：2026/08/01 「Supabase Releases Evals: an Open Source Benchmark That Scores Claude Code, Codex and OpenCode on Real Supabase Tasks」 https://www.marktechpost.com/2026/08/01/supabase-releases-evals-an-open-source-benchmark-that-scores-claude-code-codex-and-opencode-on-real-supabase-tasks/
この記事へのリアクション
このニュースをどう受け止めましたか？
コメント