BerriAIは、LiteLLM AI Gatewayの上に構築された「LiteLLM Agent Platform」をオープンソース公開しました。エージェントを複数チームで本番運用する際に、プロセス再起動やデプロイでセッション状態が失われる課題と、チームごとの実行環境を分けたい要望に対応します。
同プラットフォームは、チームやコンテキストごとに隔離されたサンドボックスを用意し、ポッドの再起動やアップグレード後もセッションの継続性を保つ仕組みを提供します。運用画面はNext.jsのダッシュボードで、セッションチャット、エージェントの作成・更新（CRUD）、稼働状況を確認できます。
実装はTypeScript中心で、Webプロセスとワーカープロセスを分離し、永続化にはPostgresを使用します。データベースのスキーマは起動時のinitコンテナでマイグレーションされます。
サンドボックスはKubernetes上で動作し、ローカル開発ではkind、プロダクションではAWS EKSが推奨されます。さらに、.envのうちCONTAINER_ENV_で始まる変数をサンドボックスへ注入する仕組みも用意し、資格情報をコンテナ改修なしで渡せるとしています。
同基盤はLiteLLM Gatewayを置き換えるものではなく、モデルルーティングやコスト計測、レート制限はGateway側が担い、Agent Platformはサンドボックス管理とセッション管理、運用ダッシュボードを担当します。MITライセンスで公開され、現在はalphaのパブリックプレビュー段階です。
参照元：2026/05/17 「Meet LiteLLM Agent Platform: A Kubernetes-Based, Self-Hosted Infrastructure Layer for Isolated Agent Sandboxes and Persistent Session Management in Production」 https://www.marktechpost.com/2026/05/16/meet-litellm-agent-platform-a-kubernetes-based-self-hosted-infrastructure-layer-for-isolated-agent-sandboxes-and-persistent-session-management-in-production/
この記事へのリアクション
このニュースをどう受け止めましたか？
コメント