AIエージェントの実運用で「デモは成功するが停止する」問題が広がっています。Chromaは18の主要モデルを検証し、入力が長くなるほど全モデルで精度が低下したと報告しました。長文入力での精度劣化は注意機構に由来し、より強いモデルでも埋めにくい性質だとしています。
微調整は知識を重みに埋め込む一方、学習を更新すると既存知識が失われる「壊滅的忘却」が起きます。対策としてタスクごとにモデルやアダプタを分けると、モデル群の管理負荷やガバナンスコストが増えます。さらに方針変更のたびに再学習が必要になり、更新が高コストになります。
一方、インコンテキスト学習やRAGは実行時にプロンプトへ知識を入れるため再学習を回避できますが、長いプロンプトでは「コンテキストロット」が問題になります。検索が外れても自信ある回答に見えやすく、トークン追加によりコストと遅延も増えます。そのため、人が最終確認から離れにくいと指摘されています。
この課題への第三の道として、ハイパーネットワークにより必要な小型専門モデルの重み（アダプタ）を推論時に生成する手法が挙げられます。Sakana AIのText-to-LoRAやSHINEなどが関連研究として紹介されました。Palo AltoのNaceは2026年5月にシードラウンドで資金調達し、MetaModelと呼ぶ生成器で企業のポリシーから推論時にパラメータ適応を作るとしています。
記事は、生成型アプローチの強みは忘却とプロンプト制限の両方を避けつつ、タスクごとの手作りアダプタの「モデル群」問題を軽減できる点だと述べます。自治性を高めるには、出力の根拠を提示できるグラウンディングや、専門家の検証後にどのモデルが改善されどこで学習が反映されるかというフィードバック設計が重要だとしています。
ただし、較正（不確実性の見極め）や生成モデルのスケールは未解決で、依然として査読中の論点だとされています。購入前には、知識がどこに置かれるか、出力根拠が検証可能か、どの条件で人にエスカレーションされるか、そして誰のモデルが改善されどこで動くかを確認すべきだと結論づけています。
参照元：2026/06/20 「Fine-tuning forgets. RAG leaks context. Hypernetworks build the model your agent needs on demand.」 https://venturebeat.com/orchestration/fine-tuning-forgets-rag-leaks-context-hypernetworks-build-the-model-your-agent-needs-on-demand
この記事へのリアクション
このニュースをどう受け止めましたか？
コメント