Trajectoryは、継続学習を目的に「Continuous Multi-LoRA Training（C-LoRA）」と呼ぶ並列マルチLoRA学習基盤を公開しました。
UCバークレーのSky LabおよびAnyscaleと共同でフィールドレポートをまとめ、学習コードはNovaSky-AI/SkyRLのGitHubでオープンソース化しています。
同基盤は、推論側では各実験を専用LoRAアダプタに割り当て、常時ロードした状態でトークン生成を同時に処理します。
さらに、更新したLoRA重みをインプレースで推論エンジンへ反映し、他テナントのデコードを止めない設計としています。
一方で学習はテナント間で直列化されており、同時実験による推論の多重化の効果が主にスループットに寄与します。
比較では単一テナントの学習フレームワークに対し、8並列でエンドツーエンドの実験スループットが2.81倍向上したと報告しました。
報酬精度については報酬報告に関する退行がないとしており、いずれの並列度でもステップ9までに90％超のreward_accuracyを達成したとしています。
テストはH200 1ノードでQwen3-4B-Instruct-2507を用い、GSM8Kをツール使用学習として扱う設定で実施されました。
8並列では第一実験時間や1ステップ時間が増加するトレードオフも示し、平均ステップ時間は191秒から500秒に伸びたとしています。
参照元：2026/05/31 「Trajectory Releases a Concurrent Multi-LoRA Training Stack for Continual Learning, Reporting a 2.81× Experiment-Throughput Gain」 https://www.marktechpost.com/2026/05/30/trajectory-releases-a-concurrent-multi-lora-training-stack-for-continual-learning-reporting-a-2-81x-experiment-throughput-gain/
この記事へのリアクション
このニュースをどう受け止めましたか？
コメント