Sakana AIの研究チームと東京大学は、残差ネットワークをブロック単位で独立に学習できる枠組み「DiffusionBlocks」を提案しました。
同手法では、トランスフォーマー系ネットワークをB個のブロックに分割し、各ブロックを連続時間拡散モデル由来のスコアマッチング目的で学習します。
残差接続の更新則が逆拡散過程の確率フローODEをオイラー離散化したものに対応することを根拠に、各ブロックは局所目的のみで整合的に学習できるとしています。
学習時は各反復で1ブロックだけを計算するため、必要な学習メモリは概ね1/Bに低減します。
さらに拡散モデルでは生成時にも各ノイズ除去ステップで活性化するブロック数が減り、推論計算もB分の1程度になります。
実験ではViTやDiT、マスク拡散、自己回帰、recurrent-depthなど5系統で評価し、エンドツーエンド学習と同等以上の性能を報告しました。
特にCIFAR-10では、ノイズ区間を等確率に分割することでFIDが一様分割より改善したとしています。
一方で、入力と出力の次元が一致する必要があり、U-Net型には現時点で適用できないほか、微調整への検証は未実施としています。
論文と実装は公開されています。
参照元：2026/05/28 「Sakana AI Proposes DiffusionBlocks: a Block-wise Training Framework That Converts Residual Networks into Independently Trainable Denoising Modules」 https://www.marktechpost.com/2026/05/27/sakana-ai-proposes-diffusionblocks-a-block-wise-training-framework-that-converts-residual-networks-into-independently-trainable-denoising-modules/
この記事へのリアクション
このニュースをどう受け止めましたか？
コメント