OpenMythosは、Kye Gomez氏がGitHubで公開したオープンソースプロジェクトです。Claude MythosについてAnthropicが技術論文を出していない中、同氏は「モデルを漏えいせず、微調整でも蒸留でもない」コードによる理論再構築を狙いました。プロジェクトはPyTorchで実装され、査読研究に基づく仮説を検証可能な形で提示しています。内容の中心は、Claude MythosをRecurrent-Depth Transformers（RDT）とみなす提案です。RDTでは同一重みをT回ループして推論の深さを作り、深さはパラメータ数ではなく推論時の反復回数に依存するとします。構成はPrelude→Recurrent Block→Codaの3部で、Recurrent BlockをT=16まで反復します。Recurrent BlockではMixture-of-ExpertsをDeepSeekMoEの設計に沿って用い、各ループ深度で異なる専門家集合を選びます。注意機構はDeepSeek-V2のMulti-Latent Attentionで、KVメモリを圧縮して削減します。さらに、ループ中にトークンを逐次出力せず連続潜在空間で推論する点や、LTI注入制約で残差爆発の安定化を行う点、ACTによる過剰推論の抑制、深さ方向LoRAで各反復の挙動差を付ける点が説明されています。770MパラメータのRDTが1.3Bの標準Transformerと同等品質になり得る、という効率面の主張も紹介されています。OpenMythosはこれらを再現可能な研究基盤として提供し、ループ型Transformerの力学と推論時の深さを研究する材料になるとしています。
参照元：2026/04/20 「Meet OpenMythos: An Open-Source PyTorch Reconstruction of Claude Mythos Where 770M Parameters Match a 1.3B Transformer」 https://www.marktechpost.com/2026/04/19/meet-openmythos-an-open-source-pytorch-reconstruction-of-claude-mythos-where-770m-parameters-match-a-1-3b-transformer/
コメント