NVIDIAは、連続拡散型の言語モデル「Nemotron-Labs-Sigma」をHugging Faceで公開した。3Bと8Bの2サイズがあり、指示追従向けのinstruct版や、少ないステップ数での生成に最適化された蒸留版も用意されている。

トークンを並列に生成する仕組み

通常の言語モデルがトークンを1つずつ生成するのに対し、Sigmaは16次元の連続埋め込み空間でガウスノイズを除去(デノイズ)しながら、トークンのブロックを並列に生成する。埋め込みとデノイズ用ネットワークは尤度最適化で共同学習される。ブロックは既定で64トークン単位で、DDPM/DDIMサンプラーのステップ数を調整でき、ステップ数を減らすと品質と引き換えに高速化する。確定したトークンは通常のKVキャッシュで再利用される。

8B版の仕様と実行条件

8B版は、Ministral系のデコーダ専用Transformerに連続拡散の生成ヘッドを組み合わせた構成で、コンテキスト長は最大4,096トークン(プロンプトと生成の合計)、対応言語は英語。学習には約1.3兆トークン(自己回帰型の初期学習に約1兆、拡散学習に約0.3兆)を使った。実行にはCUDA対応GPU(bfloat16)が必須で、CPU推論はサポートされない。H100(1基)での生成スループットは、DDPMサンプラーで64トークンブロック当たり32ステップ、256トークン生成時に毎秒約120〜140トークンとモデルカードに記載されている。読み込みはTransformersとPyTorchで行え、リポジトリの推論コードを読み込むtrust_remote_codeの有効化が必要だが、カスタムカーネルは不要だ。

位置づけとライセンス

ベース版は指示追従型のアシスタントではなく、並列デコードの研究、微調整、蒸留の出発点と位置づけられている。ライセンスはNVIDIA Nemotron Open Model Licenseで、商用・非商用を問わず利用できるとモデルカードは説明する。技術的な詳細は論文「Large Language Continuous Diffusion Models」(arXiv:2610.02665)にまとめられており、事前学習後のベンチマークでは離散型の拡散モデルや自己回帰型の基準モデルを上回ったとしている(論文側の主張)。

出典・関連資料

コメント

記事の内容について意見・情報をお寄せください。

URLは投稿できません。内容によっては、表示までにお時間をいただく場合があります。