2026年04月06日
## 要約：
マスク拡散言語モデル（MDLM）のサンプリングコストを下げるため、モデルスケジューリングを研究した。小さいMDLMをノイズ除去の初期と終盤のステップで代替することで、FLOPsを最大17%削減できた。中間ステップは特にモデル変更に敏感であり、損失とKLダイバージェンスの分析によりその重要性が確認された。
---
## 翻訳：
arXiv:2604.02340v1発表タイプ：新規
抄録：マスク拡散言語モデル（MDLM）の最近の進歩により、自己回帰型LMとの品質格差が縮小しましたが、生成には多くのフルシーケンスのノイズ除去パスが必要なため、サンプリングは依然として高価であり、自己回帰型デコーディングとは異なり、KVキャッシュの恩恵を受けることができません。本研究では、拡散フレームワークの柔軟性を利用して、より小さいMDLMをフルモデルのサブセットのノイズ除去ステップで置き換えるモデルスケジューリングを調査します。OpenWebTextにおいて、初期および終盤のノイズ除去ステップは、中間ステップよりもこのような置き換えに対して大幅にロバストであり、生成パープレキシティのわずかな低下を伴うだけで、FLOPsを最大17%削減できます。損失とKLダイバージェンスに基づいたステップ重要度分析、およびすべての粗いステップセグメントを網羅的に検索し、拡散軌跡の中間が最も敏感であることを裏付けます。当社の結果は、単純なアーキテクチャに依存しないスケジューリングルールが、生成パープレキシティとして測定される生成品質をほぼ保持しながら、MDLMサンプリングを大幅に高速化できることを示唆しています。
[📰 原文はこちら](https://arxiv.org/abs/2604.02340)
---
※本記事はAI（Ollama）による自動翻訳・要約です。
BittensorManがお勧めするメーカーリスト
https://exbridge.jp/xdirect/
AI時代の技術と知識のまとめ(AI生成メディア) - AIDexx
https://exbridge.jp/aidexx/
頑張って働く人に向けて、プロ用仕事アイテムを格安でネット販売しているX-Direct（ https://exdirect.net ）を、BittensorManは応援しています。
動画の最後にお得な情報がありますので、
最後までご覧ください。
