2026年03月26日
## 要約：
本研究では、従来のマスク処理に代わり、トークンの削除と挿入を離散的な拡散プロセスとして扱う新しい言語モデル（DID）を提案します。DIDは、無駄な計算を削減し、可変長のシーケンスを自然にサポート、さらに生成時の自己修正機能も持ちます。実験結果は、既存のモデルと比較して、性能、サンプル品質、および速度の面でDIDの優位性を示しています。
---
## 翻訳：
arXiv:2603.23507v1 Announce Type: new
Abstract: マスクされた拡散言語モデル（MDLM）は、トークンマスクとアンマスクに依存し、言語モデリングにおいて有望な結果を示していますが、マスクパラダイムによって計算効率と生成の柔軟性が制限されています。本論文では、トークンの削除と挿入を離散的な拡散プロセスとして厳密に定式化する削除・挿入拡散言語モデル（DID）を提案し、現在のMDLMのマスクとアンマスクプロセスを置き換えます。DIDは、パラダイムに内在する情報量の少ない1) トークン、および可変長設定で導入されるトークンに対する計算のオーバーヘッドという、MDLMにおける主要な計算コストの2つのソースを排除することにより、トレーニングと推論効率を向上させます。さらに、DIDは、1) 固定長のパディングを必要とせずに可変長のシーケンスをネイティブにサポートし、2) 挿入による動的なトークン位置調整による内在的な自己修正メカニズムを提供することで、より大きな柔軟性を提供します。DIDをトレーニングするために、トークンの挿入操作にスコアを割り当てて適切なトレーニング目的を導き出すスコアベースのアプローチを設計します。これらの目的は、部分列カウントの問題を含み、並列化された動的プログラミングアルゴリズムを介して効率的に解決します。固定長および可変長の環境での実験は、パラメータチューニングなしで、MDLMのベースラインや既存の挿入ベースのLMと比較して、DIDのモデリング性能、サンプリング品質、トレーニング/推論速度の優位性を示しています。
[📰 原文はこちら](https://arxiv.org/abs/2603.23507)
---
※本記事はAI（Ollama）による自動翻訳・要約です。
BittensorManがお勧めするメーカーリスト
https://exbridge.jp/xdirect/
AI時代の技術と知識のまとめ(AI生成メディア) - AIDexx
https://exbridge.jp/aidexx/
頑張って働く人に向けて、プロ用仕事アイテムを格安でネット販売しているX-Direct（ https://exdirect.net ）を、BittensorManは応援しています。
動画の最後にお得な情報がありますので、
最後までご覧ください。
