2026年03月31日
## 要約：
LogicDiffは、マスク拡散言語モデル（MDLM）のトークンをアンマスクする順序を改善する手法です。論理的な役割（前提、接続詞など）に基づいてトークンをアンマスクすることで、既存モデルの推論能力を大幅に向上させます。この手法は、ベースモデルのパラメータを変更せず、追加学習も不要で、推論性能を向上させることができます。
---
## 翻訳：
arXiv:2603.26771v1発表タイプ：新規
概要：マスク拡散言語モデル（MDLM）は、完全にマスクされたシーケンスからトークンを繰り返しアンマスクすることによりテキストを生成し、並列生成と双方向コンテキストを実現します。しかし、標準的な信頼性に基づくアンマスク戦略は、推論チェーンの重要な分岐点である高エントロピーの論理接続詞トークンを体系的に遅らせ、深刻な推論性能の低下を引き起こします。我々は、推論時に信頼性に基づくアンマスクを論理役割に基づくアンマスクに置き換える、LogicDiffと呼ばれる手法を導入します。軽量な分類ヘッド（4.2Mパラメータ、ベースモデルの0.05％）は、ベースモデルの隠れ状態から各マスクされた位置の論理的な役割（前提、接続詞、導出ステップ、結論、または埋め物）を98.4％の精度で予測します。依存関係に基づく順序スケジュールは、前提を優先して、次に接続詞、次に導出ステップ、次に結論という論理的な依存関係の順序でトークンをアンマスクします。ベースモデルの単一のパラメータを変更せず、強化学習やタスク固有のトレーニングなしに、LogicDiffはLLaDA-8B-Instructの精度をGSM8Kで22.0％から60.7％（+38.7パーセンテージポイント）、MATH-500で23.6％から29.2％（+5.6 pp）に向上させ、6％未満の速度オーバーヘッドで実現しました。我々の結果は、MDLMにおける推論能力の不足の大きな部分は、モデルの学習済み表現の制限ではなく、サブ最適なトークンアンマスク順序に起因するものであることを示しています。
[📰 原文はこちら](https://arxiv.org/abs/2603.26771)
---
※本記事はAI（Ollama）による自動翻訳・要約です。
BittensorManがお勧めするメーカーリスト
https://exbridge.jp/xdirect/
AI時代の技術と知識のまとめ(AI生成メディア) - AIDexx
https://exbridge.jp/aidexx/
頑張って働く人に向けて、プロ用仕事アイテムを格安でネット販売しているX-Direct（ https://exdirect.net ）を、BittensorManは応援しています。
動画の最後にお得な情報がありますので、
最後までご覧ください。
