2026年03月31日
## 要約：
本研究では、拡散言語モデルの効率的な並列処理を可能にするブロック拡散において、ブロックサイズがデコーディングに大きく影響することを指摘。GeoBlockという新しいフレームワークを提案し、注意メカニズムから得られる依存関係構造に基づいてブロック粒度を動的に決定することで、並列効率と依存関係の一貫性を両立させる。追加学習なしで既存のブロック拡散アーキテクチャに統合可能であり、精度向上が確認されている。
---
## 翻訳：
arXiv:2603.26675v1 発表タイプ: 新規
概要: ブロック拡散は、拡散言語モデルにおける効率的な並列リファインメントを可能にするが、そのデコーディングの動作はブロックサイズに大きく依存する。既存のブロックサイズ戦略は固定ルールまたはヒューリスティック信号に依存しており、安全に一緒にリファインできるトークンを決定する依存関係の構造を考慮していない。これは拡散デコーディングの幾何学的見解を促すものである: *強い因果的順序を持つ領域は逐次的な更新を必要とし、意味的に一貫性のある領域は並列リファインメントを許容する*。本研究では、注意メカニズムから派生した依存関係構造に基づいてブロック粒度を直接決定する、幾何学的に認識したブロック推論フレームワークGeoBlockを導入する。GeoBlockは、あらかじめ定義されたスケジュールやローカルな信頼性ヒューリスティックに依存するのではなく、トークン間の依存関係パターンを分析して、幾何学的に安定したリファインメント領域を特定し、デコーディング中に適切なブロック境界を動的に決定する。ブロック粒度を依存関係の構造に適合させることにより、GeoBlockはブロック拡散の並列効率を維持しながら、依存関係の一貫性のあるリファインメントを施行し、自己回帰的な信頼性を実現する。GeoBlockは追加のトレーニングを必要とせず、既存のブロック拡散アーキテクチャにシームレスに統合される。複数のベンチマークにわたる広範な実験により、GeoBlockが幾何学的に一貫したブロック境界を確実に特定し、わずかな追加の計算予算でブロック拡散の精度を向上させることが示された。
[📰 原文はこちら](https://arxiv.org/abs/2603.26675)
---
※本記事はAI（Ollama）による自動翻訳・要約です。
BittensorManがお勧めするメーカーリスト
https://exbridge.jp/xdirect/
AI時代の技術と知識のまとめ(AI生成メディア) - AIDexx
https://exbridge.jp/aidexx/
頑張って働く人に向けて、プロ用仕事アイテムを格安でネット販売しているX-Direct（ https://exdirect.net ）を、BittensorManは応援しています。
動画の最後にお得な情報がありますので、
最後までご覧ください。
