2026年02月04日
## 要約：
ROSA-Tuningは、長文コンテキストにおける言語モデルの性能を向上させる新しいメカニズムです。CPUベースのROSAモジュールを用いて過去の情報を効率的に検索し、現在のクエリに関連する情報をモデルの状態に組み込みます。これにより、従来のウィンドウ注意機構モデルの長文コンテキスト処理能力が回復し、効率性とメモリ使用量も維持されます。
---
## 翻訳：
arXiv:2602.02499v1 Announce Type: new
Abstract: 長文コンテキストの処理能力と計算効率は、現代の巨大言語モデルが抱える中心的な課題です。既存の効率的な注意機構は計算複雑性を低減しますが、通常、モデルの状態のカバー範囲が制限されるという問題があります。本論文では、事前学習済みモデルの長文コンテキストモデリング能力を向上させる検索・想起メカニズムであるROSA-Tuningを提案します。標準的な注意機構に加えて、ROSA-Tuningは並行してCPUベースのROSA（RWKV Online Suffix Automaton）検索モジュールを導入し、長文コンテキスト内で現在のクエリに関連する過去の位置を効率的に特定し、検索された情報を訓練可能な方法でモデルの状態に注入します。その後、範囲制限された注意機構によって重み付けされた融合を処理することができます。エンドツーエンドの訓練を可能にするために、二値離散化戦略と反実仮想勾配アルゴリズムを設計し、非同期CPU-GPUパイプラインによって全体的な実行効率をさらに最適化します。Qwen3-Base-1.7Bを用いた体系的な評価により、ROSA-Tuningはウィンドウ注意モデルの長文コンテキストモデリング能力を大幅に回復させ、LongBenchのようなベンチマークにおいてグローバル注意機構とほぼ同等、またはそれ以上の性能を達成し、ウィンドウ注意機構とほぼ同等の計算効率とGPUメモリ使用量を維持することで、効率的な長文コンテキスト処理のための新たな技術的道筋を提供します。サンプルコードはhttps://github.com/zyaaa-ux/ROSA-Tuningで入手可能です。
[📰 原文はこちら](https://arxiv.org/abs/2602.02499)
---
※本記事はAI（Ollama）による自動翻訳・要約です。
BittensorManがお勧めするメーカーリスト
https://exbridge.jp/xdirect/
AI時代の技術と知識のまとめ(AI生成メディア) - AIDexx
https://exbridge.jp/aidexx/
頑張って働く人に向けて、プロ用仕事アイテムを格安でネット販売しているX-Direct（ https://exdirect.net ）を、BittensorManは応援しています。
動画の最後にお得な情報がありますので、
最後までご覧ください。
