2026年03月26日
## 要約：
データが限られた状況で言語モデルが新しい知識を学習させる手法として、合成データ拡張に新たなアプローチが提案されました。従来の合成データ拡張手法では効果が薄れる問題を解決するため、質問応答データと合成ドキュメントを組み合わせる「合成混合学習」を導入し、RAGを大幅に上回る性能を実現しました。この手法は、モデルの多様性を高め、様々なベンチマークで優れた結果を出しています。
---
## 翻訳：
arXiv:2603.23562v1 Announce Type: new
Abstract: 合成データ拡張は、データ制約のあるドメインで言語モデルが新しい知識を学習するのに役立ちます。しかし、より多くの合成トークンでトレーニングしたり、より強力なジェネレーターを使用したりするなど、既存の合成データ拡張手法を単純にスケールアップすると、RAGのパフォーマンスを下回る減衰収益をもたらします。RAGの限界を突破するために、合成Q&Aと合成ドキュメントを組み合わせるSynthetic Mixed Trainingを導入します。これにより、補完的なトレーニングシグナルを活用し、合成データの量とジェネレーターの強度がともに増加するにつれて、対数線形改善を可能にします。これにより、モデルは長期ドキュメントの読解理解ベンチマークであるQuaLITYで、RAGよりも2.6%相対的に高いパフォーマンスを発揮します。さらに、特定の質問に基づいてドキュメント生成を明示的に条件付ける合成ドキュメント生成のための簡単な技術であるFocal Rewritingを導入します。これにより、合成ドキュメントの多様性が向上し、より急な対数線形スケーリング曲線が得られます。QuaLITYでは、最終的なレシピとしてLlama 8Bモデルをトレーニングし、相対的に4.4%高いパフォーマンスを発揮し、RAGを上回りました。モデルとベンチマーク（QuaLITY、LongHealth、FinanceBench）全体で、トレーニングによりモデルは6つの設定のうち5つでRAGに打ち勝ち、2.6%の上回る性能を発揮し、RAGと組み合わせることで9.1%の収益が得られました。
[📰 原文はこちら](https://arxiv.org/abs/2603.23562)
---
※本記事はAI（Ollama）による自動翻訳・要約です。
BittensorManがお勧めするメーカーリスト
https://exbridge.jp/xdirect/
AI時代の技術と知識のまとめ(AI生成メディア) - AIDexx
https://exbridge.jp/aidexx/
頑張って働く人に向けて、プロ用仕事アイテムを格安でネット販売しているX-Direct（ https://exdirect.net ）を、BittensorManは応援しています。
動画の最後にお得な情報がありますので、
最後までご覧ください。
