2026年01月09日
## 要約：
この研究では、LLMのファインチューニングにおいて、既存の比率クリッピングの課題を解決するために、ポリシー比率の分散を明示的に制御する新しい手法$R^2VPO$を提案しています。 この手法は、既存の手法よりも優れた性能とデータ効率を実現し、古いデータを再利用可能にすることで、学習に必要なロールアウトの回数を大幅に削減します。 数学的な推論ベンチマークでの実験により、その有効性が確認されました。
---
## 翻訳：
arXiv:2601.03320v1 で発表された新しい手法は、大規模言語モデル(LLM)のファインチューニングに主流となっている、ポリシー最適化(PPO、GRPO)における比率クリッピングの課題に取り組みます。比率クリッピングは学習を安定化させるのに役立ちますが、このヒューリスティックなハード制約は、高いリターンと高い分散を持つ行動からの勾配を無差別に切り捨て、複雑な推論における貴重な「ひらめき」を抑制するという根本的なコストを負います。さらに、データがわずかに古くなると、ハードクリッピングにより使用できなくなり、深刻なサンプル効率の悪さにつながります。この研究では、ポリシー最適化における信頼領域の目的を再検討し、ポリシー比率の分散(第2中央モーメント)を明示的に制約することが、ハードクリッピングの原理的で滑らかな緩和をもたらすことを示します。この分布制約はポリシー更新を安定させながら、貴重な軌跡からの勾配信号を維持します。この洞察に基づいて、$R^2VPO$（比率-分散正則化ポリシー最適化）という新しいprimal-dualフレームワークを提案します。これは、安定したオンポリシー学習をサポートし、古いサンプルを破棄するのではなく動的に重み付けすることで、原理的なオフポリシーデータ再利用を可能にします。DeepSeek-Distill-Qwen-1.5BやopenPangu-Embeddedシリーズ(1Bと7B)など、最先端のLLMのファインチューニングにおいて、$R^2VPO$を広範に評価しました。実験結果から、$R^2VPO$は強力なクリッピングベースのベースラインに対して最大17%の相対的な性能向上が認められ、収束に達するまでのロールアウトの回数が約50%削減されました。これらの結果は、比率-分散制御が、RLベースのLLMアライメントにおける安定性とデータ効率を改善するための有望な方向性であることを確立しています。
[📰 原文はこちら](https://arxiv.org/abs/2601.03320)
---
※本記事はAI（Ollama）による自動翻訳・要約です。
BittensorManがお勧めするメーカーリスト
https://exbridge.jp/xdirect/
AI時代の技術と知識のまとめ(AI生成メディア) - AIDexx
https://exbridge.jp/aidexx/
頑張って働く人に向けて、プロ用仕事アイテムを格安でネット販売しているX-Direct（ https://exdirect.net ）を、BittensorManは応援しています。
動画の最後にお得な情報がありますので、
最後までご覧ください。
