2026年01月27日
## 要約：
本研究では、大規模言語モデルの調整に不可欠な報酬モデルの汎化性能を評価するための新しいフレームワーク「対照最大不一致コンペティション（PMDC）」を提案します。PMDCは、未ラベルのプロンプトプールから報酬モデル間の意見の不一致が最大となるプロンプトペアを選び出し、その結果を基に報酬モデルのランキングを決定します。既存の評価方法と比較して、報酬モデルのランキングに大きな変動が見られ、汎化性能の欠陥が明らかになりました。
---
## 翻訳：
arXiv:2601.16987v1 Announce Type: new
Abstract: 報酬モデル（RMs）は、大規模言語モデルを調整するために中心的な役割を果たしますが、その実用的な有効性は、未経験のプロンプトやシフトした分布への汎化にかかっています。既存のほとんどのRM評価は、静的で事前にアノテーションされた好みのデータセットに依存していますが、これは限られたカバレッジしか提供せず、オープンワールド環境における汎化を忠実に評価できないことがよくあります。我々は、大規模な未ラベルのオープンドメインプロンプトプールを使用して、RM汎化を評価するための動的でアノテーション効率の高いフレームワークであるPairwise Maximum Discrepancy Competition (PMDC)を導入します。PMDCは、積極的に、2つのRM間の意見の不一致を最大化するプロンプト-応答ペアを選択し、非常に議論の余地のあるテストケースのコンパクトなセットを生成します。これらのケースはオラクルによって裁定され、その結果はBradley–Terryモデルを介して集計され、RMのグローバルランキングとペアワイズ勝率の状況を生成します。我々はPMDCを10の代表的なRMを再評価するために適用し、従来のベンチマークと比較してランクの大きな入れ替えを観察します。質的な分析はさらに、体系的な汎化の失敗を明らかにし、報酬モデリングを改善するための貴重な洞察を提供します。
[📰 原文はこちら](https://arxiv.org/abs/2601.16987)
---
※本記事はAI（Ollama）による自動翻訳・要約です。
BittensorManがお勧めするメーカーリスト
https://exbridge.jp/xdirect/
AI時代の技術と知識のまとめ(AI生成メディア) - AIDexx
https://exbridge.jp/aidexx/
頑張って働く人に向けて、プロ用仕事アイテムを格安でネット販売しているX-Direct（ https://exdirect.net ）を、BittensorManは応援しています。
動画の最後にお得な情報がありますので、
最後までご覧ください。
