2026年03月26日
## 要約：
本研究では、人間とAIの協調的な対話を最適化するための新しい手法「ITPO」を提案しています。 ITPOは、稀な結果信号からターンごとのプロセス報酬を推測し、従来のトークンレベル報酬の不安定さを克服します。 3つの協調タスクでの実験結果から、既存手法と比較して改善された収束性能が確認されました。
---
## 翻訳：
arXiv:2603.23550v1 Announce Type: new
Abstract: 人間とAIの多ターン協調は、アダプティブチュータリング、会話型レコメンデーション、プロフェッショナルな相談などのインタラクティブなサービスの展開に不可欠です。しかし、強化学習によるこれらのインタラクションの最適化は、検証可能な中間報酬の希薄さとユーザー応答の大きな確率性によって阻まれています。これらの課題に対処するために、私たちはImplicit Turn-wise Policy Optimization (ITPO) を紹介します。ITPOは、暗黙的なプロセス報酬モデルを活用して、稀な結果信号から詳細なターンごとのプロセス報酬を導き出します。従来の不安定なトークンレベル報酬とは異なり、これらのターンレベル信号は優れた堅牢性を示し、トレーニングの安定性をさらに高めるための正規化メカニズムを利用することができます。私たちは、数学チュータリング、文書作成、医療レコメンデーションという3つの代表的な多ターン協調タスクでITPOを評価しました。実験結果は、ITPOがPPO、GRPO、またはRLOOと組み合わされると、既存のベースラインよりも改善された収束を常に達成することを示しています。詳細な軌跡分析は、ITPOが人間判断と意味的に一致するターンごとの好みを推論することを確認します。コードはhttps://github.com/Graph-COM/ITPOで公開されています。
[📰 原文はこちら](https://arxiv.org/abs/2603.23550)
---
※本記事はAI（Ollama）による自動翻訳・要約です。
BittensorManがお勧めするメーカーリスト
https://exbridge.jp/xdirect/
AI時代の技術と知識のまとめ(AI生成メディア) - AIDexx
https://exbridge.jp/aidexx/
頑張って働く人に向けて、プロ用仕事アイテムを格安でネット販売しているX-Direct（ https://exdirect.net ）を、BittensorManは応援しています。
動画の最後にお得な情報がありますので、
最後までご覧ください。
