2026年03月26日
## 要約：
本研究では、安全な強化学習において、人間の好みを参考に制約を推論する新しい手法「PbCRL」を提案します。従来のモデルの欠点を克服するため、制約推論に「デッドゾーン」メカニズムを導入し、安全性コストの分布をより正確に捉え、安全性と報酬の両面で既存手法を上回る性能を示しました。本手法は、安全性に関わる様々な応用分野で活用できる可能性があります。
---
## 翻訳：
arXiv:2603.23565v1 Announce Type: new
Abstract: 安全な強化学習 (RL) は、安全性が重要な意思決定のための標準的なパラダイムです。しかし、現実世界の安全性制約は複雑で主観的であり、明示的に指定することが困難な場合があります。既存の制約推論の研究は、制限的な仮定や広範な専門家のデモンストレーションに依存していますが、これは多くの現実世界での応用には現実的ではありません。これらの制約を安価かつ信頼性を持って学習することが、本研究で焦点を当てる主な課題です。人間の好みに基づいて制約を推論することは、データ効率的な代替手段を提供しますが、一般的な Bradley-Terry (BT) モデルは、安全性コストの非対称性で重い裾の性質を捉えられず、リスクの過小評価につながります。BTモデルが下流のポリシー学習に与える影響を理解することは、文献ではまだまれです。上記の知識ギャップに対処するために、好みに基づいた制約付き強化学習 (PbCRL) と呼ばれる新しいアプローチを提案します。制約モデリングに新しいデッドゾーンメカニズムを導入し、理論的にそれが重い裾のコスト分布を促進し、より良い制約アライメントを達成することを証明します。さらに、コスト分散による探索を促す信号対雑音比 (SNR) 損失を組み込んでいます。2段階のトレーニング戦略を採用することで、オンラインラベル付けの負担を軽減しながら、制約満足度を適応的に向上させます。実験結果は、PbCRL が真の安全要件とのアライメントが優れており、安全性と報酬の点で最先端のベースラインを上回っていることを示しています。本研究は、安全な RL における制約推論のための有望で効果的な方法を探索し、安全性に関わる幅広い応用分野で大きな可能性を秘めています。
[📰 原文はこちら](https://arxiv.org/abs/2603.23565)
---
※本記事はAI（Ollama）による自動翻訳・要約です。
BittensorManがお勧めするメーカーリスト
https://exbridge.jp/xdirect/
AI時代の技術と知識のまとめ(AI生成メディア) - AIDexx
https://exbridge.jp/aidexx/
頑張って働く人に向けて、プロ用仕事アイテムを格安でネット販売しているX-Direct（ https://exdirect.net ）を、BittensorManは応援しています。
動画の最後にお得な情報がありますので、
最後までご覧ください。
