2026年05月06日
## 要約：
本研究では、言語モデルに自身の回答を検証させる「自己検証」という手法の有効性を評価した。ARC-ChallengeとTruthfulQA-MCタスクにおいて、LL-AVGやLL-SUMといった既存手法との比較を行った結果、タスクやモデルによって効果が大きく異なることが判明した。自己検証は、条件に応じて有効な信頼性シグナルとして捉えるべきである。
---
## 翻訳：
arXiv:2605.02915v1 Announce Type: new
Abstract: 同一モデルによる自己検証、モデルに自身の予測した回答を監査させるプロンプトは、選択的予測のための妥当な信頼性シグナルとなり得るが、強力な尤度に基づくベースラインを真剣に考慮すると、その実用的な価値は不明確になる。我々は、ARC-ChallengeとTruthfulQA-MCにおいて、LL-AVGとLL-SUMという2つのベースラインに対して自己検証を評価する。我々は、正しさのランキングだけでなく、AURCと動作点分析を通じて、棄却の質も測定する。結果は、タスクとモデルに強く依存することがわかった。ARC-Challengeでは、自己検証はPhi-2とQwenモデルにおいてLL-AVGを大幅に上回る改善をもたらし、最も大きな進歩はQwen-7Bに見られた。一方、TruthfulQA-MCでは、このシグナルは信頼性が低い：小さなモデルはプロンプトに敏感になり、DeepSeek-R1-Distill-8BはLL-AVGよりも性能が低下し、LL-SUMはしばしばより強力な実用的なベースラインのままとなる。したがって、我々は自己検証を汎用的な不確実性推定器として扱うことはない。この設定では、タスクの種類、モデルファミリー、プロンプトの表現、そして重要なこととして、それを上回らなければならないベースラインに応じてその価値が決定される条件付き信頼性シグナルとして理解する方が適切である。
[📰 原文はこちら](https://arxiv.org/abs/2605.02915)
---
※本記事はAI（Ollama）による自動翻訳・要約です。
BittensorManがお勧めするメーカーリスト
https://exbridge.jp/xdirect/
AI時代の技術と知識のまとめ(AI生成メディア) - AIDexx
https://exbridge.jp/aidexx/
頑張って働く人に向けて、プロ用仕事アイテムを格安でネット販売しているX-Direct（ https://exdirect.net ）を、BittensorManは応援しています。
動画の最後にお得な情報がありますので、
最後までご覧ください。