2026年02月05日
## 要約：
大規模言語モデル（LLM）の価値観評価にアンケート質問を用いる手法について、プロンプトの種類やデコーディング戦略の違いが評価結果に大きく影響することを指摘。LLMの回答の構造的な整合性を評価する新しい指標「自己相関距離」を導入し、従来の評価指標間の相関の低さを明らかに。より信頼性の高い評価のため、多様なプロンプトとデコーディング戦略、そして複数の指標を用いることを推奨。
---
## 翻訳：
arXiv:2602.04033v1 Announce Type: new
Abstract: 近年の研究では、大規模言語モデル（LLM）の価値観を評価するために、社会調査に用いられるアンケート質問を改変し、モデルに質問を提示して、その回答を人間の平均的な回答と比較する手法が用いられています。本論文では、特定の構成によっては、LLMの価値観の類似性を過小評価または過大評価につながる可能性のある、この方法論の限界を特定します。5カ国で3つの言語を用いてワールド・バリュー・サーベイを用いて、プロンプトの方法（直接対チェーン・オブ・思考）とデコーディング戦略（貪欲対サンプリング）が結果に大きく影響することを示します。回答間の相互作用を評価するために、新しい指標である自己相関距離を導入します。この指標は、人間と同様に、異なる質問間でLLMが回答の関係性を一貫して維持しているかを測定します。これによって、個々のLLMの応答を考慮した場合に人間のデータとの平均一致率が高くても、応答の構造的整合性が保証されるわけではないことを示唆します。さらに、2つの一般的な評価指標、二乗平均距離とKLダイバージェンスの間の相関が弱いことを明らかにしました。これらの指標は、アンケートの回答がお互いに独立しているという前提に基づいています。今後の研究として、チェーン・オブ・思考プロンプト、数十のサンプルを用いたサンプリングベースのデコーディング、自己相関距離を含む複数の指標を用いた堅牢な分析をお勧めします。
[📰 原文はこちら](https://arxiv.org/abs/2602.04033)
---
※本記事はAI（Ollama）による自動翻訳・要約です。
BittensorManがお勧めするメーカーリスト
https://exbridge.jp/xdirect/
AI時代の技術と知識のまとめ(AI生成メディア) - AIDexx
https://exbridge.jp/aidexx/
頑張って働く人に向けて、プロ用仕事アイテムを格安でネット販売しているX-Direct（ https://exdirect.net ）を、BittensorManは応援しています。
動画の最後にお得な情報がありますので、
最後までご覧ください。
