2026年05月05日
## 要約：
医療LLMの評価において、実際の医療現場の曖昧さを考慮していない単純なベンチマークが用いられてきた。CLEARフレームワークは、回答オプションの数、正解の有無、回答オプションの表現の曖昧さによってLLMの推論能力がどのように影響を受けるかを評価する。このフレームワークによる分析から、LLMの規模拡大だけでは信頼性の問題を解決できないことが示された。
---
## 翻訳：
arXiv:2605.01011v1 新規発表概要：医療大規模言語モデル（LLM）の評価は、実際の医療現場の曖昧さを反映しない単純な試験形式のベンチマークに依存している。我々は、意思決定空間の提示、曖昧さ、不確実性がLLMの医療ベンチマーク上の推論にどのように影響するかを評価するCLinical Evaluation of Ambiguity and Reliability（CLEAR）フレームワークを導入する。CLEARは、(1) 妥当な回答オプションの数、(2) 正解または棄却オプションの有無、(3) 回答オプションのセマンティックフレーミングを体系的に変化させる。3つのベンチマークを17のLLMで評価したCLEARの適用により、既存の評価方法の3つの主な限界が明らかになった。第一に、妥当な回答の数を増やすと、モデルが正しい答えを特定し、間違った答えに対して棄却する能力が低下する。第二に、この用心深さの欠如は、棄却のフレーミングが「どれでもない」のような断定的な拒絶から「知らない」のような不確実性の認容にシフトするにつれて激化する。注目すべき点として、回答空間に「知らない」を追加するだけで、間違った回答の選択が増加する。最後に、正しい答えを特定することと間違った答えを棄却することの間のパフォーマンスギャップを「謙虚さの欠如」として形式化し、モデルの規模とともに悪化する。我々の調査結果は、標準的な医療ベンチマークの限界を明らかにし、規模拡大だけではLLMの信頼性の問題を解決できないことを強調している。
[📰 原文はこちら](https://arxiv.org/abs/2605.01011)
---
※本記事はAI（Ollama）による自動翻訳・要約です。
BittensorManがお勧めするメーカーリスト
https://exbridge.jp/xdirect/
AI時代の技術と知識のまとめ(AI生成メディア) - AIDexx
https://exbridge.jp/aidexx/
頑張って働く人に向けて、プロ用仕事アイテムを格安でネット販売しているX-Direct（ https://exdirect.net ）を、BittensorManは応援しています。
動画の最後にお得な情報がありますので、
最後までご覧ください。