2026年01月21日
## 要約：
小規模なオープンソース医療LLMを評価する際、精度だけでなく、一貫性や堅牢性、推論行動も重要であることが示された。評価対象のモデル群は、精度は高いものの、プロンプトのわずかな変更やシステム環境の違いによって出力が変動し、自己評価にも偏りが見られた。本研究は、医療現場での活用を考慮した、より包括的な評価フレームワークの必要性を示唆している。
---
## 翻訳：
小規模なオープンソース医療LLMは、低リソース環境での展開やより広範なアクセスを可能にする有望な機会を提供する。しかし、その評価は、医療の多肢選択問題(MCQ)ベンチマークにおける精度に限定され、一貫性、堅牢性、または推論行動の評価が欠けていることが多いため、本研究ではMCQと人間による評価と臨床レビューを組み合わせて、小規模なオープンソース医療LLM6つ（HuatuoGPT-o1 (Chen 2024)、Diabetica-7B、Diabetica-o1 (Wei 2024)、Meditron3-8B (Sallinen2025)、MedFound-7B (Liu 2025)、ClinicaGPT-base-zh (Wang 2023)）を小児内分泌学において評価した。決定論的な設定では、プロンプトのバリエーションがモデルの出力と自己評価バイアスに及ぼす影響を調べた。確率的な設定では、出力の変動を評価し、一貫性と正しさの関係を調査した。HuatuoGPT-o1-8Bが最も高いパフォーマンスを達成した。結果は、モデルの応答全体にわたる高い一貫性が正しさを示す指標ではないことを示している（ただしHuatuoGPT-o1-8Bは最も高い一貫率を示した）。正しい推論を選択するように指示された場合、HuatuoGPT-o1-8BとDiabetica-o1は自己評価バイアスと候補説明の順序への依存性を示した。不適切な推論理由の専門家によるレビューでは、臨床的に許容できる応答と臨床的見過ごしが混在していることが明らかになった。さらに、CUDAビルドの違いのようなシステムレベルの摂動が、精度は安定しているにもかかわらず、モデル出力に統計的に有意な変化をもたらすことを示した。本研究は、わずかな意味的に無視できるプロンプトの摂動が発散した出力を引き起こすことを示しており、LLMベースの評価の再現性に対する懸念を高め、さまざまな確率的環境下での出力変動を強調し、現実世界の臨床意思決定支援シナリオにおける潜在的な落とし穴を理解するためのより広範な診断フレームワークの必要性を強調している。
[📰 原文はこちら](https://arxiv.org/abs/2601.11567)
---
※本記事はAI（Ollama）による自動翻訳・要約です。
BittensorManがお勧めするメーカーリスト
https://exbridge.jp/xdirect/
AI時代の技術と知識のまとめ(AI生成メディア) - AIDexx
https://exbridge.jp/aidexx/
頑張って働く人に向けて、プロ用仕事アイテムを格安でネット販売しているX-Direct（ https://exdirect.net ）を、BittensorManは応援しています。
動画の最後にお得な情報がありますので、
最後までご覧ください。
