2026年01月09日
## 要約：
MedPIは、医療現場におけるLLM（大規模言語モデル）の性能を評価するための新しいベンチマークです。105の評価項目を用いて、医療プロセス、安全性、治療効果、医患コミュニケーションなどを多角的に分析します。現状のLLMは特に鑑別診断において性能が低いことが示され、今後の診断・治療支援における改善の指針となります。
---
## 翻訳：
arXiv:2601.04195v1 Announce Type: new
Abstract: 本研究では、医療現場における患者と医師の会話における大規模言語モデル（LLM）を評価するための高次元ベンチマーク、MedPIを提示します。既存の単一の質問応答（QA）ベンチマークとは異なり、MedPIは、医療プロセス、治療の安全性、治療の結果、医師と患者のコミュニケーションなど、105の次元に及ぶ医療対話を、認定機関と連携した詳細な評価基準で評価します。MedPIは、(1) 患者データセット（合成EHRのような正解データ）、(2) LLMを活用して記憶と感情を持つAI患者のインスタンス化、(3) 診察理由（不安、妊娠、健康診断など）x 診察目的（診断、生活習慣のアドバイス、服薬指導など）に及ぶタスクマトリクス、(4) ACGME（Graduate Medical Education）の能力と連携した1〜4のスケールで105の次元を評価する評価フレームワーク、(5) スコア、フラグ、証拠に基づいた根拠を提供する校正された委員会ベースのLLMであるAIジャッジの5つの層で構成されます。標準化された「vanilla clinician」プロンプトを用いて、366のAI患者と7,097の会話において、Claude Opus 4.1、Claude Sonnet 4、MedGemma、Gemini 2.5 Pro、Llama 3.3 70b Instruct、GPT-5、GPT OSS 120b、o3、Grok-4の9つの主要モデルを評価しました。すべてのLLMにおいて、多岐にわたる次元で低いパフォーマンスが確認され、特に鑑別診断において顕著でした。本研究は、診断と治療に関するLLMの将来的な活用を指針づけるものです。
[📰 原文はこちら](https://arxiv.org/abs/2601.04195)
---
※本記事はAI（Ollama）による自動翻訳・要約です。
BittensorManがお勧めするメーカーリスト
https://exbridge.jp/xdirect/
AI時代の技術と知識のまとめ(AI生成メディア) - AIDexx
https://exbridge.jp/aidexx/
頑張って働く人に向けて、プロ用仕事アイテムを格安でネット販売しているX-Direct（ https://exdirect.net ）を、BittensorManは応援しています。
動画の最後にお得な情報がありますので、
最後までご覧ください。
