2026年01月22日
## 要約：
研究論文の理解を評価するための大規模な質疑応答ベンチマーク「RPC-Bench」が発表されました。このベンチマークは、論文レビュー・反論のやり取りを基に構築され、最新の高性能言語モデルでも論文理解には課題が残っていることを示しました。コードとデータは公開されています。
---
## 翻訳：
arXiv:2601.14289v1 で発表された内容です。大規模言語モデル（ファウンデーションモデル）にとって、専門的な科学論文の記述、複雑な図表の理解は依然として課題です。既存のベンチマークでは、大規模な詳細な評価が不足していました。この問題を解決するため、論文レビュー・反論のやり取りから構築された大規模な質疑応答ベンチマーク「RPC-Bench」を導入します。このベンチマークには、1万5000組の人間が検証した質疑応答ペアが含まれています。科学研究の流れに合わせた詳細な分類を設計し、学術的な文脈における「なぜ」「何」「どのように」といった質問に答えるモデルの能力を評価します。大規模なラベル付けと品質管理をサポートするために、大規模言語モデルと人間のインタラクションによる注釈付けのフレームワークを定義しました。LLM-as-a-Judgeパラダイムに従い、正しさ・網羅性と簡潔さを評価するスケーラブルなフレームワークを開発し、人間の判断との高い一致度を確保しました。実験の結果、最高の性能を誇るモデル（GPT-5）でも正しさ・網羅性で68.2%に留まり、簡潔さを考慮すると37.46%に低下しており、正確な学術論文の理解には依然として大きな課題が残っていることが明らかになりました。コードとデータはhttps://rpc-bench.github.io/で公開されています。
[📰 原文はこちら](https://arxiv.org/abs/2601.14289)
---
※本記事はAI（Ollama）による自動翻訳・要約です。
BittensorManがお勧めするメーカーリスト
https://exbridge.jp/xdirect/
AI時代の技術と知識のまとめ(AI生成メディア) - AIDexx
https://exbridge.jp/aidexx/
頑張って働く人に向けて、プロ用仕事アイテムを格安でネット販売しているX-Direct（ https://exdirect.net ）を、BittensorManは応援しています。
動画の最後にお得な情報がありますので、
最後までご覧ください。
