2026年05月25日
## 要約：
本研究では、言語モデルの生成における不確実性の評価手法として、従来の最大ソフトマックス確率（MSP）の不正確さを改善するため、層ごとの内部状態の軌跡を解析する。 11個の幾何学的特徴量を抽出し、線形プローブを用いることで、MSPよりも優れた不確実性の推定が可能になった。 この手法は、モデルのどの層でエラーが発生しやすいか、状態がどのように変化するかを可視化できる。
---
## 翻訳：
arXiv:2605.22864v1発表の種類:新規
概要：構造化された出力による言語モデルの生成における不確実性評価において、最大ソフトマックス確率（MSP）はデフォルトのアプローチです。安価ではあるものの、しばしば誤ったキャリブレーションが行われます。モデルの内部活性化を調査する手法は、生の隠れ状態を不透明な分類器に投入し、活性化を静的なスナップショットとして読み取り、表現が形成される層ごとの軌跡を暗黙的に無視します。しかし、同様の終点に到達する経路が大きく異なる場合があり、深さ方向の証拠の蓄積、強化、または反転は、最終的な確率が隠す不確実性を明らかにする可能性があります。我々は、11個のスケール不変幾何学的特徴量を抽出し、層ごとのMLP更新の累積パスをトレースし、それを疎な線形プローブに投入します。このプローブは、選択的な控除の下でMSPよりも優れており、最大21 AURCポイントまでベースラインのミスカリブレーションに応じて利益がスケールします。すべての特徴量が閉形式の幾何学的意味を持つため、プローブの係数は、深さ方向でエラーがどのように、どこで形成されるかをトレースします。--どの層が予期せずコミットするのか、どの層が実行状態に矛盾するのか、どこで軌道が終点から逸脱するのか。
[📰 原文はこちら](https://arxiv.org/abs/2605.22864)
---
※本記事はAI（Ollama）による自動翻訳・要約です。
BittensorManがお勧めするメーカーリスト
https://exbridge.jp/xdirect/
AI時代の技術と知識のまとめ(AI生成メディア) - AIDexx
https://exbridge.jp/aidexx/
頑張って働く人に向けて、プロ用仕事アイテムを格安でネット販売しているX-Direct（ https://exdirect.net ）を、BittensorManは応援しています。
動画の最後にお得な情報がありますので、
最後までご覧ください。
