2026年02月27日
## 要約：
大規模言語モデル（LLM）が概念を抽象的に表現しているか検証した結果、文脈学習（ICL）に影響を与える関数ベクトル（FV）は入力形式によって変化することが示されました。より安定した概念表現を持つ概念ベクトル（CV）はFVと異なり、入力形式に左右されにくいことを発見しました。実験の結果、FVは同種形式での性能に優れ、CVは異なる形式や言語への汎化性能に優れていることが示唆されました。
---
## 翻訳：
arXiv:2602.22424v1 Announce Type: new
Abstract: 大規模言語モデル（LLM）は、入力形式に依存しない形で概念を抽象的に表現しているのでしょうか？ 本研究では、文脈学習（ICL）タスクの性能を因果的に駆動する、コンパクトな表現である関数ベクトル（FV）を再検討します。複数のLLMを対象に調査した結果、FVは完全に不変ではないことがわかりました。FVは、同じ概念を対象としている場合でも、開かれた質問形式と多肢選択形式など、異なる入力形式から抽出するとほぼ直交します。本研究では、より安定した概念表現を持つ概念ベクトル（CV）を特定しました。FVと同様に、CVも注意ヘッドの出力で構成されていますが、FVとは異なり、構成ヘッドは、入力形式全体で概念を常に符号化しているかどうかRSA（表現類似性分析）に基づいて選択されます。これらのヘッドは、FV関連のヘッドが出現するのと同様の層で現れますが、両方のセットは大きく異なり、異なる根本的なメカニズムを示唆しています。誘導実験の結果、FVは、抽出と適用形式が一致する場合（例：英語での開かれた質問形式）に、同分布内で優れていますが、CVは、質問形式（開かれた質問形式と多肢選択形式）と言語の両方でより良い汎化性能を発揮します。本研究の結果は、LLMが抽象的な概念表現を含むことを示していますが、これらの表現はICLのパフォーマンスを駆動する表現とは異なることを示しています。
[📰 原文はこちら](https://arxiv.org/abs/2602.22424)
---
※本記事はAI（Ollama）による自動翻訳・要約です。
BittensorManがお勧めするメーカーリスト
https://exbridge.jp/xdirect/
AI時代の技術と知識のまとめ(AI生成メディア) - AIDexx
https://exbridge.jp/aidexx/
頑張って働く人に向けて、プロ用仕事アイテムを格安でネット販売しているX-Direct（ https://exdirect.net ）を、BittensorManは応援しています。
動画の最後にお得な情報がありますので、
最後までご覧ください。
