2026年04月14日
## 要約：
大規模言語モデル（LLM）は、人間の作業記憶で見られる干渉パターンを再現し、記憶負荷の増加や最近の情報への偏りなどを示している。これは、LLMがタスクに関係のない情報を抑え、必要な情報を抽出する際に生じる表現の干渉によるものと考えられる。この干渉を抑制する介入によってパフォーマンスが向上し、生物と人工システムで作業記憶の限界が共通の課題であることを示唆している。
---
## 翻訳：
arXiv:2604.09670v1発表の種類：新規
抄録：インテリジェントシステムは、動的な環境や変化する目標に適応するために、オンラインでタスク関連情報を維持および操作する必要があります。この能力は作業記憶として知られており、人間の推論と知性の基礎となっています。生物学的および人工システムは、数十億のニューロンを持つにもかかわらず、作業記憶に制限があります。このことは、トランスフォーマーが注意機構を通じて以前のコンテキストに完全にアクセスできるにもかかわらず、大規模言語モデル（LLM）がどのようにしてこのような制限を示すかという重要な疑問を投げかけます。2層のトランスフォーマーは作業記憶タスクを完全に解決して訓練できるにもかかわらず、多様な事前学習済みLLMは依然として作業記憶の制限を示し続けます。注目すべきは、LLMは人間に見られる干渉のサインを再現する点です。パフォーマンスはメモリ負荷の増加に伴い低下し、最近の情報や刺激統計によって偏っています。モデル全体で、より強い作業記憶容量は標準ベンチマークでの幅広い能力との相関を示し、人間の一般的な知性とのつながりを反映しています。それでも作業記憶のパフォーマンスには著しいばらつきが見られますが、LLMは驚くほど共通の計算メカニズムに収束します。関連するメモリ項目をコンテキストから直接コピーするのではなく、モデルは複数のメモリ項目を絡み合った表現でエンコードし、それによって成功するリコールは干渉制御に依存します。つまり、タスクに関係のないコンテンツを抑制して、読み出しのためのターゲットを分離します。さらに、刺激コンテンツ情報を抑制する標的介入はパフォーマンスを向上させ、表現の干渉に対する因果的証拠を提供します。これらの知見は、事前学習済みLLMにおける作業記憶の核心的な制約として表現の干渉を特定し、生物学的および人工システムにおける作業記憶の限界が、干渉下でタスク関連情報を選択するという共有された計算上の課題を反映している可能性を示唆しています。
[📰 原文はこちら](https://arxiv.org/abs/2604.09670)
---
※本記事はAI（Ollama）による自動翻訳・要約です。
BittensorManがお勧めするメーカーリスト
https://exbridge.jp/xdirect/
AI時代の技術と知識のまとめ(AI生成メディア) - AIDexx
https://exbridge.jp/aidexx/
頑張って働く人に向けて、プロ用仕事アイテムを格安でネット販売しているX-Direct（ https://exdirect.net ）を、BittensorManは応援しています。
動画の最後にお得な情報がありますので、
最後までご覧ください。
