ページ

2026年5月14日木曜日

言語モデルの回路はどこまで語るのか?一貫性と特異性を測定する

#aidexx #news

2026年05月12日




## 要約:
機械的解釈における回路フレームワークに関する研究で、回路の再利用性、一貫性、特異性を分析した結果、回路はタスク間で共通して存在し、特定のタスクに特化しているわけではないことがわかった。
タスク間の回路の重複が大きいことが、タスク間で回路の機能が共有されている理由として考えられる。
この結果は、回路の特定が重要コンポーネントを識別する一方で、タスク特異性の欠如が、モデルの理解や介入の標的としての回路の有効性に疑問を投げかける。

---

## 翻訳:
arXiv:2605.08348v1 Announce Type: new
Abstract: 機械的解釈における回路フレームワークは、モデルの構成要素の疎なサブグラフを特定することを目的としており、通常、必要性と十分性の測定によって評価されます。本研究では、回路の再利用性(タスク内のサンプルごとの回路で共有されるコンポーネントの割合)を測定し、このプロパティのあまり研究されていない2つの特性、すなわち一貫性(タスク内でのコンポーネントの再帰性)と特異性(タスクへの独自性)を調査します。6つのタスクと7つのモデルに対してエッジ属性パッチングを実施した結果、タスク内での再利用性は高く、共有コンポーネントはタスクのパフォーマンスに不可欠であり、アブレーションによって~100%の相対的な精度低下を引き起こすことがわかりました。しかし、回路はタスク特異的ではないことがわかりました。あるタスクの回路のアブレーションは、別のタスクのパフォーマンスを、そのタスク自身の回路のアブレーションほど低下させます。この原因は、タスク間で回路が大きく重複しているためであることがわかりました。いくつかの回路には、より小さなタスク固有のコンポーネントが含まれていますが、これらのコンポーネントは回路のパフォーマンスのごく一部しか説明できません。全体として、本研究の結果は、アテンションヘッドやMLPレイヤーレベルでの回路の特定が重要なコンポーネントを識別する一方で、回路のタスク特異性の欠如が、モデルの行動に対するターゲットを絞った理解と介入を回路がサポートできる程度について疑問を投げかけることを示唆しています。

[📰 原文はこちら](https://arxiv.org/abs/2605.08348)

---

※本記事はAI(Ollama)による自動翻訳・要約です。

BittensorManがお勧めするメーカーリスト
https://exbridge.jp/xdirect/

AI時代の技術と知識のまとめ(AI生成メディア) - AIDexx
https://exbridge.jp/aidexx/

頑張って働く人に向けて、プロ用仕事アイテムを格安でネット販売しているX-Direct( https://exdirect.net )を、BittensorManは応援しています。

動画の最後にお得な情報がありますので、
最後までご覧ください。

Hut 8、AIキャンパス関連の水システム拡張に資金提供

#aidexx #news 2026年05月20日 ## 要約: ビットコインマイニング企業Hut 8は、AIデータセンター「River Bend」の拡張を支援するため、ルイジアナ州の水システム拡張に投資します。 この投資は、同社の長期的なAIインフラ事業拡大の一...