2026年05月06日
## 要約：
本研究では、大規模言語モデル（LLM）が否定を処理するメカニズムを調査しました。モデルは表面上は誤った答えを出すことがありますが、内部的には否定を正しく処理する機能を持っています。注意機構の改善により精度が向上し、否定の処理において、関連する概念を抑制するメカニズムと、否定的なフレーズ全体を直接表現するメカニズムの二つが確認されました。
---
## 翻訳：
arXiv:2605.03052v1発表タイプ: 新規
概要：本研究では、大規模言語モデル（LLM）が否定をメカニズム的にどのように処理するかを研究します。まず、オープンウェイトモデルは否定を含む質問に対して誤った答えを提供する傾向がありますが、否定を正しく処理する内部コンポーネントを持っていることが明らかになりました。その低い精度は、単純な近道を引き起こす後層の注意行動が原因であり、その注意モジュールを除去すると、否定に関連する質問に対する精度が大幅に向上します。次に、モデルがどのように否定を処理するかを明らかにしました。モデルは、注意ヘッドが否定されるフレーズに注意を払い、関連する概念を抑制しているか、または否定的なフレーズ全体（例：「not gas」を液体と固体を促進するベクトルとして表す）の表現を直接構築しているかの2つの仮説を立てました。Mistral-7BとLlama-3.1-8Bに対して、さまざまな観測的および因果的解釈手法を適用し、モデルが両方のメカニズムを実装していることを示しました。このメカニズムは、「構築的」なメカニズムがより顕著です。総合的に、本研究はLLMの内部構造に対する理解を深め、構築主導型の計算と、LLM内の競合するメカニズムの共存を強調しています。
[📰 原文はこちら](https://arxiv.org/abs/2605.03052)
---
※本記事はAI（Ollama）による自動翻訳・要約です。
BittensorManがお勧めするメーカーリスト
https://exbridge.jp/xdirect/
AI時代の技術と知識のまとめ(AI生成メディア) - AIDexx
https://exbridge.jp/aidexx/
頑張って働く人に向けて、プロ用仕事アイテムを格安でネット販売しているX-Direct（ https://exdirect.net ）を、BittensorManは応援しています。
動画の最後にお得な情報がありますので、
最後までご覧ください。
