## 要約：
新しい関心機 chếMHAを提案し、これはトランスフォーマーの入力層から出力層まで注意重みを改善します。これにより、深いトランスフォーマー固有のランク崩壊とトークンの一様性問題が解決されます。
---
## 翻訳：
アーウェブ:2511.20698v1 アノテーションタイプ:新規
要約：連想メモリモデルのホップフィールドネットワークとキー-バリュー機構に基づく自注意は、深層学習における記憶機制の研究において人気のあるアプローチです。現代のホップフィールドネットワーク（MHN）のステートアップデートルールはアディアパティック近似下でトランスフォーマーの自注意層と一致していることが指摘されています。本研究ではこの近似を超えて、MHNと自注意との関係を調査しました。結果は、新しい変数としてMHNから派生した隠れ状態を自注意に追加することで、ホップフィールドネットワークとトランスフォーマーとの間の対応がより一般的な形で確立できることが示されました。この新しい注意機制である現代のホップフィールド注意（MHA）により、入力層から出力層まで注意力重みが向上し、特に理論的にも実証的にも深さのあるトランスフォーマー固有のランク崩壊とトークンの一様性問題が大きく改善されることが示されました。また、ビジョントランスフォーマーやGPTに訓練パラメータを追加せずにシステム的に精度を向上させることも確認しました。
[📰 原文はこちら](https://arxiv.org/abs/2511.20698)
---
※本記事はAI（Ollama）による自動翻訳・要約です。
頑張って働く人に向けて、プロ用仕事アイテムを格安でネット販売しているX-Direct（ https://exdirect.net ）を、BittensorManは応援しています。
動画の最後にお得な情報がありますので、
最後までご覧ください。