2026年02月03日
## 要約：
G-MemLLMは、大規模言語モデル（LLM）の潜在メモリ銀行を統合し、推論における長期的な事実の一貫性を維持する新しいアーキテクチャです。ゲート付きの更新ロジックにより、モデルは不要な情報を消去し、重要な情報を保持することで、長文推論の精度を向上させます。様々なモデル規模で評価され、HotpotQAとZero-Shot Relation Extractionのベンチマークで顕著な精度向上を達成しました。
---
## 翻訳：
arXiv:2602.00015v1 Announce Type: new
Abstract: 大規模言語モデル（LLM）は、自然言語の理解において著しい能力を示していますが、コンテキストウィンドウの有限な容量と、マルチホップ推論における長期的な事実の一貫性を維持する困難さに制限されています。既存の方法は、コンテキスト圧縮や再帰トークンを利用するものがありますが、多くの場合「コンテキスト腐敗」や、長期間にわたる情報希釈に苦しんでいます。本論文では、凍結されたLLMバックボーンと、学習可能な潜在メモリ銀行を統合する、メモリ拡張アーキテクチャ extbf{G-MemLLM}を提案します。私たちの主な革新は、GRUスタイルのゲート付き更新ロジックであり、モデルが潜在メモリのスペースを、選択的に更新、保持、または上書きすることを可能にすることで、再帰システムで一般的な知識の消失する勾配を防ぎます。私たちは、GPT-2 (124M) からLlama 3.1 (8B) まで、さまざまなスケールでG-MemLLMを評価し、HotpotQAとZero-Shot Relation Extraction (ZsRE) ベンチマークで評価しました。その結果、G-MemLLMはマルチホップ推論と関係精度を大幅に向上させることが示され、Llama 3.1-8BでZsREの精度を13.3%向上させ、またモデルの規模全体で改善をもたらし、GPT-2でAnswer F1を8.56ポイント向上させ、Llama 3.1-8BでSupporting Fact F1を6.89ポイント増加させました。
[📰 原文はこちら](https://arxiv.org/abs/2602.00015)
---
※本記事はAI（Ollama）による自動翻訳・要約です。
BittensorManがお勧めするメーカーリスト
https://exbridge.jp/xdirect/
AI時代の技術と知識のまとめ(AI生成メディア) - AIDexx
https://exbridge.jp/aidexx/
頑張って働く人に向けて、プロ用仕事アイテムを格安でネット販売しているX-Direct（ https://exdirect.net ）を、BittensorManは応援しています。
動画の最後にお得な情報がありますので、
最後までご覧ください。
