2026年01月08日
## 要約：
大規模言語モデル（LLM）の継続学習において、LoRA空間にGEM制約を適用する手法「I-GEM」が提案されました。本手法は、GEMの安定性を保ちながら、GPUメモリ使用量を大幅に削減し、既存手法A-GEMよりも高い精度を実現します。特に、GEMとの比較で投影時間を約1000倍短縮できる点が注目されます。
---
## 翻訳：
arXiv:2601.02500v1 Announce Type: new
Abstract: 大規模言語モデル（LLM）のフルファインチューニングは計算コストがかかるため、パラメータ効率的なアダプタを利用する継続学習（CL）アプローチが動機付けられています。我々は、低ランクアダプタ（LoRA）サブスペース内で勾配エピソードメモリ（GEM）を再検討し、I-GEM: GEMの二次射影の固定予算のGPU常駐型デュアル射影勾配近似を導入します。アダプタパラメータ内での非干渉のみを制約することにより、I-GEMはGEMのような安定性を維持しながら、平均投影オーバーヘッドを桁違いに低減します。誘導されたドメインドリフトを持つ3タスクAGニュースの分割で、GPT-2（355M）とLoRA ($r=8$)を使用した場合、I-GEMはGEMの平均精度（～0.04 pts以内）に一致し、A-GEMよりも～1.4 pts高い性能を発揮します。重要なことに、GEMに対する投影時間を～10^3の係数で低減します。これらの結果は、LoRAサブスペースにGEM制約を適用することが、LLM規模での継続学習のための実用的な道筋であることを示唆しています。
[📰 原文はこちら](https://arxiv.org/abs/2601.02500)
---
※本記事はAI（Ollama）による自動翻訳・要約です。
BittensorManがお勧めするメーカーリスト
https://exbridge.jp/xdirect/
AI時代の技術と知識のまとめ(AI生成メディア) - AIDexx
https://exbridge.jp/aidexx/
頑張って働く人に向けて、プロ用仕事アイテムを格安でネット販売しているX-Direct（ https://exdirect.net ）を、BittensorManは応援しています。
動画の最後にお得な情報がありますので、
最後までご覧ください。
