2026年01月08日
## 要約：
LoRA-Dropは、LLMの推論を高速化する新しいフレームワークです。時間的な計算スケジュールを適用し、中間層のサブセットに対して過去のトークンの状態を再利用しながらLoRA補正を行うことで、KVキャッシュの削減と推論速度の向上を実現します。大幅な効率化を図りながら、精度劣化を最小限に抑えることができる安全なスケジュール設定が可能です。
---
## 翻訳：
arXiv:2601.02569v1で発表されたLoRA-Dropは、自己回帰型大規模言語モデル(LLM)の推論におけるボトルネックである逐次デコーディングを解決するフレームワークです。既存の動的深度やレイヤースキップ手法はコストを削減するものの、補助的なルーティングメカニズムを必要としたり、スキップしたレイヤーへの補償不足によって精度が低下する可能性があります。LoRA-Dropは、固定された中間層のサブセットに時間的な計算スケジュールを適用し、ほとんどのデコーディングステップで、選択されたレイヤーは前のトークンの隠れ状態を再利用し、低ランクLoRA補正を適用します。ドリフトを防ぐために、周期的なリフレッシュステップでフルモデルを実行します。LoRA-Dropはルーティングネットワークを必要とせず、標準的なKVキャッシュと互換性があり、LoRAステップ中にドロップ可能なレイヤーのKV更新をスキップし、周期的にリフレッシュすることでKVキャッシュのフットプリントを削減できます。LLaMA2-7B、LLaMA3-8B、Qwen2.5-7B、Qwen2.5-14Bにおいて、LoRA-Dropは最大2.6倍高速なデコーディングと45～55%のKVキャッシュ削減を達成し、同時にベースラインの精度から0.5パーセンテージポイント以内の範囲に留まります。推論、コード生成、そして長文コンテキスト/多言語ベンチマークにおける評価から、品質を維持しながら大きな効率改善をもたらすスケジュール設定の安全なゾーンが特定されました。コードはhttps://github.com/hosseinbv/LoRA-Drop.gitで入手可能です。
[📰 原文はこちら](https://arxiv.org/abs/2601.02569)
---
※本記事はAI（Ollama）による自動翻訳・要約です。
BittensorManがお勧めするメーカーリスト
https://exbridge.jp/xdirect/
AI時代の技術と知識のまとめ(AI生成メディア) - AIDexx
https://exbridge.jp/aidexx/
頑張って働く人に向けて、プロ用仕事アイテムを格安でネット販売しているX-Direct（ https://exdirect.net ）を、BittensorManは応援しています。
動画の最後にお得な情報がありますので、
最後までご覧ください。
