2026年01月21日
## 要約：
本研究は、大規模言語モデル(LLM)においてコンテキストの長さを増やすことによる性能と品質のトレードオフを検証しました。Llama-3.1-70BとQwen1.5-14Bを用いた実験から、コンテキストの増加に伴い性能が非線形に低下し、KVキャッシュのサイズ増加が原因である可能性が示唆されました。また、MoEアーキテクチャにおいて、コンテキストの長さによって動作に異常が見られ、高トークン数でのインフラストラクチャのボトルネックが影響している可能性も示唆されました。
---
## 翻訳：
arXiv:2601.11564v1 Announce Type: new
Abstract: 大規模言語モデル(LLM)のスケーリング傾向は、複雑な長文推論や文書分析を可能にするために、最大コンテキストウィンドウを拡大することを優先してきました。しかし、この拡張されたコンテキストを管理することは深刻な計算オーバーヘッドを伴います。本論文では、Llama-3.1-70BとQwen1.5-14Bという密なTransformerアーキテクチャが、大量の無関係で気を散らすコンテキストにさらされた場合、システム性能とモデル品質の間で重要なトレードオフが存在することを検証します。研究により、Key-Value (KV) キャッシュの成長に関連する非線形性能低下が特定されました。さらに、Mixture-of-Experts (MoE)アーキテクチャの詳細な分析から、さまざまなコンテキストスケールで特有の動作異常が明らかになり、高トークン数ではアーキテクチャの利点がインフラストラクチャのボトルネックによって覆い隠される可能性があることが示唆されています。
[📰 原文はこちら](https://arxiv.org/abs/2601.11564)
---
※本記事はAI（Ollama）による自動翻訳・要約です。
BittensorManがお勧めするメーカーリスト
https://exbridge.jp/xdirect/
AI時代の技術と知識のまとめ(AI生成メディア) - AIDexx
https://exbridge.jp/aidexx/
頑張って働く人に向けて、プロ用仕事アイテムを格安でネット販売しているX-Direct（ https://exdirect.net ）を、BittensorManは応援しています。
動画の最後にお得な情報がありますので、
最後までご覧ください。
