2026年01月23日
## 要約：
大規模言語モデル（LLM）は、関連情報が残っていても、特定の臨界閾値を超えると性能が急激に低下する現象（知能低下）を示す。本研究では、自然なトークン長を用いることでこの現象がコンテキスト長そのものであることを検証し、Qwen2.5-7Bモデルにおいて、最大コンテキスト長の40～50%が臨界閾値であることを特定した。この知能低下のパターンを体系的に分析し、軽減策のための基礎を提供する。
---
## 翻訳：
arXiv:2601.15300v1 Announce Type: new
Abstract: 大規模言語モデル（LLM）は、関連情報が残っていても、特定の臨界閾値を超えると性能が急激に低下する現象を示す。この知能低下（タスク性能が30%以上低下する現象）は、長文コンテキストアプリケーションの利用を著しく制限する。この低下は共通のパターンを示す：モデルは臨界閾値まで強力な性能を維持し、その後は劇的に低下する。これを浅い長文コンテキスト適応と呼ぶ——モデルは短中程度のコンテキストに適応するが、臨界閾値を超えては失敗する。本論文は以下の3つの貢献を示す:(1) 自然長分布分析：切り捨てやパディングを行わずに各サンプルの自然なトークン長を使用することで、低下がコンテキスト長そのものであるというより強い因果的証拠を提供する。(2) 臨界閾値の決定：混合データセット（コンテキスト長の5%-95%をカバーする1,000サンプル）を用いた実験により、Qwen2.5-7Bの臨界閾値を最大コンテキスト長の40〜50%（F1スコアが0.55〜0.56から0.3に低下し、45.5%の低下を示す）であることを特定する。五分割交差検証を用いる。(3) 統一フレームワーク：浅い適応を統合し、低下パターンを説明し、軽減戦略のための基礎を提供する。この研究は、オープンソースQwenモデルにおける知能低下の最初の体系的な特性評価を提供し、長文コンテキストシナリオでLLMをデプロイするための実践的なガイダンスを提供する。
[📰 原文はこちら](https://arxiv.org/abs/2601.15300)
---
※本記事はAI（Ollama）による自動翻訳・要約です。
BittensorManがお勧めするメーカーリスト
https://exbridge.jp/xdirect/
AI時代の技術と知識のまとめ(AI生成メディア) - AIDexx
https://exbridge.jp/aidexx/
頑張って働く人に向けて、プロ用仕事アイテムを格安でネット販売しているX-Direct（ https://exdirect.net ）を、BittensorManは応援しています。
動画の最後にお得な情報がありますので、
最後までご覧ください。
