2026年02月05日
## 要約：
この論文では、Transformerモデル（GPT2）の次の単語予測が、学習が進むにつれて、現在の文脈以外の情報の影響を受けにくくなることを示しています。この現象は、パーストリポリングと呼ばれ、現在の文脈の頻度、文脈の種類、文脈の変動に影響されることが分かります。この学習特性は、Transformerにおける現実的で経験的な根拠に基づいていると主張されています。
---
## 翻訳：
arXiv:2602.03980v1 発表タイプ: 新規
抄録: 言語は創造的であるため、合理的な言語モデルは一般化でき、類似した文脈から情報を利用して、新しい文脈で何を言うかを決定する必要があります。しかし、新しい文脈ではなく、単に頻度の低い文脈についてはどうでしょうか？階層的回帰では、文脈におけるモデルの予測は、1) 現在の文脈の頻度が低く、2) 異なる文脈が同様に振る舞うという条件の下で、他の類似した文脈からの観察に影響を受けます。これは適応的パーストリポリングと呼ばれます。本論文では、Transformer (GPT2) の次の単語予測が、学習エポックを通して、現在の文脈外からの観察の影響を受けにくくなること、そしてパーストリポリングの程度が文脈の頻度、文脈の種類、文脈の変動に、階層的回帰と同様に影響されることを示しています。Transformerにおける学習のこれらの特性は、合理的および経験的な根拠に基づいて現実的であると主張されます。
[📰 原文はこちら](https://arxiv.org/abs/2602.03980)
---
※本記事はAI（Ollama）による自動翻訳・要約です。
BittensorManがお勧めするメーカーリスト
https://exbridge.jp/xdirect/
AI時代の技術と知識のまとめ(AI生成メディア) - AIDexx
https://exbridge.jp/aidexx/
頑張って働く人に向けて、プロ用仕事アイテムを格安でネット販売しているX-Direct（ https://exdirect.net ）を、BittensorManは応援しています。
動画の最後にお得な情報がありますので、
最後までご覧ください。
