2026年02月25日
## 要約：
大規模言語モデルを特定のタスクで微調整する際に見られる「忘却」の問題に対処するため、自己対話データを活用するSA-SFTという手法を提案。外部データや追加の調整を必要とせず、性能を維持・向上させることが可能。自己対話は、モデルのスタイルに関連するパラメータの変化を抑制し、忘却を防ぐ効果がある。
---
## 翻訳：
arXiv:2602.20162v1を発表しました。概要：大規模言語モデル (LLM) を狭く、タスク固有のデータで微調整する際に、破局的な忘却が依然として大きな課題です。多くの場合、一般的な知識と推論能力が低下します。我々は、LLM が微調整前に自己対話を生成する、軽量な自己拡張ルーチンである SA-SFT を提案し、その自己著述データは最適化またはトレーニングのスケジュールを変更せずに、タスクデータと混合されます。
外部データや追加の調整を必要としないにもかかわらず、SA-SFT は一貫して破局的な忘却を軽減し、インドメインの性能を向上させます。50 の評価シナリオ全体で、元のモデルと同等の性能を維持し、40 件のケースで最良の結果を達成し、層凍結や外部データ混合などの一般的なベースラインを上回っています。これらの経験的な知見に導き、我々はさらに理論的な分析を提示し、忘却は部分的にスタイル誘導パラメータドリフトに起因し、自己生成データによる自己整合化は、この効果を打ち消すための効果的な手段となることを示唆します。全体として、我々の結果は、自己拡張が、破局的な忘却を招くことなく、堅牢な LLM 適応のためのシンプルかつ効果的なメカニズムを提供することを示しています。
[📰 原文はこちら](https://arxiv.org/abs/2602.20162)
---
※本記事はAI（Ollama）による自動翻訳・要約です。
BittensorManがお勧めするメーカーリスト
https://exbridge.jp/xdirect/
AI時代の技術と知識のまとめ(AI生成メディア) - AIDexx
https://exbridge.jp/aidexx/
頑張って働く人に向けて、プロ用仕事アイテムを格安でネット販売しているX-Direct（ https://exdirect.net ）を、BittensorManは応援しています。
動画の最後にお得な情報がありますので、
最後までご覧ください。
