2026年03月31日
## 要約：
この論文では、パラメータ更新を必要としない新しい知識伝達手法「TED」を提案しています。教師モデルの知識をモデルパラメータに直接反映させず、代わりに学生モデルへのプロンプトに組み込む経験を通じて学習を進めます。経験の蓄積とノイズを抑制する仕組みも導入されており、限られたデータと計算資源で優れた性能を達成しています。
---
## 翻訳：
arXiv:2603.26778v1発表。知識蒸留は、教師モデルの知識を教師ありまたは強化学習ベースの最適化を通じて学生モデルのパラメータに転送することによって実現されるのが一般的です。効果的ではあるものの、これらのアプローチは、繰り返しパラメータの更新と大規模なトレーニングデータを必要とするため、リソースが限られた環境への適用が制限されます。本研究では、モデルパラメータではなく、学生のプロンプトに注入されたコンテキストベースの経験の更新ターゲットをシフトさせる、教師なしのコンテキストベース蒸留フレームワークであるTEDを提案します。各入力に対して、学生は複数の推論軌跡を生成し、教師は独立して独自の解を生成します。教師は、学生の軌跡、その推論、および正解を比較して、効果的な推論パターンを捉える一般化された経験を抽出します。これらの経験は、時間とともに継続的に洗練および更新されます。コンテキストベースの蒸留の主な課題は、無制限の経験の成長とノイズの蓄積です。TEDは、使用状況統計を追跡し、有用性の低い経験を積極的にマージ、書き換え、または削除する経験圧縮メカニズムによってこれを解決します。MathVisionとVisualPuzzlesの多様性推論ベンチマークでの実験により、TEDは一貫してパフォーマンスを向上させることが示されました。MathVisionでは、TEDはQwen3-VL-8Bのパフォーマンスを0.627から0.702に向上させ、VisualPuzzlesでは、わずか100のトレーニングサンプルで0.517から0.561に向上させました。この低データ、ノーアップデート設定下で、TEDは完全にトレーニングされたパラメータベースの蒸留と同等のパフォーマンスを達成しながら、トレーニングコストを5倍以上削減し、コンテキスト経験を通じて意味のある知識伝達を達成できることを実証しています。
[📰 原文はこちら](https://arxiv.org/abs/2603.26778)
---
※本記事はAI（Ollama）による自動翻訳・要約です。
BittensorManがお勧めするメーカーリスト
https://exbridge.jp/xdirect/
AI時代の技術と知識のまとめ(AI生成メディア) - AIDexx
https://exbridge.jp/aidexx/
頑張って働く人に向けて、プロ用仕事アイテムを格安でネット販売しているX-Direct（ https://exdirect.net ）を、BittensorManは応援しています。
動画の最後にお得な情報がありますので、
最後までご覧ください。
