2026年01月30日
## 要約：
本研究では、ファインチューニング時に重点的に使用されるモダリティに合わせて、事前学習の表現学習を調整するFinetune-Informed Pretraining (FIP)を提案します。FIPは、モダリティごとのマスキング難易度、損失重み、デコーダー容量を調整することで、追加データや計算なしに下流タスクの性能を向上させます。この手法は実装が容易で、様々なマルチモーダル事前学習パイプラインに適用可能です。
---
## 翻訳：
arXiv:2601.20884v1 Announce Type: new
抄録：マルチモーダル事前学習は汎用表現を構築するために効果的ですが、多くの実用的なデプロイメントでは、1つのモダリティのみが下流のファインチューニング中に大きく使用されます。標準的な事前学習戦略は、すべてのモダリティを均一に扱いますが、これは実際に重要なモダリティに対する最適化されていない表現につながる可能性があります。私たちは、ファインチューニング時に必要な指定されたターゲットモダリティに向かって表現学習を偏らせるモデル非依存の方法である、ファインチューニング情報に基づいた事前学習（FIP）を提案します。FIPは、共有エンコーダーを変更したり、追加の教師なし学習を必要とせずに、ターゲットモダリティのマスキング難易度を高め、損失重みを強化し、デコーダー容量を増やします。無線信号の星座図に対するマスクモデルに適用すると、FIPは追加のデータや計算なしに、一貫してファインチューニングされた下流の性能を向上させます。FIPは実装が簡単で、アーキテクチャに適合性があり、マルチモーダルマスクモデルパイプライン全体で広く適用可能です。
[📰 原文はこちら](https://arxiv.org/abs/2601.20884)
---
※本記事はAI（Ollama）による自動翻訳・要約です。
BittensorManがお勧めするメーカーリスト
https://exbridge.jp/xdirect/
AI時代の技術と知識のまとめ(AI生成メディア) - AIDexx
https://exbridge.jp/aidexx/
頑張って働く人に向けて、プロ用仕事アイテムを格安でネット販売しているX-Direct（ https://exdirect.net ）を、BittensorManは応援しています。
動画の最後にお得な情報がありますので、
最後までご覧ください。
