2026年04月01日
## 要約：
OptiMerは、継続的な事前学習におけるデータ混合比率の調整を効率化する手法です。各データセットで訓練したモデルの分布ベクトルを抽出し、ベイズ最適化で最適な組み合わせを後から決定することで、データ混合比率の調整コストを大幅に削減します。この手法は、言語や分野を問わず既存の手法よりも高性能でした。
---
## 翻訳：
arXiv:2603.28858v1発表 Type: new
概要：継続的な事前学習は、LLMを特定の言語やドメインに適応させるために広く使用されていますが、訓練データの混合比率というハイパーパラメータは、調整が困難であり、コストがかかります。なぜなら、訓練を開始する前に固定する必要があり、最適でない選択は数週間にも及ぶ計算リソースを無駄にする可能性があるからです。本研究では、混合比率の選択を訓練から切り離すOptiMerを提案します。各データセットでCPTモデルを訓練し、そのデータセットによって引き起こされるパラメータシフトを表す分布ベクトルを抽出し、ベイズ最適化によって後で最適な組み合わせの重みを検索します。Gemma 3 27Bを用いた言語（日本語、中国語）およびドメイン（数学、コード）における実験により、OptiMerは15～35倍の低い検索コストで、データ混合およびモデル平均のベースラインを常に上回ることがわかりました。主な発見として、最適化された重みはデータ混合比率として解釈でき、これらの比率で再訓練するとデータ混合CPTが向上し、同じベクトルプールを再最適化して特定の目的のために使用し、訓練なしにオンデマンドで対象に特化したモデルを生成できることが明らかになりました。本研究は、伝統的に事前学習の決定であったデータ混合比率の選択が、分布ベクトルに対する後最適化として再構成できる、継続的な事前学習のためのより柔軟なパラダイムを提供することを示しています。
[📰 原文はこちら](https://arxiv.org/abs/2603.28858)
---
※本記事はAI（Ollama）による自動翻訳・要約です。
BittensorManがお勧めするメーカーリスト
https://exbridge.jp/xdirect/
AI時代の技術と知識のまとめ(AI生成メディア) - AIDexx
https://exbridge.jp/aidexx/
頑張って働く人に向けて、プロ用仕事アイテムを格安でネット販売しているX-Direct（ https://exdirect.net ）を、BittensorManは応援しています。
動画の最後にお得な情報がありますので、
最後までご覧ください。
