2026年04月02日
## 要約：
分散されたプライベートデータセットで言語モデルを学習させるFederated Learningにおいて、タスクの多様性による性能低下を解決するため、タスクごとに特化したモデルを構築するFedRouterを提案します。FedRouterはアダプターとタスクを関連付けるクラスタリングメカニズムを活用し、未知のタスクやデータ分布の変化に対するロバスト性を向上させます。実験結果は、既存手法と比較して優れた性能を示しました。
---
## 翻訳：
arXiv:2604.00050v1 Announce Type: new
概要: 連邦学習（FL）は、分散型でプライベートなデータセットの多様なタスクで言語モデルをトレーニングするための有望な技術として登場しました。しかし、異種タスクでトレーニングされたモデルを統合すると、個々のクライアントの全体的なパフォーマンスが低下することがよくあります。この問題を解決するために、パーソナライズされたFL（pFL）は、各クライアントのデータ分布に合わせて調整されたモデルを作成することを目的としています。これらのアプローチはローカルパフォーマンスを向上させますが、通常、次の2つの点で堅牢性に欠けています。（i）一般化：クライアントが未見のタスクに対して予測を行う必要がある場合、またはデータ分布が変化する場合、（ii）クライアント内タスクの干渉：単一のクライアントのデータに複数の分布が含まれ、ローカルトレーニング中に互いに干渉する場合。これらの2つの課題に対処するために、各クライアントではなく各タスクに特化したモデルを構築するクラスタリングベースのpFLであるFedRouterを提案します。FedRouterは、アダプターを使用して、特定のタスクと関連付ける2つのクラスタリングメカニズムを雇うことでモデルをパーソナライズします。ローカルクラスタリングはタスクデータサンプルとアダプターを関連付け、グローバルクラスタリングは異なるクライアントから類似したアダプターを関連付けてタスク指向型のパーソナライズモデルを構築します。さらに、作成されたクラスタに基づいて最適なアダプターにテストサンプルをルーティングする評価ルーターメカニズムを提案します。マルチタスクデータセット全体での既存のアプローチとの比較実験では、FedRouterはこれらの困難なシナリオにおいて強力な回復力を示し、タスク干渉下では最大6.1%相対的に、一般化評価下では最大136%相対的に改善しました。
[📰 原文はこちら](https://arxiv.org/abs/2604.00050)
---
※本記事はAI（Ollama）による自動翻訳・要約です。
BittensorManがお勧めするメーカーリスト
https://exbridge.jp/xdirect/
AI時代の技術と知識のまとめ(AI生成メディア) - AIDexx
https://exbridge.jp/aidexx/
頑張って働く人に向けて、プロ用仕事アイテムを格安でネット販売しているX-Direct（ https://exdirect.net ）を、BittensorManは応援しています。
動画の最後にお得な情報がありますので、
最後までご覧ください。
