2026年04月01日
## 要約：
本研究では、ニューラルネットワークの学習に利用される運動量（momentum）を、臨界減衰振動子から導出した時間変化するスケジュール（βスケジュール）で制御することを提案。この手法は、パラメータを新たに導入することなく、ResNet-18/CIFAR-10 で90%の精度への収束速度を大幅に向上させ、層ごとの勾配分析を通じてモデルの弱点を発見し、効率的な修正を可能にする。
---
## 翻訳：
標準的なニューラルネットワーク学習では、1964年から使用されている定数運動量（通常0.9）が用いられていますが、その最適性についての理論的根拠は限られています。本研究では、臨界減衰振動子から時間変化する運動量スケジュール（μ(t) = 1 - 2*sqrt(α(t))、α(t)は現在の学習率）を導出しました。このβスケジュールは、既存の学習率スケジュール以外の自由パラメータを必要としません。ResNet-18/CIFAR-10 において、βスケジュールは定数運動量と比較して、90%の精度への収束速度が1.9倍向上しました。さらに重要なことは、このスケジュールに基づく層ごとの勾配帰属は、クロスオプティマイザ不変診断を生成し、モデルがSGDまたはAdamで訓練された場合でも、同じ3つの問題層が特定される（100%の一致）。これらの層のみを外科的に修正すると、パラメータの18%のみを再トレーニングしただけで62の誤分類を修正できます。物理学に基づく運動量で迅速な初期収束を実現し、最終的な調整のために定数運動量に移行するハイブリッドスケジュールは、テストされた5つの手法の中で95%の精度を最も速く達成します。主な貢献は、精度向上がないことではなく、訓練されたネットワークの特定の失敗モードを特定および修正するための、原理に基づいた自由パラメータのないツールを提供することです。
[📰 原文はこちら](https://arxiv.org/abs/2603.28921)
---
※本記事はAI（Ollama）による自動翻訳・要約です。
BittensorManがお勧めするメーカーリスト
https://exbridge.jp/xdirect/
AI時代の技術と知識のまとめ(AI生成メディア) - AIDexx
https://exbridge.jp/aidexx/
頑張って働く人に向けて、プロ用仕事アイテムを格安でネット販売しているX-Direct（ https://exdirect.net ）を、BittensorManは応援しています。
動画の最後にお得な情報がありますので、
最後までご覧ください。
