ページ

2025年11月28日金曜日

データフリー・知識蒸留によるポストプラーニング精度回復

2025年11月28日




## 要約:
この研究では、プリントされた学生ネットワークに教師モデルの知識を転移することで、プライバシーセンシティブな分野でのデータアクセス制限下で精度を回復することを提唱しています。

---

## 翻訳:
Model pruning is a widely adopted technique to reduce the computational complexity and memory footprint of Deep Neural Networks (DNNs). However, global unstructured pruning often leads to significant degradation in accuracy, typically necessitating fine-tuning on the original training dataset to recover performance. In privacy-sensitive domains such as healthcare or finance, access to the original training data is often restricted post-deployment due to regulations (e.g., GDPR, HIPAA). This paper proposes a Data-Free Knowledge Distillation framework to bridge the gap between model compression and data privacy. We utilize DeepInversion to synthesize privacy-preserving ``dream'' images from the pre-trained teacher model by inverting Batch Normalization (BN) statistics. These synthetic images serve as a transfer set to distill knowledge from the original teacher to the pruned student network. Experimental results on CIFAR-10 across various architectures (ResNet, MobileNet, VGG) demonstrate that our method significantly recovers accuracy lost during pruning without accessing a single real data point.

[📰 原文はこちら](https://arxiv.org/abs/2511.20702)

---

※本記事はAI(Ollama)による自動翻訳・要約です。

頑張って働く人に向けて、プロ用仕事アイテムを格安でネット販売しているX-Direct( https://exdirect.net )を、BittensorManは応援しています。

動画の最後にお得な情報がありますので、
最後までご覧ください。