一、paper&&github
https://link.zhihu.com/?target=https%3A//arxiv.org/abs/1708.06519
https://github.com/mengrang/Slimming-pytorch
二、本文压缩方法
1、channel的裁剪原则
使用BN中的gamma作为标准，如果该值较小，即认为其不重要，则该channel即被删减。
2、损失函数
网络中gamma值较小的可能不多，因此在训练的时候将其作为一个惩罚项，来加入损失函数。
其中g取的是smooth_l1 norm。
3、训练过程
训练模型->采集模型（采集70%）->微调模型，这个过程可以多次进行。
参考 https://zhuanlan.zhihu.com/p/39761855
原文：https://www.cnblogs.com/573177885qq/p/12271384.html