Conv层 Only 3x3 CONV stride 1, pad 1 and 2x2 MAX POOL stride 2，使得网络deeper,更多non-linearities，更少的parameters
VGG16在forward计算中，对单个图片需要存储 96MB，有136Million的参数，在backward中是这个数字的平方，如果有5GB的GPU也只能存储50张图片
AlexNet中，参数只有60Million
原文：https://www.cnblogs.com/ChevisZhang/p/12979809.html