L1正则是权值的绝对值之和，重点在于可以稀疏化，使得部分权值等于零。
L1正则的含义是 ∥w∥≤c，如下图就可以解释为什么会出现权值为零的情况。
L1正则在梯度下降的时候不可以直接求导，在网上找到一种优化方法，不知是否可行
对于目标函数中包含加性的非平滑项并使用梯度下降求解的问题，如果可以使用proximal operator，则解法如下：
假设目标函数为 其中
可导，而
不可导。
则每步迭代更新为
其中，
如果 ，也就是题目中要求的L1范数正则化，则对应的
L2正则的重点在于防止过拟合，没有稀疏特征的效果。L2正则在梯度下降的时候可以直接求导
∥w∥2≤c
原文：http://www.cnblogs.com/fisherinbox/p/6698251.html