最优化理论里面
0阶优化算法
1阶优化算法
2阶优化算法
具体定义和缺陷如下：针对深度学习以一阶的优化算法为主为主线
0阶优化算法：该算法仅仅需要因变量的数值，而不需要导数信息。因变量通过最小二乘法的拟合值近似，而约束极小化问题用罚函数转化为无约束问题，极小化过程在近似的罚函数上迭代。直到获得收敛的解。
0阶算法不利用一阶导数信息,一阶算法利用一阶导数信息. 零阶算法是在一定次数的抽样基础上,拟合设计变量、状态变量和目标函数的响应函数,从而寻求最优解,顾又可称其为子问题方法.
具体的0阶算法
原文：https://www.cnblogs.com/fenglongyu/p/9420334.html