首页 > 其他 > 详细

基于贝叶斯优化的超参数tuning

时间:2017-12-17 21:58:34      阅读:300      评论:0      收藏:0      [点我收藏+]

https://arimo.com/data-science/2016/bayesian-optimization-hyperparameter-tuning/

 

贝叶斯优化:使用高斯过程作为代理函数,并且通常优化提升幅度的期望Expected Improvement(新试验相对当前最好观测的提升的期望)。高斯过程是一组函数的分布。高斯过程中的一个样本包括一组函数。训练高斯过程会拟合训练数据的分布,因此能产生和观测数据相近的函数。使用高斯过程,我们可以计算搜索空间中任意点的期望提升。然后将期望提升最高的点应用于下一组实验。贝叶斯优化通常能给出非平凡的、不位于grid边界的连续超参数的估计(比如学习率,正则系数等),并且已经验证在某些benchmark上能够超过人类选出的参数。贝叶斯优化的一个有名的实现是Spearmint.

基于贝叶斯优化的超参数tuning

原文:http://www.cnblogs.com/avril/p/8053177.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!