首页 > 其他 > 详细

UFLDL 教程学习笔记(四)

时间:2015-09-20 14:31:41      阅读:194      评论:0      收藏:0      [点我收藏+]

          课程链接:http://ufldl.stanford.edu/tutorial/supervised/MultiLayerNeuralNetworks/

        这一节前半部分介绍了神经网络模型及前向传导,定义了很多的变量,这些变量到底代表了什么一定要搞懂,否则后半部分的推导就看不懂了。

        后半部分前的是BP,具体参考这篇博客http://blog.csdn.net/itplus/article/details/11022243,总结加注释,写的非常非常好

        

        其实整个过程就是,用梯度下降法来求得最优的w和b,但我们只知道最后一个输出,那么隐含的各层的梯度该如何求呢?这就要用到BP了。

        

        然后是作业部分。里面用到几个函数,简单分析下(主要是好多我没看懂)。

        stack = params2stack(params, ei)将一个flattened parameter vector(不明白那个扁平是什么意思)转为a nice "stack" structure,

ei是auxiliary variable containing the configuration of the network

        函数首先得到网络的深度depth,并初始化一个这么大的cell(stack),取得前一层的大小(单元个数?)prev_size,并定义了一个表示参数向量位置的向量。

        接下来是一个循环。目的是取得所有层的权值与偏差。最后返回的stack包括每层的权值和偏差。

    

        未完待续。。。。

        

        

 

 

        

       

UFLDL 教程学习笔记(四)

原文:http://www.cnblogs.com/573177885qq/p/4820541.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!