首页 > 其他 > 详细

逻辑斯蒂和最大熵-李航

时间:2018-05-17 23:54:10      阅读:22      评论:0      收藏:0      [点我收藏+]

标签:等于   最小值   ID   最大似然估计   回归   扩展   求导   对数   需要   

1、逻辑斯蒂分布

sigmoid 曲线

二项逻辑斯蒂回归模型,实际上是二项判别模型。

基于逻辑斯蒂的似然函数等于每个取值的概率之积。对数似然是对他们取log

多项逻辑斯蒂回归,实际是二项的扩展。

2、最大熵模型

由5.2.2节的熵模型。使我们需要的公式。

所谓最大熵,是指83页定义的条件熵的最大熵。

我们知道这个熵模型实际上是带负号的,负号变边,将求最大问题变成求最小问题,即凸函数问题。

A、引进拉格朗日问题,将该问题变换为拉格朗日问题,由对偶性质,得到求最小值的最大值,最小值可由求导得到,最大值可由求偏导得到。

3、最大似然估计

由最大似然估计得到最大似然估计的表达式

4、迭代尺度算法

5、拟牛顿法

45明天一起把代码弄出来

逻辑斯蒂和最大熵-李航

标签:等于   最小值   ID   最大似然估计   回归   扩展   求导   对数   需要   

原文:https://www.cnblogs.com/baochen/p/9053864.html

(0)
(0)
   
举报
评论 一句话评论(0
0条  
登录后才能评论!
© 2014 bubuko.com 版权所有 鲁ICP备09046678号-4
打开技术之扣,分享程序人生!
             

鲁公网安备 37021202000002号