机器学习-线性模型

一、基本形式

　　设定由n个属性描述的示例X = （x1; x2; x3; ...; xn），xi是X第i个属性的取值。线性模型尝试通过属性的线性组合来进行描述和预测

f(X) = w1*x1 + w2*x2 + ...+wn*xn + b,

其中w是各属性的组合系数。f(X)也可以用向量形式表达。学得w，b之后模型就得以确定

　　线性模型形式简单、易于建模，具有很好的解释性。同时很多强大的非线性模型也是在线性模型的基础上通过引入层级结构和高维映射而得。

二、线性回归

　　给定数据集D={(X1,Y1), (X2,Y2), ..., (Xm,Ym)}，线性回归 即试图学习一个线性模型尽可能正确的来预测实值输出标记。对于只有一个示例X1的数据集D，

　　　1.对于Xi的属性：

　　　　若属性间存在“序”的联系，可通过连续化转化成连续值，如二值属性“身高”有“高”“矮”的取值，可以转化为{1.0，0.0}；三值属性“高度”有高、中、低三种　　　　　　　　　　　　　　　　取值可转化为{1.0，0.5，0.0}

　　　　若k个属性间不存在序的关系，通常转化为k维向量。如“瓜类”的取值西瓜、黄瓜、冬瓜可转化为（1，0，0）（0，1，0）（0，0，1）

　　　2.线性回归的目的

　　　　线性回归尝试学得

f(xi) = w*xi + b, 使得f(xi) ≈ yi

　　　　求得w，b关键在于衡量f(x)和y之间的差别，通常衡量办法为“最小二乘法”，即令均方误差最小化，这里设w*, b*为w，b的解，则有

　　　　之所以采用均方误差最小化，取决于均方误差（最小二乘法）的几何意义：试图找到一条直线，使所有离散样本到直线上的欧式距离之和最小。

　　　　　　欧式距离：在n维空间中两点之间的真实距离，或者向量的自然长度（二维或三维中即两点间的实际距离）

　　　3.线性回归模型的最小二乘“参数估计”

　　　　令，在求解w，b使E(w,b)最小化的过程即线性回归模型的最小二乘“参数估计”。

　　　　简单分析：因为E(w, b)是w，b的凸函数，对w，b分别求偏导并令偏导为零后可得到w，b的最优解(严格来说是最优解的闭式解)。

　　　总结：上述即为只有一个示例X1的数据集D的线性回归模型分析，对于更一般的情况D={(X1,Y1), (X2,Y2), ..., (Xm,Ym)}，我们试图得到

f(Xi) = w^T*Xi + b, 使得f(Xi) ≈ yi，w为w的向量。称为“多元线性回归”

-----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------

我们令线性回归模型简写为：y = w^Tx + b，如果我们认为输出标记在指数尺度上变化，可将输出标记的对数作为线性模型逼近的目标

ln y = w^Tx + b，即“对数线性回归”

更一般的，我们取单调可微函数g(~)，令

y = g^-1（w^Tx + b），即“广义线性模型”，显然g(~) = ln(~)时就是对数线性回归

三、对数几率回归

机器学习-线性模型

原文：https://www.cnblogs.com/KrianJ/p/10547959.html