机器学习基石笔记1——学习问题

1、机器学习的本质

通过在数据中得到的经验来提高性能。

（1）冥冥中存在着一个隐藏的模式，我们的任务就是“发现”这个模式；

（2）这个模式是无法定义的（否则就不需要“学习”了）；

（3）然而我们能够拿到关于这个模式是数据——这些数据就是机器学习的学习对象。

我们通过这几条来判断一个问题是否需要用机器学习的方法解决。

2、学习问题的形式化

基本的符号：

输入： $x \in X$

输出： $y \in Y$

需要学习的隐藏模式 $\Leftrightarrow$ 目标函数： $f:X\rightarrow Y$

数据 $\Leftrightarrow$ 训练样本： $D=\{(x_{1},y_{1}),(x_{2},y_{2}),...,(x_{n},y_{n})\}$

假设： $g:X\rightarrow Y$ （通过学习得到的公式）

机器学习大概就是如下图所示的过程：

因此我们最后得到的是对隐藏模式 $f$ 的一个假设 $g$ （因为我们根本不知道 $f$ 长啥样，怎么知道得到的 $g$ 一定是 $f$ 呢，因此也只能说是假设）

机器学习的一般过程如下：

这里，假设集 $H$ 中有好的假设，也有不好的假设，由算法 $A$ 选择一个最好的假设 $g$ 作为对目标函数 $f$ 的近似。

学习模型 $= A + H$

机器学习基石笔记1——学习问题

原文：http://www.cnblogs.com/huxiangkun/p/3542449.html