这里对RKHS做一个简单的整理, 之前的理解错得有点离谱了.
首先要说明的是, RKHS也是指一种Hilbert空间, 只是其有特殊的性质.
Hilbert空间\(\mathcal{H}\), 其中的每个元素\(f: \mathcal{X} \rightarrow \mathbb{K}\), 并由内积\(\langle \cdot, \cdot, \rangle_{\mathcal{H}}\)建立联系. 我们考虑如下的线性算子:
进一步假设\(\delta_x\)是有界线性算子, 则根据Riesz表示定理可知, 存在唯一的\(\phi_x \in \mathcal{H}\),
此时
RKHS指的就是每一个\(\delta_x, \forall x \in \mathcal{X}\)均为有界线性算子, 换言之,
一般的, RKHS总会和某些特定的kernel \(K\)联系在一起, 实际上, 对于上述情况:
在什么情况下可以通过\(K\)确定一个Hilbert 空间?
Moore-Aronszajn 定理: 当\(K\)对称正定, 则存在唯一的Hilbert空间, 其reproducing kernel是\(K\).
proof:
首先通过K构造线性空间\(\mathrm{span}(\{K(\cdot, x): x \in \mathcal{X}\})\), 再赋予内积
其中, 内积的可交换性由K的对称性带来, 内积\((x, x)=0\)当且仅当\(x=0\)由正定性带来.
再令上述内积空间的闭包为
即包括
显然
故
故\(\mathcal{H}\)是RKHS且其reproducing kernel即为\(K\).
倘若还存在别的Hilbert空间\(\mathcal{G}\), 那么显然\(\mathcal{H} \subset \mathcal{G}\), 只需证明反包含即可. 对于任意的\(g \in \mathcal{G}\), 可分解为
故\(g\in \mathcal{H}\).
Reproducing Kernel Hilbert Space (RKHS)
原文：https://www.cnblogs.com/MTandHJ/p/14928069.html