I. Linear Algebra

1. 基础概念回顾

• scalar: 标量
• vector: 矢量，an array of numbers.
• matrix: 矩阵, 2-D array of numbers.
• tensor: 张量, 更高维的一组数据集合。
• identity Matricx：单位矩阵
• inverse Matrix：逆矩阵,也称非奇异函数。当矩阵A的行列式\(|A|≠0\)时，则存在\(A^{-1}\).

2. Span

3. Norm

\(L^p\) norm 定义如右: \(||x||_p=(\sum_i|x_i|^p)^{\frac{1}{p}}\) for \(p∈R,p≥1\).

任何满足如下条件的函数都可视为norm:

• \(f(x)=0 \, \Rightarrow x=0\)
• \(f(x+y)≤f(x)+f(y)\) (三角不等式)
• \(\forall α ∈R,f(αx)=|α|f(x)\)

1) \(L^2\) Norm

最常用的是二范式，即\(L^2\) norm,也称为Euclidean norm(欧几里得范数)。因为在机器学习中常用到求导，二范式求导之后只与输入数据本身有关，所以比较实用。

2) \(L^1\) Norm

但是二范式在零点附近增长很慢，而且有的机器学习应用需要在零点和非零点之间进行区分，此时二范式显得力不从心，所以我们可以选择一范式,即\(L^1\) norm,其表达式为：\(||x||_1=\sum_i|x_i|\).

3) \(L^0\) Norm

0范式表示矢量中非0的元素的个数。其实0范式这个说法是不严谨的，因为它不满足第三个条件，but whatever~

4) \(L^∞\) Norm

无穷大范式，也叫max norm,它表示矢量中所有元素绝对值的最大值，即
\[||x||_∞=max |x_i|\]

5) F norm

F norm全称是Frobenius Norm,其表达式如下:
\[||A||_F=\sqrt{\sum_{i,j}A_{i,j}^2} \]

4.特殊矩阵和向量

1) Diagonal matrix(对角矩阵)

定义: a matrix \(D\) is diagonal if and only if \(D_{i,j}=0\) for all \(i≠j\).

仔细看定义！！！这里并没有说必须是squre matrix(方阵)，所以对角矩阵不一定是方阵，rectangle matrix也有可能是对角矩阵(只要对角线上不为0，其余部分都为0)。

2) Orthogonal Matrix(正交矩阵)

定义： 若\(A^TA=AA^T=I\),那么n阶实矩阵A则为正交矩阵。

注意矩阵A必须为方阵，另外有定义可知 \(A^{-1}=A^T\)

3) Orthonomal Matrix(标准正交矩阵)

定义: 满足正交矩阵的要求，且为x和y均为unit vector(单位矢量)。

5. Eigendecomposition(特征分解)

很多数学概念其实都可以分解成很小的组成部分，然后通过观察这些组成进而找出它们可能存在的通用的性质。例如对于一个整数12，我们会试着把它分解成12=2×2×3，由这个表达式我们可以得到一些有用的结论，例如12不能被5整除,任何数乘以12后都能被3整除等等。

很自然地，对于矩阵，我们也想看看他是否也能被拆分呢，所以就引入了特征分解的概念，通过特征分解我们会得到矩阵\(A\)的(一组)eigenvector(特征向量): \(v\) 和 eigenvalue(特征值): \(λ\),它们满足如下等式:
\[Av=λv\]

(特征向量当然也可以在右边，但是通常更习惯于放在右边。)

假设矩阵\(A\)有n个线性独立的特征向量\(\{v^{(1)}, ..., v^{(n)}\}\)以及对应的特征值\(\{ λ_1, ...,λ_n \}\)。记
\(V=[v^{(1)}, ..., v^{(n)}],λ=[λ_1, ...,λ_n ]\),则矩阵A的特征分解如下:
\[A=Vdiag(λ)V^{-1}\]

另外实对称矩阵的特征分解用得比较多，表达式为\(A=Q\Lambda Q^{-1}\),\(Q\)表示由特征向量组成的正交矩阵,\(\Lambda\)表示对角矩阵，注意\(Q\)和\(\Lambda\)的值是一一对应的。

• 当一个矩阵的特征值都为正时，该矩阵则为positive definite(正定矩阵).
• 当一个矩阵的特征值都大于等于0时，该矩阵则为positive semidefinite(半正定矩阵).
• 当一个矩阵的特征值都为负时，该矩阵则为negative definite(负定矩阵).
• 当一个矩阵的特征值都小于等于0时，该矩阵则为negative semidefinite(半负定矩阵).

6. Singular Value Decomposition(奇异值分解)

Singular Value Decomposition (SVD) 可以把一个矩阵分解得到 singular vectors和singular values。SVD可以像特征值分解一样帮助我们对一个矩阵进行分析，并且SVD适用性更广。每个实矩阵都能做SVD，但是不一定能做特征值分解。比如说如果一个矩阵不是方阵，那么就不能做特征分解，但是我们可以做SVD。

SVD分解后的矩阵表达式如下:
\[A=UDV^T\]

假设A是一个m×n矩阵，那么U定义为m×m矩阵,D是m×n矩阵,V是n×n矩阵。
除此以外

• 矩阵U和V都是orthogonal matrix，其中矩阵U的列向量是left-singular vectors，矩阵V的列向量是right-singular vectors。矩阵A的left-singular vectors是矩阵\(A^TA\)的特征向量，right-singular vectors是矩阵\(AA^T\)的特征向量。矩阵A的非零奇异值是矩阵\(AA^T\)或者\(A^TA\)的平方根。
• 矩阵D是diagonal matrix,注意不一定是方阵。D对角线上的即为矩阵A的奇异值(singular value)。

讲这么多，肯定对SVD还没有一个直观的理解，下面一节会介绍SVD的应用。

7. Moore-Penrose Pseudoinverse

我们在求一个矩阵的逆(matrix inverse)的时候，一般都需要规定这个矩阵是方阵。

假设有一个线性方程\(Ax=y\),为了解出这个方程，我们很直观地希望能够造出一个left-inverse矩阵B和A相乘，从而求出x，即\(x=By\)。

如果A是一个非方阵的矩阵，当它的row大于column时，很有可能此时无解；而当row小于column时，可能有多解。

Moore-Penrose Pseudoinverse就是为了解决这个问题的，矩阵A的伪逆定义如下:
\[A^+=lim_{α\searrow{0}}(A^TA+αI)^{-1}A^T\]。

上面的公式实际很少用，一般都是使用SVD的公式，即

\[A^+=VD^+U^T\]

U,D,V是上节中提到的矩阵A的奇异分解。\(D^+\)是矩阵D的伪逆，它是首先将D的非零元素取倒数得到一个矩阵，然后将这个矩阵转置之后就得到了\(D^+\)。

当矩阵A的row比column少时，使用伪逆可以得到很多解。但是，\(x=A^+y\)这个解是所有解中有最小Euclidean norm(\(||x||_2\))的。

当矩阵A的row比column多时，可能无解。但是使用伪逆求得的解x ，能使得\(Ax\)尽可能的接近\(y\),也就是说能使得\(||Ax-y||_2\)最小。

8. Trace Operator(迹)

trace运算符是将矩阵对角线上的所有元素求和，即\(Tr(A)=\sum_iA_{i,i}\)

Deep Learning(花书)教材笔记-Math and Machine Learning Basics(线性代数拾遗)

原文：https://www.cnblogs.com/marsggbo/p/10050048.html