<学习笔记> 范数

虽然这次的笔记是关于范数的，但是还是忍不住想把某个理解记录下来：
求解一个矩阵方程的解：
对于方程Ax=b：为了分析方程有多少个解，我们可以将A的列向量看作从原点出发的不同向量，确定有多少种方法可以到达向量b。
在这个观点下，向量x中的每个元素表示的就是我们朝着A中的每个向量最多远。一般而言，这种操作被称为线性组合。
一组向量的生成子空间就是原始向量线性组合后所能抵达的点的集合。
确定Ax=b是否有解，相当于确定向量b是否在A列向量的生成子空间中。
嗯，这是我见过对矩阵方程的最直观的理解，比那些高端到不行的书里的讲解要强多了。
这个就说到这里。
有时我们需要衡量一个向量的大小。在机器学习中，我们会经常使用被称为范数的函数来衡量向量的大小。
Lp范数的定义：

||x||p=(∑|xi|^p)^(1/p),其中p∈R，p>=1

范数是将向量映射到非负值的函数。
直观的讲，向量x的范数就是从原点到x的距离。
规范的讲，范数是符合以下性质的任意函数：

f(x)=0 =>x=0;
f(x+y)<=f(x)+f(y);
任意α∈R，f(αx)=|α|f(x);

当p=2时，L2称为欧几里得范数，他表示从原点出发到向量x确定的点的欧几里得距离。
我们将p=2带入，很明显就是我们可以看到平面二维空间以及三维空间的距离的表示法。
平方L2范数在数学上要比L2范数本身更加方便(开方这种东西一直不是看起来很头疼么)。
平方L2范数对于x中的每个元素的导数只取决于对应的元素，
而L2范数对于每个元素的导数和整个向量有关。
在机器学习当中，我们为了区分0和接近0的很小的值的时候，我们会用到L1范数。
有时候我们也要衡量一个矩阵的大小。最常见的做法是使用Frobenius范数。

||A||=(∑∑|aij|^2)^(1/2)

说白了就是对应元素平方和再开方。
对于范数的使用情况还有很多，深入学习会遇到更多的，到时候再深入讨论吧。

赏

谢谢你请我吃糖果