[TOC]
线性相关、线性无关（Linear independence）
若n个向量线性有关，则说明其中一个向量可以用其余n-1个向量线性表示；若线性无关则不能。
线性有关的向量组中存在冗余向量，即有的向量是无用的，这会影响方程组解的结构。
在高等数学里面，向量二维和三维相关，就是共线（坐标对应成比例）和共面的问题。比如：共线 a1 = k1a2 + k2a3。
从向量空间的角度解释：将向量组中的向量看作空间内的向量，相关即为向量方向中有一致的，无关即为各个向量方向均不同。
线性无关的向量能构成线性空间的基集。
基（Basis）、正交基、自然基
向量空间 V 的基 B 是 V 的可张成(生成)出 V 的线性无关子集。称这子集的元素为基向量。
自然基：某一维为1其余维都为0的向量组成的一组基。
秩（Rank）
一个矩阵A的列秩是A的线性无关的纵列的极大数目。类似地，行秩是A的线性无关的横行的极大数目。 矩阵的列秩和行秩总是相等的，因此它们可以简单地称作矩阵A的秩，通常表示为r(A)或rank(A)。
矩阵行秩=列秩，关键在于理解“矩阵的秩等于其转置矩阵的秩”因为矩阵的行列在转置后会相互转化；至于为什么矩阵的秩等于其列秩的理解关键在于：“有限次的初等行变换不改变矩阵列向量之间的线性相关性”这一定理。
秩就是可表达的真实维数，也可理解为独立向量的个数（正交基）。
矩阵低秩的意义:
一个$m\times n$的矩阵，如果秩很低（秩$r\ll m,n$），则它可以拆成一个$m\times r$矩阵和一个$r\times n$矩阵之积（类似于SVD分解）。后面这两个矩阵所占用的存储空间比原来的$m\times n$矩阵小得多。
行列式（Determinant）
行列式是数学中的一个函数，将一个$n \times n$的矩阵A映射到一个标量，记作 det(A)或Abs{A}。
行列式的几何意义等于n维平行体的体积。行列式的定义和n维平行体的体积有着本质上的关联。
迹（Trace）
一个$n \times n$ 矩阵A的迹是其主对角线上各元素之和。
用泛函分析的语言来说 $\mbox{tr}(A\tr B)$ 是矩阵A、B的内积。
线性变换
线性变换是在作用于两个向量空间之间的函数，它保持向量加法和标量乘法的运算。
设 V 和 W 是在相同域 K 上的向量空间。函数 $f : V \to W$ 被称为是线性映射，如果对于 V 中任何两个向量 x 和 y 与 K 中任何标量 a，满足下列两个条件：
- 可加性：$f(x+y)=f(x)+f(y)$
- 齐次性：$f(ax)=af(x) $
特征值（Eigenvalue）、特征向量（Eigenvector）
对于一个给定的线性变换$A$，它的特征向量$v$经过线性变换$A$之后，得到的新向量仍然与原来的$v$ 保持在相同方向，只是长度缩放。一个特征向量的长度在该线性变换下缩放的比例称为其特征值（本征值）。 https://www.math.hmc.edu/calculus/tutorials/eigenstuff/
Aξ = λξ : 在A变换的作用下，向量ξ 仅仅在尺度上变为原来的 λ倍。称 ξ 是A 的一个特征向量，λ是对应的特征值。
求解线性变化A的特征向量和特征值：
\[Ax = λx \\ ⇒ I·Ax = I·λx \\ ⇒ Ax = (λI)x \\ ⇒ (A - λI)x = 0\]根据线性方程组理论，若上式x有非零解，则矩阵(A - λI)的行列式为0：
\[|A - λI| = 0\]解该方程组可以求得特征值λ，然后将λ代入方程组 (A - λI)x = 0 可以求得特征向量x。
二次型（Quadratic form）
二次型是一些变量上的二次齐次多项式。例如 $ q(x,y)=ax^{2}+by^{2}+cxy $
【注】一般的二次函数和二次方程不是二次形式的例子，因为它们不总是齐次的。
用线性代数的语言描述：
设 $A=[a_{ij}]$是$n\times n$阶实矩阵，$\mathbf{x}$是n维实向量，具有一下形式的实函数称为二次型（quadratic form）：
\[f(\mathbf{x})=\mathbf{x}\tr A\mathbf{x}\]正定矩阵（Positive-definite matrix）
正定矩阵的概念建立在二次型上。
若A是一实对称矩阵且任一 $x\ne0$满足$\mathbf{x}\tr A\mathbf{x} \gt 0$，则称A是正定的。
从特征值和特征向量的角度定义：所有特征值都是正数的矩阵是正定矩阵；非负则半正定矩阵；负数则负定矩阵。
正交矩阵（Orthogonal matrix）
正交矩阵是方块矩阵Q，它的转置矩阵是它的逆矩阵： $Q\tr = Q^{-1}$ 或者 $QQ\tr = I$， 其中I为单位矩阵。 如果正交矩阵的行列式为 +1，則我們稱之為特殊正交矩阵： $\Abs{Q} = +1$
转置矩阵（Transpose）
矩阵$A$的转置是另一个矩阵$A\tr$由下列等价动作建立:
- 把$A$的横行写为$A\tr$的纵列，
- 把$A$的纵列写为$A\tr$的横行。
形式上说，$m\times n$矩阵$A$的转置是$n\times m$矩阵
逆矩阵
給定一个$n$階方陣$A$，若存在$n$階方陣$B$，使得 $AB = BA = I$，其中 $I$ 为$n$階单位矩阵，則稱$A$是可逆的，且$B$是$A$的逆矩陣，記作 $A^{-1}$。
求解逆矩阵的方法：
- https://www.mathsisfun.com/algebra/matrix-inverse.html
- http://www.mathwords.com/i/inverse_of_a_matrix.htm
从Adjoint method可以看出，如果行列式$\Abs{A}=0$，则分母为0无意义，也就是不存在逆矩阵。
奇异矩阵（Singular matrix）
奇异矩阵是线性代数的概念，就是对应的行列式=0的矩阵，即存在线性相关的列。
奇异矩阵的判断方法： 首先，看这个矩阵是不是方阵（即行数和列数相等的矩阵。若行数和列数不相等，那就谈不上奇异矩阵和非奇异矩阵）。然后，看此方阵的行列式$\Abs{A}$是否等于0，若等于0，称矩阵A为奇异矩阵；若不等于0，称矩阵A为非奇异矩阵。
同时，由$\Abs{A}\neq 0$可知矩阵A可逆，这样可以得出另外一个重要结论：可逆矩阵就是非奇异矩阵，非奇异矩阵也是可逆矩阵。 如果A为奇异矩阵，则AX=0有无穷解，AX=b有无穷解或者无解。如果A为非奇异矩阵，则AX=0有且只有唯一零解，AX=b有唯一解。
非奇异矩阵还可以表示为若干个初等矩阵的乘积，证明中往往会被用到。
- 如果A(n×n)为奇异矩阵（singular matrix）<=> A的秩Rank(A)<n.
-
如果A(n×n)为非奇异矩阵（nonsingular matrix）<=> A满秩，Rank(A)=n.
- 一个方阵非奇异 当且仅当 它的行列式不为零。
- 一个方阵非奇异 当且仅当 它代表的线性变换是个自同构。
- 一个矩阵半正定 当且仅当 它的每个特征值大于或等于零。
- 一个矩阵正定 当且仅当 它的每个特征值都大于零。
内积（Inner product）、点积
向量内积 $x\cdot y$代表两个向量对应坐标值相乘后相加，得到的是一个实数，数值上等于两向量长度之积乘以夹角的余弦值，即向量$x$在$y$上的投影，反之亦然。
几何意义：内积可以求两向量夹角。如果两向量内积为零，则两向量垂直；如果为正值，则方向大致相同；如果为负值，则方向大致相反。一个向量对自己内积开方后是该向量长度。
向量外积 $x\times y$ 得到的是一个向量，一个行列式，长度数值上等于两向量长度之积乘以夹角的正弦值，方向为两者法向量方向，可以用右手螺旋法则确定。物理上，外积经常应用于求电磁力。
几何意义：三维空间中，两向量外积等于以两向量为邻边的平行四边形面积，方向为两向量所在平面的法线方向；外积为0，说明两向量平行。
两个向量$\mathbf{x}$和$\mathbf{y}$的内积定义为：
\[\mathbf{x}\cdot\mathbf{y} = x_1y_1+\dots+x_ny_n=\sum_{i=1}^nx_iy_i\]定义为$x\cdot y$向量x和y的内积，有：
- 向量长度
- $\Abs{x} = \sqrt{x\cdot y}$
- 两点间距离（向量表示）
- $\Abs{x-y}=\sqrt{(x-y)\cdot(x-y)}$
- 两向量的夹角的余弦值
- $\cos \theta = {x\cdot y \over \Abs{x}\Abs{y}} $
由余弦值可知，如果y是单位向量，$\Abs{y}=1$，则内积$x\cdot y$即向量x在y方向的投影大小。
内积空间（Inner product space）
矩阵分解
矩阵求导
矩阵求导术 - zhihu.com 《矩阵+向量求导法则》
参考资料
- 推荐视频：《线性代数的本质》
- 推荐课程：《麻省理工公开课：线性代数》
- 推荐教材：《线性代数及其应用》