线性代数备忘

[TOC]

线性相关、线性无关(Linear independence)

若n个向量线性有关,则说明其中一个向量可以用其余n-1个向量线性表示;若线性无关则不能。

线性有关的向量组中存在冗余向量,即有的向量是无用的,这会影响方程组解的结构。

在高等数学里面,向量二维和三维相关,就是共线(坐标对应成比例)和共面的问题。比如:共线 a1 = k1a2 + k2a3。

从向量空间的角度解释:将向量组中的向量看作空间内的向量,相关即为向量方向中有一致的,无关即为各个向量方向均不同。

线性无关的向量能构成线性空间的基集。

基(Basis)、正交基、自然基

向量空间 V 的基 B 是 V 的可张成(生成)出 V 的线性无关子集。称这子集的元素为基向量。

自然基:某一维为1其余维都为0的向量组成的一组基。

秩(Rank)

一个矩阵A的列秩是A的线性无关的纵列的极大数目。类似地,行秩是A的线性无关的横行的极大数目。 矩阵的列秩和行秩总是相等的,因此它们可以简单地称作矩阵A的秩,通常表示为r(A)或rank(A)。

矩阵行秩=列秩,关键在于理解“矩阵的秩等于其转置矩阵的秩”因为矩阵的行列在转置后会相互转化;至于为什么矩阵的秩等于其列秩的理解关键在于:“有限次的初等行变换不改变矩阵列向量之间的线性相关性”这一定理。

秩就是可表达的真实维数,也可理解为独立向量的个数(正交基)。

矩阵低秩的意义:

一个$m\times n$的矩阵,如果秩很低(秩$r\ll m,n$),则它可以拆成一个$m\times r$矩阵和一个$r\times n$矩阵之积(类似于SVD分解)。后面这两个矩阵所占用的存储空间比原来的$m\times n$矩阵小得多。

行列式(Determinant)

行列式是数学中的一个函数,将一个$n \times n$的矩阵A映射到一个标量,记作 det(A)或Abs{A}。

行列式的几何意义等于n维平行体的体积。行列式的定义和n维平行体的体积有着本质上的关联。

迹(Trace)

一个$n \times n$ 矩阵A的迹是其主对角线上各元素之和。

用泛函分析的语言来说 $\mbox{tr}(A\tr B)$ 是矩阵A、B的内积。

线性变换

线性变换是在作用于两个向量空间之间的函数,它保持向量加法和标量乘法的运算。

设 V 和 W 是在相同域 K 上的向量空间。函数 $f : V \to W$ 被称为是线性映射,如果对于 V 中任何两个向量 x 和 y 与 K 中任何标量 a,满足下列两个条件:

  • 可加性:$f(x+y)=f(x)+f(y)$
  • 齐次性:$f(ax)=af(x) $

特征值(Eigenvalue)、特征向量(Eigenvector)

对于一个给定的线性变换$A$,它的特征向量$v$经过线性变换$A$之后,得到的新向量仍然与原来的$v$ 保持在相同方向,只是长度缩放。一个特征向量的长度在该线性变换下缩放的比例称为其特征值(本征值)。 https://www.math.hmc.edu/calculus/tutorials/eigenstuff/

Aξ = λξ : 在A变换的作用下,向量ξ 仅仅在尺度上变为原来的 λ倍。称 ξ 是A 的一个特征向量,λ是对应的特征值。

求解线性变化A的特征向量和特征值:

根据线性方程组理论,若上式x有非零解,则矩阵(A - λI)的行列式为0:

解该方程组可以求得特征值λ,然后将λ代入方程组 (A - λI)x = 0 可以求得特征向量x。

二次型(Quadratic form)

二次型是一些变量上的二次齐次多项式。例如 $ q(x,y)=ax^{2}+by^{2}+cxy $

【注】一般的二次函数和二次方程不是二次形式的例子,因为它们不总是齐次的。

用线性代数的语言描述:

设 $A=[a_{ij}]$是$n\times n$阶实矩阵,$\mathbf{x}$是n维实向量,具有一下形式的实函数称为二次型(quadratic form):

正定矩阵(Positive-definite matrix)

正定矩阵的概念建立在二次型上。

若A是一实对称矩阵且任一 $x\ne0$满足$\mathbf{x}\tr A\mathbf{x} \gt 0$,则称A是正定的。

从特征值和特征向量的角度定义:所有特征值都是正数的矩阵是正定矩阵;非负则半正定矩阵;负数则负定矩阵。

正交矩阵(Orthogonal matrix)

正交矩阵是方块矩阵Q,它的转置矩阵是它的逆矩阵: $Q\tr = Q^{-1}$ 或者 $QQ\tr = I$, 其中I为单位矩阵。 如果正交矩阵的行列式为 +1,則我們稱之為特殊正交矩阵: $\Abs{Q} = +1$

转置矩阵(Transpose)

矩阵$A$的转置是另一个矩阵$A\tr$由下列等价动作建立:

  • 把$A$的横行写为$A\tr$的纵列,
  • 把$A$的纵列写为$A\tr$的横行。

形式上说,$m\times n$矩阵$A$的转置是$n\times m$矩阵

逆矩阵

給定一个$n$階方陣$A$,若存在$n$階方陣$B$,使得 $AB = BA = I$,其中 $I$ 为$n$階单位矩阵,則稱$A$是可逆的,且$B$是$A$的逆矩陣,記作 $A^{-1}$。

求解逆矩阵的方法:

  • https://www.mathsisfun.com/algebra/matrix-inverse.html
  • http://www.mathwords.com/i/inverse_of_a_matrix.htm

从Adjoint method可以看出,如果行列式$\Abs{A}=0$,则分母为0无意义,也就是不存在逆矩阵。

奇异矩阵(Singular matrix)

奇异矩阵是线性代数的概念,就是对应的行列式=0的矩阵,即存在线性相关的列。

奇异矩阵的判断方法: 首先,看这个矩阵是不是方阵(即行数和列数相等的矩阵。若行数和列数不相等,那就谈不上奇异矩阵和非奇异矩阵)。然后,看此方阵的行列式$\Abs{A}$是否等于0,若等于0,称矩阵A为奇异矩阵;若不等于0,称矩阵A为非奇异矩阵。

同时,由$\Abs{A}\neq 0$可知矩阵A可逆,这样可以得出另外一个重要结论:可逆矩阵就是非奇异矩阵,非奇异矩阵也是可逆矩阵。 如果A为奇异矩阵,则AX=0有无穷解,AX=b有无穷解或者无解。如果A为非奇异矩阵,则AX=0有且只有唯一零解,AX=b有唯一解。

非奇异矩阵还可以表示为若干个初等矩阵的乘积,证明中往往会被用到。

  • 如果A(n×n)为奇异矩阵(singular matrix)<=> A的秩Rank(A)<n.
  • 如果A(n×n)为非奇异矩阵(nonsingular matrix)<=> A满秩,Rank(A)=n.

  • 一个方阵非奇异 当且仅当 它的行列式不为零。
  • 一个方阵非奇异 当且仅当 它代表的线性变换是个自同构。
  • 一个矩阵半正定 当且仅当 它的每个特征值大于或等于零。
  • 一个矩阵正定 当且仅当 它的每个特征值都大于零。

内积(Inner product)、点积

向量内积 $x\cdot y$代表两个向量对应坐标值相乘后相加,得到的是一个实数,数值上等于两向量长度之积乘以夹角的余弦值,即向量$x$在$y$上的投影,反之亦然。

几何意义:内积可以求两向量夹角。如果两向量内积为零,则两向量垂直;如果为正值,则方向大致相同;如果为负值,则方向大致相反。一个向量对自己内积开方后是该向量长度。

向量外积 $x\times y$ 得到的是一个向量,一个行列式,长度数值上等于两向量长度之积乘以夹角的正弦值,方向为两者法向量方向,可以用右手螺旋法则确定。物理上,外积经常应用于求电磁力。

几何意义:三维空间中,两向量外积等于以两向量为邻边的平行四边形面积,方向为两向量所在平面的法线方向;外积为0,说明两向量平行

两个向量$\mathbf{x}$和$\mathbf{y}$的内积定义为:

定义为$x\cdot y$向量x和y的内积,有:

向量长度
$\Abs{x} = \sqrt{x\cdot y}$
两点间距离(向量表示)
$\Abs{x-y}=\sqrt{(x-y)\cdot(x-y)}$
两向量的夹角的余弦值
$\cos \theta = {x\cdot y \over \Abs{x}\Abs{y}} $

由余弦值可知,如果y是单位向量,$\Abs{y}=1$,则内积$x\cdot y$即向量x在y方向的投影大小。

内积空间(Inner product space)

矩阵分解

LU分解 QR分解

奇异值分解

矩阵求导

矩阵求导术 - zhihu.com 《矩阵+向量求导法则》

参考资料