线性代数基础

概述

线性代数是研究向量空间和线性映射的数学分支，在计算机科学的许多领域都有重要应用，包括计算机图形学、机器学习、计算机视觉和密码学。[^1]

---

向量

定义

向量（Vector）是具有大小和方向的数学对象。n 维向量是有序的 n 个数的集合：

$\vec{v}=\left(\begin{array}{c}{v}_1\\ v_2\\ ⋮\\ v_n\end{array}\right)$

向量运算

运算	定义	几何意义
加法	$\vec{u}+\vec{v}=(u_1+v_1,u_2+v_2,...)$	平行四边形对角线
数乘	$k\vec{v}=(k{v}_1,k{v}_2,...)$	缩放向量长度
点积	$\vec{u}\cdot \vec{v}=\sum u_i{v}_i$	投影长度
叉积（3D）	$\vec{u}\times \vec{v}$	垂直于两向量的新向量

点积的几何意义

$\vec{u}\cdot \vec{v}=|\vec{u}||\vec{v}|\cos \theta$

其中 $\theta$ 是两向量夹角。当 $\cos \theta =1$（同向）时点积最大，$\cos \theta =-1$（反向）时点积最小。

---

矩阵

定义

矩阵（Matrix）是按矩形排列的数表：

$A=\left(\begin{array}{cccc}{a}_{11}& a_{12}& \cdots & a_{1n}\\ a_{21}& a_{22}& \cdots & a_{2n}\\ ⋮& ⋮& \ddots & ⋮\\ a_{m1}& a_{m2}& \cdots & a_{mn}\end{array}\right)$

• m × n 矩阵：m 行，n 列
• 方阵：m = n
• 单位矩阵 I：对角线为1，其余为0

矩阵运算

运算	定义
加法	同维度矩阵对应元素相加
数乘	每个元素乘以标量
矩阵乘法	$(AB{)}_{ij}={\sum }_k{a}_{ik}{b}_{kj}$
转置	$A^T$：行变成列
逆矩阵	$A^{-1}$：满足 $A{A}^{-1}=I$

矩阵乘法的性质

┌─────────────────────────────────────┐
│  矩阵乘法：                          │
│                                      │
│      A(m×k)  ×  B(k×n)  =  C(m×n)  │
│                                      │
│  维度必须匹配：                       │
│  A的列数 = B的行数                   │
└─────────────────────────────────────┘

注意：矩阵乘法通常不满足交换律：$AB\ne BA$

特殊矩阵

类型	定义	性质
对称矩阵	$A=A^T$	$a_{ij}=a_{ji}$
反对称矩阵	$A=-A^T$	$a_{ij}=-a_{ji}$
正交矩阵	$Q^{T}Q=I$	行向量两两正交且单位长
稀疏矩阵	大部分元素为零	节省存储

---

行列式

定义

行列式（Determinant）是将方阵映射到标量的函数：

$\det (A)=|A|$

对于 2×2 矩阵：
$\det \left(\begin{array}{cc}a& b\\ c& d\end{array}\right)=ad-bc$

几何意义

行列式的绝对值等于矩阵列向量张成的平行六面体的体积。

行列式的性质

性质	说明
$\det (AB)=\det (A)\det (B)$	乘积的行列式
$\det (A^T)=\det (A)$	转置不变
$\det (A^{-1})=1/\det (A)$	逆的行列式
$\det (kA)=k^n\det (A)$	n 阶矩阵

行列式与可逆性

$\det (A)\ne 0⟺A\text{ 可逆}$

---

线性方程组

高斯消元法

将增广矩阵化为行阶梯形式：

原始方程组：                消元过程：
2x + y - z = 8    →       2x + y - z = 8
-3x - y + 2z = -11 →            -3x - y + 2z = -11
x + 2y + z = 3     →              x + 2y + z = 3

行阶梯形式：
2x +  y - z = 8
   -3/2y + 1/2z = 5
          9/4z = 9

矩阵表示

$A\vec{x}=\vec{b}$

解为：
$\vec{x}=A^{-1}\vec{b}(\text{当 }A\text{ 可逆时})$

---

特征值与特征向量

定义

对于方阵 $A$，如果存在标量 $\lambda$ 和非零向量 $\vec{v}$ 使得：

$A\vec{v}=\lambda \vec{v}$

则：

• $\lambda$ 是特征值（Eigenvalue）
• $\vec{v}$ 是特征向量（Eigenvector）

几何意义

特征向量表示矩阵变换后方向不变的向量，特征值表示该方向的缩放因子。

特征方程

$\det (A-\lambda I)=0$

展开后得到 $\lambda$ 的多项式，解得特征值。

性质

性质	说明
$\sum {\lambda }_i=\text{tr}(A)$	特征值之和 = 矩阵的迹
$\prod {\lambda }_i=\det (A)$	特征值之积 = 行列式
$A^k\vec{v}={\lambda }^k\vec{v}$	特征向量的幂

---

正交性与投影

向量的正交

两向量 $\vec{u},\vec{v}$ 正交当且仅当 $\vec{u}\cdot \vec{v}=0$。

投影

向量 $\vec{b}$ 到向量 $\vec{a}$ 的投影：

${\text{proj}}_{\vec{a}}\vec{b}=\frac{\vec{a}\cdot \vec{b}}{\vec{a}\cdot \vec{a}}\vec{a}$

最小二乘法

用于求解超定方程组 $A\vec{x}\approx \vec{b}$：

$A^{T}A\vec{x}=A^T\vec{b}$

---

矩阵分解

LU 分解

$A=LU$，其中 L 是下三角矩阵，U 是上三角矩阵。

优点：加速求解多个右端项的方程组

QR 分解

$A=QR$，其中 Q 是正交矩阵，R 是上三角矩阵。

用途：最小二乘法、特征值计算

奇异值分解（SVD）

$A=U\Sigma V^T$

• $U,V$ 是正交矩阵
• $\Sigma$ 是对角矩阵，对角线元素为奇异值

应用：降维、图像压缩、推荐系统

---

向量空间

定义

向量空间（Vector Space）是满足以下公理的集合 $V$，配备向量加法和标量乘法：

1. 加法封闭：$\forall \mathbf{u},\mathbf{v}\in V,\mathbf{u}+\mathbf{v}\in V$
2. 加法结合律：$(\mathbf{u}+\mathbf{v})+\mathbf{w}=\mathbf{u}+(\mathbf{v}+\mathbf{w})$
3. 加法交换律：$\mathbf{u}+\mathbf{v}=\mathbf{v}+\mathbf{u}$
4. 零元：$\exists 0\in V,\mathbf{v}+0=\mathbf{v}$
5. 逆元：$\forall \mathbf{v},\exists -\mathbf{v},\mathbf{v}+(-\mathbf{v})=0$
6. 乘法封闭：$\forall c\in \mathbb{R},\mathbf{v}\in V,c\mathbf{v}\in V$
7. 分配律：$c(\mathbf{u}+\mathbf{v})=c\mathbf{u}+c\mathbf{v}$, $(c+d)\mathbf{v}=c\mathbf{v}+d\mathbf{v}$
8. 结合律：$c(d\mathbf{v})=(cd)\mathbf{v}$
9. 单位元：$1\cdot \mathbf{v}=\mathbf{v}$

子空间

$V$ 的子集 $W\subseteq V$ 是子空间，如果：

1. $0\in W$
2. $\mathbf{u},\mathbf{v}\in W\Rightarrow \mathbf{u}+\mathbf{v}\in W$
3. $\mathbf{v}\in W,c\in \mathbb{R}\Rightarrow c\mathbf{v}\in W$

示例：${\mathbb{R}}^n$ 中通过原点的一条直线是一个1维子空间。

张成

集合 $\{{\mathbf{v}}_1,{\mathbf{v}}_2,\dots ,{\mathbf{v}}_k\}$ 的张成（Span）：

$$\text{Span}({\mathbf{v}}_1,\dots ,{\mathbf{v}}_k)=\left\{\sum _{i=1}^k{c}_i{\mathbf{v}}_i:c_i\in \mathbb{R}\right\}$$

这是包含这些向量的最小子空间。

---

基与维数

线性无关

向量组 $\{{\mathbf{v}}_1,\dots ,{\mathbf{v}}_k\}$ 线性无关，若

$$c_1{\mathbf{v}}_1+c_2{\mathbf{v}}_2+\cdots +c_k{\mathbf{v}}_k=0\Rightarrow c_1=c_2=\cdots =c_k=0$$

否则称为线性相关。

基的定义

向量空间 $V$ 的基是满足两个条件的向量组 $\{{\mathbf{v}}_1,\dots ,{\mathbf{v}}_n\}$：

1. 线性无关
2. 张成 $V$（$\text{Span}=V$）

维数

基中向量的数量称为 $V$ 的维数 $\dim (V)$。

关键定理：同一向量空间的所有基都有相同数量的向量。

示例：

• ${\mathbb{R}}^2$：标准基 $\{{\mathbf{e}}_1=(1,0{)}^T,{\mathbf{e}}_2=(0,1{)}^T\}$，维数2
• ${\mathbb{R}}^n$：标准基 ${\mathbf{e}}_1,\dots ,{\mathbf{e}}_n$，维数 $n$
• 多项式空间 $\mathbb{R}[x{]}_{\le 2}$：基 $\{1,x,x^2\}$，维数3

坐标表示

给定基 $\{{\mathbf{v}}_1,\dots ,{\mathbf{v}}_n\}$，每个向量 $\mathbf{v}$ 唯一表示为：

$$\mathbf{v}=\sum _{i=1}^n{c}_i{\mathbf{v}}_i=V\mathbf{c}$$

其中 $V=[{\mathbf{v}}_1,\dots ,{\mathbf{v}}_n]$，$\mathbf{c}=(c_1,\dots ,c_n{)}^T$ 是坐标。

换基公式

若从基 $B_1$ 换到基 $B_2$（即 $B_2=B_{1}P$，$P$ 是过渡矩阵），则新坐标：

$${\mathbf{c}}_{B_2}=P^{-1}{\mathbf{c}}_{B_1}$$

---

矩阵的秩

行秩与列秩

矩阵 $A\in {\mathbb{R}}^{m\times n}$：

• 行秩：行向量的最大线性无关组大小
• 列秩：列向量的最大线性无关组大小

定理：行秩 = 列秩 = 矩阵的秩 $\text{rank}(A)$。

满秩矩阵

• $A\in {\mathbb{R}}^{n\times n}$ 满秩：$\text{rank}(A)=n$（即可逆）
• $A\in {\mathbb{R}}^{m\times n}$（$m<n$）：列满秩意味着秩 $m$

秩-零度定理

$$\text{rank}(A)+\text{nullity}(A)=n$$

其中 $\text{nullity}(A)=\dim (\text{null}(A))$ 是零空间的维数。

四个基本子空间

对于 $A\in {\mathbb{R}}^{m\times n}$：

子空间	定义	维数	在 ${\mathbb{R}}^{?}$ 中
列空间 $\text{Col}(A)$	$A$ 的列张成的空间	$\text{rank}(A)$	${\mathbb{R}}^m$
行空间 $\text{Row}(A)$	$A$ 的行张成的空间	$\text{rank}(A)$	${\mathbb{R}}^n$
零空间 $\text{Null}(A)$	$\{x:Ax=0\}$	$n-\text{rank}(A)$	${\mathbb{R}}^n$
左零空间 $\text{Null}(A^T)$	$\{y:A^{T}y=0\}$	$m-\text{rank}(A)$	${\mathbb{R}}^m$

正交关系：

• $\text{Col}(A)\perp \text{Null}(A^T)$
• $\text{Row}(A)\perp \text{Null}(A)$
• $\text{Row}(A)=\text{Col}(A^T)$
• $\text{Col}(A)\oplus \text{Null}(A^T)={\mathbb{R}}^m$
• $\text{Row}(A)\oplus \text{Null}(A)={\mathbb{R}}^n$

---

矩阵分解

LU 分解

$A=LU$，其中 L 是下三角矩阵，U 是上三角矩阵。

优点：加速求解多个右端项的方程组

QR 分解

$A=QR$，其中 Q 是正交矩阵，R 是上三角矩阵。

用途：最小二乘法、特征值计算

Gram-Schmidt过程：

给定线性无关向量 ${\mathbf{a}}_1,\dots ,{\mathbf{a}}_n$，构造正交基：

$$\begin{array}{rl}{\mathbf{u}}_1& ={\mathbf{a}}_1\\ {\mathbf{u}}_k& ={\mathbf{a}}_k-\sum _{i=1}^{k-1}\frac{{\mathbf{u}}_i^T{\mathbf{a}}_k}{{\mathbf{u}}_i^T{\mathbf{u}}_i}{\mathbf{u}}_i,k=2,\dots ,n\end{array}$$

归一化后得到 $Q$，$R$ 包含系数。

Cholesky 分解

对于对称正定矩阵 $A$：

$$A=L{L}^T$$

其中 $L$ 是下三角矩阵，对角线元素为正。

优势：相比LU分解，计算量约为一半
应用：协方差矩阵求逆、求解线性方程组

特征值分解（Eigendecomposition）

对于方阵 $A\in {\mathbb{R}}^{n\times n}$，若存在非零向量 $\mathbf{v}$ 和标量 $\lambda$ 使

$$A\mathbf{v}=\lambda \mathbf{v}$$

则 $\mathbf{v}$ 是特征向量，$\lambda$ 是特征值。

特征方程：

$$\det (A-\lambda I)=0$$

$A$ 可对角化当且仅当存在 $n$ 个线性无关的特征向量：

$$A=V\Lambda V^{-1}$$

奇异值分解（SVD）

$A=U\Sigma V^T$

• $U,V$ 是正交矩阵
• $\Sigma$ 是对角矩阵，对角线元素为奇异值

应用：降维、图像压缩、推荐系统

SVD的几何解释：任何线性变换都可以分解为旋转（$V^T$）→ 缩放（$\Sigma$）→ 旋转（$U$）。

截断SVD：保留前 $k$ 个奇异值，得到最佳秩 $k$ 近似：

$$A_k=\sum _{i=1}^k{\sigma }_i{\mathbf{u}}_i{\mathbf{v}}_i^T=\arg \underset{\text{rank}(B)\le k}{\min }\Vert A-B{\Vert }_F$$

---

特殊矩阵

对称矩阵

$A=A^T$。性质：

• 特征值都是实数
• 不同特征值对应的特征向量正交
• 可正交对角化：$A=Q\Lambda Q^T$

正交矩阵

$Q^{T}Q=Q{Q}^T=I$，即 $Q^{-1}=Q^T$。

• 保持内积：$(Q\mathbf{x}{)}^T(Q\mathbf{y})={\mathbf{x}}^T\mathbf{y}$
• 保持长度：$\Vert Q\mathbf{x}\Vert =\Vert \mathbf{x}\Vert$
• $\det (Q)=\pm 1$

正定矩阵

$A=A^T$，且 $\forall \mathbf{x}\ne 0,{\mathbf{x}}^{T}A\mathbf{x}>0$。

等价条件：

• 所有特征值 > 0
• 所有顺序主子式 > 0
• 存在可逆 $B$ 使 $A=B^{T}B$
• Cholesky分解存在

半正定：${\mathbf{x}}^{T}A\mathbf{x}\ge 0$，特征值 $\ge 0$。

稀疏矩阵

大部分元素为零的矩阵。存储格式：

• COO（Coordinate）：存储 (row, col, value) 三元组
• CSR（Compressed Sparse Row）：按行压缩
• CSC（Compressed Sparse Column）：按列压缩
• BSR（Block Sparse Row）：块稀疏

深度学习中嵌入层、注意力掩码常用稀疏表示。

Toeplitz矩阵

每条对角线上的元素相同：

$$T=\left(\begin{array}{cccc}{t}_0& t_{-1}& t_{-2}& \cdots \\ t_1& t_0& t_{-1}& \cdots \\ t_2& t_1& t_0& \cdots \\ ⋮& & & \ddots \end{array}\right)$$

卷积操作可表示为Toeplitz矩阵乘法（详见 machine-learning/cnn-mathematical-foundations.md）。

---

条件数与数值稳定性

向量和矩阵范数

向量范数：

$$\Vert \mathbf{x}{\Vert }_p={\left(\sum _i|x_i{|}^p\right)}^{1/p}$$

常用：$\Vert \mathbf{x}{\Vert }_1$（L1），$\Vert \mathbf{x}{\Vert }_2$（欧几里得），$\Vert \mathbf{x}{\Vert }_{\infty }$（最大元素）。

矩阵范数（诱导范数）：

\|A\|_p = \max_{\mathbf{x} \neq 0} \frac{\|A\mathbf{x}\|_p}{\|\mathbf{x}\|_p }$$ - $\|A\|_1 = \max_j \sum_i |a_{ij}|$（最大列和） - $\|A\|_\infty = \max_i \sum_j |a_{ij}|$（最大行和） - $\|A\|_2 = \sigma_{\max}(A)$（最大奇异值） **Frobenius范数**：

|A|F = \sqrt{\sum{i,j} a_{ij}^2} = \sqrt{\sum_i \sigma_i^2}

### 条件数 矩阵 $A$ 的**条件数**：

\kappa(A) = |A| \cdot |A^{-1}|

对于2-范数：$\kappa(A) = \sigma_{\max}(A) / \sigma_{\min}(A)$。 **意义**：条件数衡量**求解线性方程组的数值稳定性**。 - $\kappa(A) \approx 1$：良态 - $\kappa(A) \gg 1$：病态，误差放大 **对深度学习的启示**：病态矩阵导致梯度爆炸/消失，初始化和归一化是关键。 --- ## 矩阵微积分 ### 梯度 标量 $f$ 对向量 $\mathbf{x}$ 的梯度：

\nabla_{\mathbf{x}} f = \begin{pmatrix} \frac{\partial f}{\partial x_1} \ \vdots \ \frac{\partial f}{\partial x_n} \end{pmatrix}

### Jacobian矩阵 向量函数 $\mathbf{f}: \mathbb{R}^n \to \mathbb{R}^m$ 的Jacobian：

J = \frac{\partial \mathbf{f}}{\partial \mathbf{x}} = \begin{pmatrix}
\frac{\partial f_1}{\partial x_1} & \cdots & \frac{\partial f_1}{\partial x_n} \
\vdots & & \vdots \
\frac{\partial f_m}{\partial x_1} & \cdots & \frac{\partial f_m}{\partial x_n}
\end{pmatrix}

### Hessian矩阵 标量函数 $f$ 的Hessian：

H = \nabla^2 f = \begin{pmatrix}
\frac{\partial^2 f}{\partial x_1^2} & \cdots & \frac{\partial^2 f}{\partial x_1 \partial x_n} \
\vdots & & \vdots \
\frac{\partial^2 f}{\partial x_n \partial x_1} & \cdots & \frac{\partial^2 f}{\partial x_n^2}
\end{pmatrix}

### 关键求导法则 **链式法则**：

\frac{\partial f}{\partial \mathbf{x}} = \frac{\partial \mathbf{y}}{\partial \mathbf{x}} \frac{\partial f}{\partial \mathbf{y}}

$$\ast \ast 矩阵乘法\ast \ast ：$$

\frac{\partial}{\partial X} \text{tr}(X A X^T B) = B^T X A^T + B X A

$$\ast \ast 逆矩阵\ast \ast ：$$

\frac{\partial X^{-1}}{\partial X_{ij}} = -X^{-1} \mathbf{e}_i \mathbf{e}_j^T X^{-1}

详见 `math/linear-algebra-dl/matrix-calculus-deep-learning.md`。 --- ## 在计算机科学中的应用 ### 计算机图形学 - 3D变换：旋转、平移、缩放 - 投影：3D到2D的透视投影 - 坐标系统之间的变换 ### 机器学习 - 数据表示为矩阵 - 主成分分析（PCA）：协方差矩阵的特征值分解 - 线性回归：最小二乘法的矩阵形式 - 神经网络：矩阵乘法的并行计算 ### 计算机视觉 - 图像表示为矩阵 - 过滤器：矩阵卷积 - 立体匹配：几何变换 ### 密码学 - 矩阵在格密码中的应用 - 线性同余生成器 --- ## 深度学习专题 线性代数是深度学习的数学基石。以下专题深入探讨线性代数在深度学习中的应用： ### 专题文档 - [[linear-algebra-dl/attention-mechanism-linear-algebra|注意力机制的线性代数视角]] - QKV投影、注意力矩阵的秩结构 - [[linear-algebra-dl/eigenvalue-decomposition-neural-networks|特征值分解与神经网络]] - Hessian谱、动力系统分析 - [[linear-algebra-dl/svd-applications-deep-learning|SVD在深度学习中的应用]] - 低秩近似、模型压缩 - [[linear-algebra-dl/matrix-calculus-deep-learning|矩阵微积分]] - 反向传播的数学基础 - [[linear-algebra-dl/matrix-factorization-neural-networks|矩阵分解]] - 嵌入分解、推荐系统 - [[linear-algebra-dl/spectral-analysis-deep-learning|谱分析]] - 图傅里叶变换、谱卷积 - [[linear-algebra-dl/linear-algebra-deep-learning-perspective|深度学习视角的线性代数]] - 现代综述 - [[linear-algebra-dl/unified-matrix-framework-neural-architectures|统一矩阵框架]] - 不同架构的矩阵统一 ### 与Transformer的连接 Transformer的核心操作完全可以用线性代数语言描述： - **嵌入**：$\mathbf{X} = \text{Embedding}(\text{Token IDs}) \in \mathbb{R}^{n \times d}$ - **QKV投影**：$Q = XW_Q, K = XW_K, V = XW_V$ - **注意力矩阵**：$A = \text{softmax}(QK^T / \sqrt{d})$ - **注意力输出**：$Y = AV$ - **FFN**：$\text{FFN}(Y) = \sigma(Y W_1) W_2$ - **残差**：$X' = X + Y$ 这些操作的**矩阵秩**、**谱性质**、**条件数**对模型行为有深远影响。 ### 与CNN的连接 卷积操作可以表示为Toeplitz矩阵乘法。CNN的平移等变性等价于卷积核与平移群的对易关系。详见 `machine-learning/cnn-mathematical-foundations.md`。 --- ## 参考 [^1]: 参考《Linear Algebra Done Right》by Sheldon Axler 和《Introduction to Linear Algebra》by Gilbert Strang