线性代数基础

概述

线性代数是研究向量空间和线性映射的数学分支，在计算机科学的许多领域都有重要应用，包括计算机图形学、机器学习、计算机视觉和密码学。¹

---

向量

定义

向量（Vector）是具有大小和方向的数学对象。n 维向量是有序的 n 个数的集合：

$\vec{v}=\left(\begin{array}{c}{v}_1\\ v_2\\ ⋮\\ v_n\end{array}\right)$

向量运算

运算	定义	几何意义
加法	$\vec{u}+\vec{v}=(u_1+v_1,u_2+v_2,...)$	平行四边形对角线
数乘	$k\vec{v}=(k{v}_1,k{v}_2,...)$	缩放向量长度
点积	$\vec{u}\cdot \vec{v}=\sum u_i{v}_i$	投影长度
叉积（3D）	$\vec{u}\times \vec{v}$	垂直于两向量的新向量

点积的几何意义

$\vec{u}\cdot \vec{v}=|\vec{u}||\vec{v}|\cos \theta$

其中 $\theta$ 是两向量夹角。当 $\cos \theta =1$（同向）时点积最大，$\cos \theta =-1$（反向）时点积最小。

---

矩阵

定义

矩阵（Matrix）是按矩形排列的数表：

$A=\left(\begin{array}{cccc}{a}_{11}& a_{12}& \cdots & a_{1n}\\ a_{21}& a_{22}& \cdots & a_{2n}\\ ⋮& ⋮& \ddots & ⋮\\ a_{m1}& a_{m2}& \cdots & a_{mn}\end{array}\right)$

• m × n 矩阵：m 行，n 列
• 方阵：m = n
• 单位矩阵 I：对角线为1，其余为0

矩阵运算

运算	定义
加法	同维度矩阵对应元素相加
数乘	每个元素乘以标量
矩阵乘法	$(AB{)}_{ij}={\sum }_k{a}_{ik}{b}_{kj}$
转置	$A^T$：行变成列
逆矩阵	$A^{-1}$：满足 $A{A}^{-1}=I$

矩阵乘法的性质

┌─────────────────────────────────────┐
│  矩阵乘法：                          │
│                                      │
│      A(m×k)  ×  B(k×n)  =  C(m×n)  │
│                                      │
│  维度必须匹配：                       │
│  A的列数 = B的行数                   │
└─────────────────────────────────────┘

注意：矩阵乘法通常不满足交换律：$AB\ne BA$

特殊矩阵

类型	定义	性质
对称矩阵	$A=A^T$	$a_{ij}=a_{ji}$
反对称矩阵	$A=-A^T$	$a_{ij}=-a_{ji}$
正交矩阵	$Q^{T}Q=I$	行向量两两正交且单位长
稀疏矩阵	大部分元素为零	节省存储

---

行列式

定义

行列式（Determinant）是将方阵映射到标量的函数：

$\det (A)=|A|$

对于 2×2 矩阵：
$\det \left(\begin{array}{cc}a& b\\ c& d\end{array}\right)=ad-bc$

几何意义

行列式的绝对值等于矩阵列向量张成的平行六面体的体积。

行列式的性质

性质	说明
$\det (AB)=\det (A)\det (B)$	乘积的行列式
$\det (A^T)=\det (A)$	转置不变
$\det (A^{-1})=1/\det (A)$	逆的行列式
$\det (kA)=k^n\det (A)$	n 阶矩阵

行列式与可逆性

$\det (A)\ne 0⟺A\text{ 可逆}$

---

线性方程组

高斯消元法

将增广矩阵化为行阶梯形式：

原始方程组：                消元过程：
2x + y - z = 8    →       2x + y - z = 8
-3x - y + 2z = -11 →            -3x - y + 2z = -11
x + 2y + z = 3     →              x + 2y + z = 3

行阶梯形式：
2x +  y - z = 8
   -3/2y + 1/2z = 5
          9/4z = 9

矩阵表示

$A\vec{x}=\vec{b}$

解为：
$\vec{x}=A^{-1}\vec{b}(\text{当 }A\text{ 可逆时})$

---

特征值与特征向量

定义

对于方阵 $A$，如果存在标量 $\lambda$ 和非零向量 $\vec{v}$ 使得：

$A\vec{v}=\lambda \vec{v}$

则：

• $\lambda$ 是特征值（Eigenvalue）
• $\vec{v}$ 是特征向量（Eigenvector）

几何意义

特征向量表示矩阵变换后方向不变的向量，特征值表示该方向的缩放因子。

特征方程

$\det (A-\lambda I)=0$

展开后得到 $\lambda$ 的多项式，解得特征值。

性质

性质	说明
$\sum {\lambda }_i=\text{tr}(A)$	特征值之和 = 矩阵的迹
$\prod {\lambda }_i=\det (A)$	特征值之积 = 行列式
$A^k\vec{v}={\lambda }^k\vec{v}$	特征向量的幂

---

正交性与投影

向量的正交

两向量 $\vec{u},\vec{v}$ 正交当且仅当 $\vec{u}\cdot \vec{v}=0$。

投影

向量 $\vec{b}$ 到向量 $\vec{a}$ 的投影：

${\text{proj}}_{\vec{a}}\vec{b}=\frac{\vec{a}\cdot \vec{b}}{\vec{a}\cdot \vec{a}}\vec{a}$

最小二乘法

用于求解超定方程组 $A\vec{x}\approx \vec{b}$：

$A^{T}A\vec{x}=A^T\vec{b}$

---

矩阵分解

LU 分解

$A=LU$，其中 L 是下三角矩阵，U 是上三角矩阵。

优点：加速求解多个右端项的方程组

QR 分解

$A=QR$，其中 Q 是正交矩阵，R 是上三角矩阵。

用途：最小二乘法、特征值计算

奇异值分解（SVD）

$A=U\Sigma V^T$

• $U,V$ 是正交矩阵
• $\Sigma$ 是对角矩阵，对角线元素为奇异值

应用：降维、图像压缩、推荐系统

---

在计算机科学中的应用

计算机图形学

• 3D变换：旋转、平移、缩放
• 投影：3D到2D的透视投影
• 坐标系统之间的变换

机器学习

• 数据表示为矩阵
• 主成分分析（PCA）：协方差矩阵的特征值分解
• 线性回归：最小二乘法的矩阵形式
• 神经网络：矩阵乘法的并行计算

计算机视觉

• 图像表示为矩阵
• 过滤器：矩阵卷积
• 立体匹配：几何变换

密码学

• 矩阵在格密码中的应用
• 线性同余生成器

---

参考

Footnotes

1. 参考《Linear Algebra Done Right》by Sheldon Axler 和《Introduction to Linear Algebra》by Gilbert Strang ↩