抽样分布基础 (Foundations of Sampling)

总体与样本

总体（Population） 是研究对象的全体，其数量特征由概率分布描述。设总体服从分布 $F (x; θ)$ ，其中 $θ$ 为未知参数。

样本（Sample） 是从总体中随机抽取的部分观测值。设 $X_{1}, X_{2}, \dots, X_{n}$ 为来自总体 $F (x; θ)$ 的简单随机样本，则：

样本是进行统计推断的基石。

统计量（Statistic） 是样本 $X_{1}, X_{2}, \dots, X_{n}$ 的函数 $T = T (X_{1}, X_{2}, \dots, X_{n})$ ，且不包含任何未知参数。

常见统计量包括：

注意：统计量完全由样本决定，不依赖于任何未知参数。因此，我们可以根据样本直接计算统计量的值。

设 $X_{1}, X_{2}, \dots, X_{n}$ 为总体 $F (x)$ 的样本，将它们按从小到大排列：

X_{(1)} \leq X_{(2)} \leq \dots \leq X_{(n)}

经验分布函数（Empirical Distribution Function, EDF） 定义为：

F_{n} (x) = \frac{1}{n} i = 1 \sum n 1_{{X_{i} \leq x}}

其中 $1_{{X_{i} \leq x}}$ 为示性函数，当 $X_{i} \leq x$ 时取值为 1，否则为 0。

物理意义： $F_{n} (x)$ 表示样本中不超过 $x$ 的观测值所占的比例，是总体分布函数 $F (x)$ 的自然估计。

$k$ 阶原点矩（ $k$ -th Raw Moment）：

m_{k} = \frac{1}{n} i = 1 \sum n X_{i}^{k}

$k$ 阶中心矩（ $k$ -th Central Moment）：

M_{k} = \frac{1}{n} i = 1 \sum n (X_{i} - \overset{ˉ}{X})^{k}

$k = 2$ 时， $M_{2} = \frac{1}{n} \sum_{i = 1}^{n} (X_{i} - \overset{ˉ}{X})^{2}$ （样本方差分母为 $n$ ，而非 $n - 1$ ）

注意：样本矩与总体矩相对应。当样本容量足够大时，样本矩依概率收敛于相应的总体矩，这正是矩估计法的理论依据。

格利文科-坎泰利定理（Glivenko-Cantelli Theorem） 是经验分布函数理论的核心结果：

设 $X_{1}, X_{2}, \dots, X_{n}$ 为来自总体分布 $F (x)$ 的简单随机样本， $F_{n} (x)$ 为经验分布函数，则：

P (n \to \infty lim x \in R sup ∣ F_{n} (x) - F (x) ∣ = 0) = 1

定理含义：

直观理解：随着样本量增加，样本中各观测值出现的频率逐渐逼近总体各区间对应的概率。

应用价值：该定理为数理统计中的许多非参数方法提供了理论基础，表明用样本推断总体是可靠的。