次序统计量 (Order Statistics)

基本定义

设 $X_1,X_2,\dots ,X_n$ 为来自总体 $F(x)$ 的简单随机样本，将它们按从小到大排列：

$$X_{(1)}\le X_{(2)}\le \cdots \le X_{(n)}$$

次序统计量（Order Statistic） 定义为：

$$X_{(k)}=\text{第 }k\text{ 小的观测值}$$

特别地：

• $X_{(1)}=\min (X_1,\dots ,X_n)$：最小值（极小值）
• $X_{(n)}=\max (X_1,\dots ,X_n)$：最大值（极大值）
• $X_{(1)}$ 与 $X_{(n)}$ 合称极值（Extremes）

常见次序统计量

样本中位数

当 $n$ 为奇数时，样本中位数为 $X_{((n+1)/2)}$。

当 $n$ 为偶数时，样本中位数为中间两个数的平均：

$$\text{Median}=\frac{X_{(n/2)}+X_{(n/2+1)}}{2}$$

中位数是位置特征的稳健估计，不受极端值影响。

样本极差

样本极差（Sample Range） 定义为：

$$R=X_{(n)}-X_{(1)}=\max (X_i)-\min (X_i)$$

极差反映了样本的离散程度，但仅利用了最大值和最小值的信息。

$k$-次序统计量

第 $k$ 个次序统计量 $X_{(k)}$ 包含了样本中第 $k$ 小的观测值信息。

单个次序统计量的密度函数

设总体 $X$ 的概率密度函数为 $f(x)$，分布函数为 $F(x)$，则第 $k$ 个次序统计量 $X_{(k)}$ 的概率密度函数为：

$$f_{X_{(k)}}(x)=\frac{n!}{(k-1)!(n-k)!}[F(x){]}^{k-1}[1-F(x){]}^{n-k}f(x)$$

推导思路：$X_{(k)}=x$ 意味着恰好有 $k-1$ 个观测值小于 $x$，1 个观测值等于 $x$，$n-k$ 个观测值大于 $x$。

极值的密度函数

最小值 $X_{(1)}$ 的密度函数：

$$f_{X_{(1)}}(x)=n[1-F(x){]}^{n-1}f(x)$$

最大值 $X_{(n)}$ 的密度函数：

$$f_{X_{(n)}}(x)=n[F(x){]}^{n-1}f(x)$$

联合密度函数

全体次序统计量 $(X_{(1)},X_{(2)},\dots ,X_{(n)})$ 的联合密度函数为：

$$f_{X_{(1)},\dots ,X_{(n)}}(x_1,\dots ,x_n)=n!\prod _{i=1}^{n}f(x_i),x_1<x_2<\cdots <x_n$$

其中 $n!$ 来自 $n$ 个观测值排列顺序的数目。

注意：联合密度仅在 $x_1<x_2<\cdots <x_n$ 时非零。

在非参数统计中的应用

次序统计量在非参数统计中有广泛的应用：

顺序统计量秩

样本观测值的**秩（Rank）**定义为：

$$R_i=\sum _{j=1}^n{1}_{\{X_j\le X_i\}}$$

即 $X_i$ 在样本中的排名。秩是许多非参数检验的核心。

秩统计量

基于秩构造的统计量称为秩统计量，例如：

• Wilcoxon 符号秩检验
• Kruskal-Wallis 检验

分位数估计

样本分位数 ${\hat{x}}_p$ 定义为满足 $F_n({\hat{x}}_p)\ge p$ 的最小值，即：

$${\hat{x}}_p=X_{(\lceil np\rceil )}$$

其中 $\lceil \cdot \rceil$ 为上取整函数。

置信区间

利用次序统计量可以构造参数的非参数置信区间（见 区间估计）。

示例：均匀分布次序统计量

设 $X_1,\dots ,X_n\sim U(0,1)$，则 $X_{(k)}$ 的密度函数为：

$$f_{X_{(k)}}(x)=\frac{n!}{(k-1)!(n-k)!}{x}^{k-1}(1-x{)}^{n-k},0<x<1$$

即 $X_{(k)}\sim \text{Beta}(k,n-k+1)$。

期望：

$$E[X_{(k)}]=\frac{k}{n+1}$$

相关章节

• 抽样分布基础：统计量的基本概念
• 区间估计：次序统计量在置信区间构造中的应用
• 充分性与数据压缩：充分统计量与次序统计量的联系