V. 大数定律及中心极限定理

本篇笔记介绍了概率论中两个重要的极限定理。首先讨论了大数定律，包括依概率收敛的定义、弱大数定律、辛钦大数定律和伯努利大数定律，以及证明这些定理所需的马尔科夫不等式和切比雪夫不等式。随后介绍了中心极限定理，重点阐述了独立同分布的中心极限定理及其特例棣莫弗-拉普拉斯定理，这些定理揭示了大量独立随机变量之和的概率分布趋近于正态分布的性质。（由 claude-3.5-sonnet 生成摘要）

大数定律

• (依概率收敛) 对于随机变量序列 $Y_{1},Y_{2},\cdots$，若存在某常数 $c$ 使得 $\forall \varepsilon>0$，均有：$\displaystyle{\lim_{ n \to +\infty } P\left\{ \left| Y_{n}-c \right| \geq \varepsilon \right\}} = 0$，则称 $\{ Y_{n},n\geq1 \}$ 依概率收敛 于常数 $c$，记为：当 $n\to+\infty$ 时，$Y_{n} \stackrel{P}\longrightarrow c$。
  • 若 $X_n \stackrel{P}\longrightarrow a$，$f(x)$ 在点 $a$ 连续，则当 $n\to+\infty$ 时，$f(X_{n}) \stackrel{P}\longrightarrow f(a)$。
  • 若 $X_{n} \stackrel{P}\longrightarrow a$，$Y_{n} \stackrel{P}\longrightarrow b$，$g$ 在 $(a,b)$ 连续，则 $g(X_{n},Y_{n}) \stackrel{P}\longrightarrow g(a,b)$。
• (弱)大数定律 设 $\{ X_{n},n\geq1 \}$ 为随机变量序列，若存在常数序列 $\{ c_{n},n\geq1 \}$，使得当 $n\to+\infty$ 时，$\displaystyle{\dfrac{1}{n} \sum_{i=1}^{n} X_{i}-c_{n} \stackrel{P}{\longrightarrow} 0}$。即 $\forall \varepsilon>0$，有 $\displaystyle{\lim_{ n \to \infty } P\left\{ \left| \dfrac{1}{n} \sum_{i=1}^{n} X_{i} - c_{n} \right| \right\} \geq \varepsilon = 0}$，则称 $\{ X_{n},n\geq1 \}$ 服从弱大数定律。
• (辛钦大数定律) 设随机变量序列 $\{ X_{n},n\geq1 \}$ 独立同分布且具有相同的数学期望 $E(X_{k})=\mu$，则序列的平均值 $\displaystyle{\overline{X} = \dfrac{1}{n} \sum_{k=1}^{n} X_{k}}$ 依概率收敛于 $\mu$，即 $\overline{X} \stackrel{P}{\longrightarrow} \mu$。
• (伯努利大数定律) 设 $n_{A}$ 是 $n$ 次独立重复实试验中事件 $A$ 发生的次数，$p$ 是事件 $A$ 在每次试验中发生的概率，则有：当 $n\to+\infty$ 时，$\dfrac{n_{A}}{n} \stackrel{P}{\longrightarrow} p$。
• (马尔科夫不等式) （不考）设随机变量 $Y$ 的 $k$ 阶矩存在（$k\geq1$），则对于任意 $\varepsilon>0$，都有 $\displaystyle{P\{ |Y|\geq \varepsilon\}}\leq \dfrac{E(|Y|^{k})}{\varepsilon^{k}}$ 成立。
  • 等价形式：$\displaystyle{P\left\{\left|Y\right|<\varepsilon\right\}\geq1-\frac{E(\left|Y\right|^k)}{\varepsilon^k}}$。
• (切比雪夫不等式) 设 $X$ 的方差 $D(X)$ 存在，则对于任意 $\varepsilon>0$ 都有：$P\{ |X-E(X)| \geq \varepsilon \} \leq \dfrac{D(X)}{\varepsilon^{2}}$。
  • 等价形式：$P\{ |X-E(X)| < \varepsilon \} \geq 1 -\dfrac{D(X)}{\varepsilon^{2}}$。

证明切比雪夫大数定律

设 $\{ X_{n},n\geq1 \}$ 相互独立且具有相同的期望 $\mu$ 和相同的方差 $\sigma^{2}$，证明：当 $n\to+\infty$ 时，$\displaystyle{\dfrac{1}{n} \sum_{i=1}^{n} X_{i} \stackrel{P}{\longrightarrow} \mu}$。

证明

中心极限定理

• (独立同分布的中心极限定理) 设随机序列 $\{ X_{n},n\geq1 \}$ 独立同分布，$E(X_{i})=\mu$，$D(X_{i})=\sigma^{2}$，则对任意实数 $x$，$\displaystyle{\lim_{ n \to \infty } P\left\{ \dfrac{ \sum_{i=1}^{n} X_{i}-n\mu }{\sqrt{n} \sigma} \leq x \right\} = \int_{-\infty}^{x} \dfrac{1}{\sqrt{2\pi}} e^{-t^{2}/2} \text{d} t = \Phi(x) }$。
  • 因此当 $n$ 充分大时，$\displaystyle{\dfrac{1}{n} \sum_{i=1}^{n} X_{i} \sim N\left( \mu, \dfrac{\sigma^{2}}{n}\right)}$。
  • (棣莫弗—拉普拉斯中心极限定理) 当 $n$ 充分大时，$B(n,p) \sim N(np,np(1-p))$。