II. 随机变量及其分布

本篇笔记主要介绍了随机变量及其分布的基本概念，包括离散型随机变量和连续型随机变量的定义、性质及其分布律。内容涵盖了两点分布、二项分布、泊松分布、均匀分布、指数分布和正态分布等重要分布类型，并详细阐述了每种分布的概率密度函数和分布函数的性质。通过这些内容，读者可以更好地理解随机变量的行为及其在概率论中的应用。（由 claude-3.5-sonnet 生成摘要）

离散型随机变量及其分布

• (随机变量) 设随机试验的样本空间为 $S = \{e\}$, $X = X(e)$ 是定义在样本空间 $S$ 上的实值单值函数，则称 $X = X(e)$ 为 随机变量。
• (概率分布函数) 设 $X$ 是一个随机变量，$x$ 是任意实数，称 $\displaystyle{F(x) = P\{X \leq x\}, -\infty < x < \infty}$ 为 $X$ 的 分布函数。
  • 对于任意实数 $x_1, x_2(x_1 < x_2)$，有 $P\{x_1 < X \leq x_2\} = P\{X \leq x_2\} - P\{X \leq x_1\} = F(x_2) - F(x_1)$。
• (离散型随机变量) 称取值至多可数的随机变量为 离散型随机变量。
• (分布律) 设离散型随机变量 $X$ 所有可能取的值为 $x_k (k = 1,2,...)$，$X$ 取各个可能值的概率，即事件 $\{X = x_k\}$ 的概率，为离散型随机变量 $X$ 的 分布律：$P\{X=x_{k}\}=p_{k},\space k=1,2,\ldots$。
  • (分布律的基本性质)
    • $p_{k} \geq 0,\space k=1,2,\ldots$
    • $\sum_{k=1}^{\infty} p_{k} = 1$
  • 分布律也可以以表格的形式表示。
• (两点分布) 设随机变量 $X$ 服从以 $p\ (0<p<1)$ 为参数的 (0-1) 分布 或 两点分布，记为 $X\sim B(1,p)$，则 $X$ 只能取 $0$ 或 $1$ 两个值。
  • 分布律：$P\{X=k\}=p^{k} (1-p)^{1-k}\ (k\in \{ 0,1 \})$（即 $k=1$ 的概率为 $p$，$k=0$ 的概率为 $1-p$）
  • (伯努利实验) 设试验 $E$ 只有两个可能结果：$A$ 及 $\bar{A}$，则称 $E$ 为 伯努利试验。设 $P(A) = p\space (0 < p < 1)$，则 $P(\bar{A} )= 1 - p$。
• (二项分布) 设随机变量 $X$ 服从以 $p,n\ (0<p<1,\ n\in \mathbb{N}_{+})$ 为参数的 二项分布，记为 $X \sim B(n,p)$。
  • 分布律：$\displaystyle{P\{ X=k \}=\binom nk p^{k} (1-p)^{n-k}}$
  • ($n$ 重伯努利试验) 将伯努利实验独立重复地进行 $n$ 次，称这一串重复的独立试验为 $\boldsymbol{n}$ 重伯努利试验。
• (泊松分布) 设随机变量 $X$ 服从参数为 $\lambda\ (\lambda>0)$ 的 泊松分布，记为 $X\sim \Pi(\lambda)$ 或 $X\sim P(\lambda)$。
  • 分布律：$\displaystyle{P\{X = k\} = \frac{\lambda^k e^{-\lambda}}{k!},\quad k=0,1,2,\cdots}$
    • $\displaystyle{\sum_{k=0}^{\infty} P\{X = k\} = \sum_{k=0}^{\infty} \frac{\lambda^k}{k!} = e^{-\lambda} \sum_{k=0}^{\infty} \frac{\lambda^k}{k!} = e^{-\lambda} e^{\lambda} = 1}$
  • (泊松定理) 设 $\lambda>0$ 是一个常数，$n$ 是任意正整数，设 $np_{n} = \lambda$，则对于任意固定的非负整数 $k$，有 $\displaystyle{\lim_{n \to \infty} \binom{n}{k} p_n^k (1-p_n)^{n-k} = \frac{\lambda^k e^{-\lambda}}{k!}}$。也就是说以 $n,p$ 为参数的二项分布的概率值可以由参数为 $\lambda=np$ 的泊松分布的概率值近似。

连续型随机变量及其分布

• (概率密度函数) 如果对于随机变量 $X$ 的分布函数 $F(x)$，存在非负函数 $f(x)$ 使对于任意实数 $x$ 有 $\displaystyle{F(x) = \int_{-\infty}^x f(t)\text dt}$。则称 $X$ 为 连续型随机变量，其中函数 $f(x)$ 称为 $X$ 的 概率密度函数，简称 概率密度。
  • (概率密度函数的基本性质)
    • $f(x)\geq0$
    • $\displaystyle{\int_{-\infty}^{\infty} f(x) \text{d}x} = 1$
    • 对于任意实数 $x_{1},x_{2}\ (x_{1}\leq x_{2})$，有 $\displaystyle{ P\{x_1 < X \leq x_2\} = F(x_2) - F(x_1) = \int_{x_1}^{x_2} f(x)\text dx}$
    • 若 $f(x)$ 在点 $x$ 处连续，则 $F'(x) = f(x)$。
• (均匀分布) 设连续型随机变量 $X$ 在区间 $(a,b)$ 上服从 均匀分布，记为 $X \sim U(a,b)$。
  • 概率密度函数：$\displaystyle{f(x) = \begin{cases}\dfrac{1}{b-a} & a < x < b, \\ 0 & \text{other.}\end{cases}}$
  • 概率分布函数：$\displaystyle{F(x) = \begin{cases}0 & x < a, \\\dfrac{x-a}{b-a} & a \leq x < b, \\1 & x \geq b.\end{cases}}$
• (指数分布) 设连续型随机变量 $X$ 服从参数为 $\lambda\ (\lambda>0)$ 的 指数分布，记为 $X \sim \operatorname*{Exp}(\lambda)$ 或 $X \sim E(\lambda)$。
  • 概率密度函数：$\displaystyle{f(x) = \begin{cases}\lambda e^{- x \lambda} & x > 0,\\0 & x \leq 0.\end{cases}}$
  • 概率分布函数：$\displaystyle{F(x) = \begin{cases}1 - e^{-x \lambda} & x > 0 ,\\0 & x \leq 0.\end{cases}}$
  • 期望：$E(X)=\dfrac{1}{\lambda}$；方差 $D(X)=\dfrac{1}{\lambda^{2}}$。
  • $k$ 阶（原点）矩：$E(X^{k})=\dfrac{k!}{\lambda^{k}}$。
  • (指数分布的无记忆性) 设 $X$ 服从指数分布，则 $\forall s, t > 0$，有 $P\{X > s + t|X > s\} = P\{X > t\}$，这种性质称为 无记忆性。
    • 如果 $X$ 表示元件寿命，无记忆性说明只要元件还没坏掉，那么元件剩余寿命仍服从参数为 $\lambda$ 的指数分布。
• 设连续型随机变量 $X$ 服从参数为 $\mu,\sigma^{2}\ (\sigma>0)$ 的 正态分布 或 高斯分布，记为 $X \sim N(\mu, \sigma^{2})$。
  • 概率密度函数：$\displaystyle{f(x) = \frac{1}{\sqrt{2\pi}\sigma} e^{-\frac{(x-\mu)^2}{2\sigma^2}},\ -\infty < x < \infty}$
  • • $f(x)$ 关于直线 $x=\mu$ 对称。
    • $f_{\max} = f(\mu) = \dfrac{1}{\sqrt{2\pi}\sigma}$
    • $\displaystyle{\lim_{ |x-\mu| \to \infty } f(x) = 0}$
    • 推论：$E(X^2)=\mu^{2} + \sigma^{2}$。
  • 当固定 $\sigma$，调整 $\mu$ 时，函数图像可以看作沿着 $x$ 轴的平移变换；当固定 $\mu$ 调整 $\sigma$ 时，函数图像可以看做 $y$ 轴方向上的拉伸变换，且 $\sigma$ 越小，图形越高越瘦，$\sigma$ 越大，图形越矮越胖。
  • 设 $\displaystyle{\Phi(x) = \frac{1}{\sqrt{2\pi}}\int_{-\infty}^x e^{-t^2/2}dt}$，则 $P(X\leq b) = \Phi \left( \dfrac{b-\mu}{\sigma} \right)$。当 $X \sim N(\mu,\sigma)$ 时 $\dfrac{X-\mu}{\sigma} \sim N(0,1)$，故 $\Phi(x)$ 是常值函数。
    • 需背诵：$\Phi(0) = 0.5$，$\Phi(1) = 0.8413$，$\Phi(2) = 0.9772$，$\Phi(3) = 0.9987$。
    • $\Phi(-x) = 1-\Phi(x)$。
  • 若 $X \sim N(\mu,\sigma^{2})$，$Y=aX + b$，则 $Y \sim N(a \mu +b, a^{2} \sigma^{2})$。
• 设随机变量 $X$ 具有概率密度 $f_X(x)$, $-\infty < x < \infty$, 又设函数 $g(x)$ 处处可导且恒有 $g'(x) > 0$ (或恒有 $g'(x) < 0$), 则 $Y = g(x)$ 是连续型随机变量，且其概率密度为 $\displaystyle{f_Y(y) = \begin{cases}f_X[h(y)]|h'(y)|, & \alpha < y < \beta ,\\0, & \text{other.}\end{cases}}$ 其中 $h(y)$ 是 $g(x)$ 的反函数，$\alpha = \min\{g(-\infty), g(+\infty)\}$, $\beta = \max\{g(-\infty), g(+\infty)\}$。
  • 解决类似问题，关键在于找等价事件。在这一过程中，常常需要通过转化成概率分布函数作为媒介。