常见分布及其近似：几何分布、二项分布、泊松分布

发表于 2025-04-10 分类于数学，统计学本文字数： 1.4k

几何分布

进行多次相互独立的实验，每次成功的概率是 $p$ ，则达到一次成功所需要的实验次数的分布 $P (X)$ 可以表示为（实验 $r$ 次需要 $r - 1$ 次失败和 1 次成功）：

P (X = r) = p (1 - p)^{r - 1}

P (X > r) = (1 - p)^{r}

P (X \leq r) = 1 - (1 - p)^{r}

记作 $X \sim Geo (p)$

E (X) = \frac{1}{p}

\begin{array}{r} Var (X) = \frac{1 - p}{p^{2}} \end{array}

$p$ 低，分布更平，更可能导致更多的实验次数； $p$ 高，分布更陡，更可能在前几次就成功；

记 $X$ 为 $n$ 次伯努利实验中成功的次数， $p$ 为试验成功的概率，则成功次数 $X$ 服从以下分布：

P (X = r) = C_{n}^{r} p^{r} (1 - p)^{n - r}, r = 0, 1, 2, . . . n

记作 $X \sim B (n, p)$ 或者 $X \sim Binomial (n, p)$

E (X) = n p

Var (X) = n p (1 - p)

$p$ 越小，分布的峰值越偏左，集中在小值。 $p = 0.5$ 时分布对称。

伯努利分布是二项分布的特例：

Bernoulli (p) = Binomial (n = 1, p)

$X$ 表示伯努利试验有没有发生我们关心的事件。概率质量函数：

P (X = x) = p^{x} (1 - p)^{1 - x}, x \in {0, 1}, 0 \leq p \leq 1

常见于二分类问题中：

只要满足这两点，原本的 PMF 就自动变成了似然：

L (p ∣ x) = p^{x} (1 - p)^{1 - x} .

而对这个似然取对数就变成了交叉熵：

\log L (p ∣ x) = x \log p + (1 - x) \log (1 - p)

已知某个区间内，事件平均发生的次数 $λ$ （非负实数，不一定得是整数），用 $X$ 表示给定区间内事件发生的次数，则 $X$ 服从泊松分布

P (X = r) = \frac{e^{- λ} λ^{r}}{r!}

$λ^{r}$ ：表示事件同时发生 $r$ 次的强度；
$\frac{1}{r!}$ ：发生 $r$ 次事件有很多顺序组合，而这些事件又是等价的，所以除以 $r!$ 来消重。
$e^{- λ}$ ：是个归一化因子，用来确保所有可能值的概率总和是 1。它可以理解为“没有任何事件发生”的基本概率，也叫“零事件概率”。把 $e^{- λ}$ 提到外面：
$e^{- λ} \sum_{r = 0}^{\infty} \frac{λ^{r}}{r!}$
而这正是指数函数的泰勒级数展开式：
$\sum_{r = 0}^{\infty} \frac{λ^{r}}{r!} = e^{λ}$
所以，
$e^{- λ} \cdot e^{λ} = 1$
这说明整个概率分布是归一化的 —— 所有可能事件的概率加起来正好是 1。

记作 $X \sim Po (λ)$ ：

E (X) = λ

Var (X) = λ

$λ$ 越小，事件发生的次数更集中在较小值，分布偏左，反之偏右。

当 $n$ 很大且 $p$ 很小时， $X \sim Po (n p)$ 可以用于近似替代 $X \sim B (n, p)$

比如 $n > 50$ 且 $p < 0.1$ ，此时近似的泊松分布 $λ = 5$ 。

Note

泊松分布可以由二项分布推导出来

设二项分布：

P (X = r) = C_{n}^{r} p^{r} (1 - p)^{n - r}

如果我们令：

就可以推导出：

\begin{aligned} P (X = r) = & (\binom{n}{r}) {(\frac{λ}{n})}^{r} {(1 - \frac{λ}{n})}^{n - r} \\ = & \frac{λ^{r}}{r!} {(1 - \frac{λ}{n})}^{n - r} & / / lim_{n \to \infin} (\binom{n}{r}) = \frac{n^{r}}{r!} \\ = & \frac{λ^{r}}{r!} {(1 - \frac{λ}{n})}^{n} \cdot {(1 - \frac{λ}{n})}^{- r} \\ = & \frac{λ^{r}}{r!} e^{- λ} {(1 - \frac{λ}{n})}^{- r} & / / lim_{n \to \infty} {(1 - \frac{λ}{n})}^{n} = e^{- λ} \\ = & \frac{e^{- λ} λ^{r}}{r!} & / / lim_{n \to \infty} {(1 - \frac{λ}{n})}^{- r} \to 1 \end{aligned}

当二项分布近似于对称时，可以用 $X \sim N (n p, n p (1 - p))$ 来近似二项分布 $X \sim B (n, p)$ 。常见的条件是成功次数和失败的次数都要足够多，才能保持分布是大致对称的：

n p \geq 5 \and n (1 - p) \geq 5

当泊松分布的参数 $λ$ 足够大时（通常 $λ \geq 10$ ），此时泊松分布趋近对称，可以用 $X \sim N (λ, λ)$ 近似 $X \sim P o (λ)$ 。

在用正态分布近似离散分布时，要进行连续修正：