离散的概率分布
Basic Concept
$x$: random variable. 其中 $x \in \mathbb{R} \quad or \quad x \in \mathbb{Z}$
$P(x=k)=a$: 对于$x=k$这个事件, 他的概率为$a$. 需要注意, 任何事件的概率均大于等于0且小于等于一.
举个例子, x: outcome of coin tossing. tail:0, head:1.
$$P(x=0)=\frac{1}{2}, \quad P(x=1)=\frac{1}{2}$$
需要注意的是, 对于一个离散的概率分布, 所有事件的概率之和一定为1, 即:
$$\sum_{i=-\infty}^{\infty} P(x=i) = 1$$
这个通常会作为检验一个概率分布是否有效的方式.
Expectation(期望): $\mathbb{E}[X]=\sum\limits_{i}i\times P(x=i)$
Variance(方差): $Var(X) = \mathbb{E}[x^2]-\mathbb{E}[x]^2$. 需注意,
$$\mathbb{E}[f(x)]=\sum\limits_{i}f(i)P(x=i)$$
也就是说, $\mathbb{E}[x^2] = \sum\limits_{i}x^2P(x=i)$
Mode/Modal Value (众数): $P(X=x)$ 取最大值时的x的值.
期望和方差的代数关系 (a, b, c均为常数)
$$\mathbb{E}[aX+bY+c]=a\mathbb{E}[X]+b\mathbb{E}[Y]+c$$
$$Var(aX+b)=a^2Var(x)$$
当X和Y两个事件均独立时:
$$\mathbb{E}[XY]=\mathbb{E}[X] \times \mathbb{e}[Y]$$
$$Var(aX+bY+c)=a^2Var(X)+b^2Var(Y)$$
Binomial Distribution
Symbol: $x \sim B(n,p)$, 其中$n \in \mathbb{N}$, $P \in (0,1)$, $x \in \{0, 1, …, n \}$. $\sim$ 的意思是“分布”.
Definition: $P(x=r)= {n\choose r} p^r (1-p)^{n-r}$
Expectation: $\mathbb{E}[x]=np$ 证明:
$$\begin{equation}
\begin{aligned}
Var(x)&= \sum_{r=0}^{n} r \cdot P(x=r) \\
&= \sum_{r=0}^{n} r \cdot \frac{n!}{r!(n-r)!} p^{r}(1-p)^{n-r} \\
&= np\sum_{r=1}^{n} \frac{(n-1)!}{(r-1)!(n-r)!}p^{r-1}(1-p)^{n-r} \\
&= np \cdot (1-p+p)^{n-1} \\
&=np
\end{aligned}
\end{equation}
$$
Variance: $Var(x)=np(1-p)$ 证明方式同上
Poisson Distribution
Symbol: $x \sim Po(\lambda)$, 在给定的”间隔”内事件的出现次数. 其中 $x \in \{1, 2, …, n \}$.
Definition: $P(x=r)= e^{-\lambda} \cdot \frac{\lambda^r}{r!}$ 检验:
$$\begin{equation}
\begin{aligned}
\sum_{r=0}^{\infty} P(x=r)&= \sum_{r=0}^{\infty} e^{-\lambda} \frac{\lambda^r}{r!} \\
&= e^{-\lambda} \sum_{r=0}^{\infty}\frac{\lambda^r}{r!} \\
&= e^{-\lambda} \cdot e^{\lambda} \\
&= 1
\end{aligned}
\end{equation}
$$
Expectation(期望): $\mathbb{E}[x]=\lambda$
Variance (方差): $Var(x)=\lambda$
Notes:
- 如果在长度为T的区间内出现的次数遵循参数为$\lambda$的Poisson Distribution, 那么在长度为kT的区间内出现的次仍遵循平均值为$k\lambda$的Poisson Distribution.
- 如果X、Y是2个独立的, 遵循以$\lambda$, $\mu$为平均的Poisson Distribution的事件, 则$X+Y$遵循平均为$\lambda+\mu$的Poisson Distribution, 即
$$P(X+Y=r)=e^{-(\lambda+\mu)} \frac{(\lambda+\mu)^r}{r!}$$
- 若n比较“大”而p比较“小, 那么以np为平均值的Poisson Distribution可以用来近似Bionomial Distribution $x \sim B(n, p)$.
Geometric Distribution
Symbol: $x \sim Geo(p)$, 其中p代表着成功的可能性
Definition: $P(x=k)=p \cdot (1-p)^{k-1}$. 检验:
$$\begin{equation}
\begin{aligned}
\sum_{r=0}^{\infty} P(x=k)&= \sum_{r=0}^{\infty} p \cdot (1-p)^{k-1} \\
&= p \cdot \frac{1}{1-(1-p)}\\
&= 1
\end{aligned}
\end{equation}
$$
Expectation(期望): $\mathbb{E}[x]=\frac{1}{p}$ 证明:
$$\begin{equation}
\begin{aligned}
\mathbb{E}[x]&= \sum_{r=0}^{\infty} kp(1-p)^{k-1} \\
&= p \cdot \sum_{r=0}^{\infty}kq^{k-1}\\
&= p \cdot \sum_{r=0}^{\infty} \frac{\mathrm{d}}{\mathrm{d}q}(q^k) \\
&= p \cdot \frac{\mathrm{d}}{\mathrm{d}q} (\sum_{r=0}^{\infty} q^k) \\
&= p \cdot \frac{\mathrm{d}}{\mathrm{d}q} (\frac{1}{1-q}) \\
&= p \cdot \frac{1}{p^2} \\
&= \frac{1}{p}
\end{aligned}
\end{equation}
$$
Variance(方差): $Var(x)=\frac{1-p}{p^2}$