切比雪夫不等式

切比雪夫不等式其实是马尔可夫不等式的特殊情况,首先,马尔可夫不等式为:
$$P(x\geq a)\leq \frac{E(x)}{a}$$
马尔可夫不等式主要给出了随机变量大于某个正数的概率的上界,只要我们做一个变换:
$$X=|X-E(X)|,a=k\sigma$$
就可以得到切比雪夫不等式:
$$P(|X-E(X)|\geq k\sigma)\leq \frac{1}{k ^2}$$
接下来,我们进一步介绍切比雪夫不等式的应用,在此之前,先了解一下几乎处处收敛(almost sure convergence)和依概率收敛(convergence in probability),几乎处处收敛的表达式为:
$$P\{\lim_{n\to \infty}X_n (\omega)=X (\omega)\} = 1$$
依概率收敛的表达式是:
$$\lim_{n\to \infty} P\{|X_n -X| < \varepsilon \} = 1$$
简单来说,依概率收敛的意思是当n趋于无穷,xn与x之间不相等的部分概率趋于0,而almost sure的意思是,当n趋于无穷,xn不收敛到x的概率为0,as收敛可以推导出依概率收敛。

再举些例子,依概率收敛,即比如你在射箭,一开始你可能得分很低,射不中红心,可是射多了,技术提高了,射中红心的概率就会逐渐变大,射不中的概率将不断减少,但是,它和几乎处处收敛有一个不同的地方,那就是你依然有可能有一两次失手射偏了,也就是误差的存在,这种误差不能保证不存在,所以不能保证你举例红心的位置从哪一个时刻开始保持恒定。和几乎处处收敛的表达式比较,依概率收敛中的epsilon就反映了这种可能存在的误差。而针对几乎处处收敛,考虑一种短寿命动物,记录它每天消耗的食物数量,虽然这个数量不可测,但是我们知道,随着天数增加,总有一天它会死去,消耗量恒定变为0,所以我们可以看到,几乎处处收敛中的表达式直接认为xn最后等于x的概率是可以趋向1的,当n趋于无穷,就可以不考虑误差了。

总的来说,几乎处处收敛最强,依概率收敛次之

除此之外,还有分布收敛,主要指n趋于无穷时,xn和x的累计函数差不多,主要考虑的是分布函数。也有一种均方收敛,可理解成n趋于无穷时,xn与x的距离无限接近

接下来就是重头戏,利用马尔可夫不等式和依概率收敛推导弱大数定理。

首先对马尔可夫不等式做修改:
$$P\{| \overline{x_n} - \mu |\geq \varepsilon \} = P\{( \overline{x_n} - \mu )^2 \geq \varepsilon ^2 \} \leq \frac{E(\overline X_n - \mu)^2}{\varepsilon ^2} = \frac{var \overline{x}_n}{\varepsilon ^2} = \frac{\sigma ^2}{n \varepsilon ^2}$$
因此有:
$$\lim_{n \to \infty} P\{| \overline{x_n} - \mu |\geq \varepsilon \} = \lim_{n \to \infty} \frac{\sigma ^2}{n \varepsilon ^2} = 0$$
上式也就是另一个依概率收敛。

还有一种强大数定理,主要区别是由依概率收敛变成几乎处处收敛。