第一章
随机事件与概率
- 交并补
- 包含，相等，互斥，对立
古典概型和几何概型
概率和条件概率
条件概率
性质
- 非负性
- 规范性
- 完全可加性
公式
- P(B|A)
- = P(AB)/P(A)
独立性、全概率和贝叶斯公式
独立性
若满足
- P(AB) = P(A)P(B)
则称
- A与B相互独立
性质
A,B独立等价于
- P(B|A) = P(B)
- P(A|B) = P(A)
- P(B|A) = P(B|$\overline{A}$)
A,B独立的直观意义是：
- A发生不影响B的概率，B发生也不影响A的概率
全概率公式和贝叶斯公式
![]()
![]()
第二章
- 概率为0的事件未必为不可能事件
- 概率为1的事件未必是必然事件
分布函数
- F(x)=P(X<=x)
- 0<=F(x)<=1
- F(x)不减
- F(x)=F(−∞) = 0
- F(x)=F(+∞) = 1
F(x)右连续
- 离散型右连续
- 连续型连续
- P{X<=a}=F(a)
- P{X>a}=1-P{X<=a}=1-F(a)
- P{a<X<=b}=P{X<=b-P{X<=a}=F(b)-F(a)
- P{X=a}=F(a)-F(a-0)
- P{a<=X<=b}=F(b)-F(a-0)
- P{X<a}=F(a-0)
- P{X>=a}=1-F(a-0)
离散变量及其分布
离散函数及其分布
性质
- 非负性
- 规范性
0-1分布
- EX = p
- DX = p(1-p)
二项分布
X ~ B（n，p）
- $P(X = k) = C_n^k p^k (1−p)^{n-k} ,k = 0,1,…,n$
- EX = np
- DX = np(1-p)
- Var(x) = np(1-p)
几何分布
- 第k次发生，前k-1次没发生
X ~ G(p)
- P(X = k) = (1-p)^k-1^p
- $EX=\frac{1}{p}$
- $DX=\frac{1-p}{p^2}$
超几何分布
- 进行n次无放回抽样，所得次品数为X，总数为N，总次品数为M
H(N,M:n)
- P（X = m） = $\frac{C^m_MC^{n-m}_{N-M}}{C^m_N}$
image-20211215223357141 - EX=$\frac{nM}{N}$
泊松分布
- X ~ P($\lambda$)
- 表示一段时间内事故发生的次数
- $P（x = k）=e^{-\lambda}\frac{\lambda^k}{k!}$ , k = 1,2,3
- 期望方差都是$\lambda$ = np
分布函数，连续均匀分布，指数分布和正态分布
分布函数
性质
非负性
- 0 ≤ F(x) ≤ 1, x ∈ R
单调（不减）性
- x~1~ < x~2~ ⇒ F(x~1~) ≤ F(x~2~)
规范性
- F(−∞) = 0
- F(+∞) = 1
右连续性
- F(x+) = F(x)
连续型变量及其分布（密度函数）
性质
连续
- $f (x) dx >= 1$
非负/规范性
- $\int_{−\infty}^{+\infty}f (x) dx = 1$
原函数F（x）单调不减
- $F(-\infty)= 0$
- $F(+\infty)=1$
- P(X = x) = 0
- $F(x) = P(X <= x) = \int_{-\infty}^x f(s)ds$
均匀分布，指数分布和正态分布
均匀分布
- X ~ U（a，b）
性质
规范性
- $\int_{a}^{b}\frac{1}{(b-a)}dx = \frac1{(b-a)(b-a)} = 1$
- 均匀分布的密度函数的常数是区间长度的倒数
- $EX=\frac{a+b}{2}$
- $Var(x)=\frac{1}{12}(b-a)^2$
指数分布
- X ~ E（$\lambda$）
性质
- 无记忆性
密度函数
- $f (x) = λe^{-λx}$ ，x>=0
- $ = 0 $ , x<0
分布函数
- $F (x) = 1-e^{-λx}$ ，x>=0
- $ = 0 $ , x<0
- $EX=\frac{1}{\lambda}$
- $Var(X)=\frac{1}{\lambda^2}$
正态分布
- $N(\mu,\sigma^2)$
密度函数
- $\phi(x)=\frac{1}{\sqrt{2\pi}\sigma}e^{-\frac{1}{2}(\frac{x-\mu}{\sigma})^2}$
- $\phi(x)=$（标准正态分布）
分布函数
- $P(a<X<b)=\Phi(x)(\frac{b-\mu}{\sigma})-\Phi(\frac{a-\mu}{\sigma})$（标准正态分布）
对称性
- 关于$\mu$对称
- $\Phi(-x)=1-\Phi(x)$
- $x=\mu$时，最大值$\frac{1}{\sqrt{2\pi}\sigma}$
- $\sigma变小，最高点上移$
- $\sigma变大，最高点下移$
标准正态分布性质
- y轴对称，偶函数
- $\Phi(-x)=\Phi(x)$
- $\Phi(-x)=1-\Phi(x)$
- $EX=\mu$
- $Var(x)=\sigma^2$
](https://souletter.com/usr/uploads/2022/01/330202674.png#vwid=572&vhei=484)
随机变量的分布函数
- 离散型随机变量
连续型随机变量
- $F_Y(y)=P(Y$<=$y)=P(g(X)$<=$x)$
若Y也是连续型变量,则其密度函数
- $f_Y(y)=\frac{d}{dy}F_Y(y)$
第三章
期望
数学期望不一定存在
- 需要证明绝对收敛
期望的性质
- Ec = c
- E（aX + b） = aEX + b；从而E（X + c） = EX + c
- E（X - EX） = 0
$E[f(X) + g(X)] = E_f(X) + E_g(X)$
- $E(X −c)^2 = EX^2 −2cEX + c^2$
- $X ≥ Y,则 EX ≥ EY;若 X ≥ Y,EX = EY,则 P(X = Y ) = 1$
E$(XY)=EX*EY$
- XY独立时成立
方差
方差
- DX=E(X-EX)^2^
- DX=EX^2^-(EX)^2^
标准差
- $\sqrt{DX}$
离散型
- $DX=\sum(x_k-EX)^2P_k$
连续型
- $DX=\int_{-\infty}^{+\infty}(x-EX)^2f(x)dx$
方差的性质
- DC=0
- D(X+C)=DX
- D(CX)=C^2^DX
D(X+-Y)=DX+DY
- XY独立
- Var(x)>=0;若Var(X) = 0, 则P(X = 0) = 1
- $Var(aX + b) = a^2Var(X)$
常见分布的期望和方差
随机变量函数的期望
$Y=g(X),Y=4X$
EX
离散型
- $\sum X_iP_i$
连续型
- $\int_{-\infty}^{+\infty}xf(x)dx$
EY
离散型
- $\sum g(X_i)P_i$
连续型
- $\int_{-\infty}^{+\infty}g(x)f(x)dx$
二维随机变量函数的期望
连续
- $Z=g(x,y)$
- $EZ=\int^{+\infty}_{-\infty}g(x,y)f(x,y)dxdy$
条件期望
离散
第四章
联合分布和边缘分布
联合分布函数
性质
- 单调不减性
- 右连续性
规范性
- F(−∞,y) = F(x,−∞) = F(−∞,−∞) = 0
- F(+∞,+∞) = 1.
正定性
- 设x~1~＜x~2~，y~1~＜y~2~
- F(x~2~,y~2~)−F(x~1~,y~2~)−F(x~2~,y~1~) + F(x~1~,y~1~) ≥ 0
运算
- P(x~1~ < X ≤ x~2~,y~1~ < Y ≤ y~2~)
- = F(x~2~,y~2~)−F(x~1~,y~2~)−F(x~2~,y~1~) + F(x~1~,y~1~) ≥ 0
边缘分布
- F~X~(x),F~Y~(y)
- 由联合分布函数可以得到边缘分布函数，但反过来是不成立的
运算
- P(X = x,Y = y)
- = F(x,y)−F(x−,y)−F(x,y−) + F(x−,y−)
- 二维正态分布的边缘分布也是正态分布
- 两边缘分布是正态，二维并非是二维正态分布
离散型变量的分布
- 连续型变量的分布
多维随机变量的独立性和条件分布
随机变量的独立性
- F(x,y) = F~X~(x) F~Y~(y)
- f(x,y) = f~X~(x) f~Y~(y)
- 联合分布函数是两个边缘分布函数的乘积
离散型变量的独立性
- p~i,j~ = P(X = x~i~,Y = y~j~) = P(X = x~i~) P(Y = y~j~) = p~i~ p~j~
- 对离散型变量，X,Y相互独立等价于联合概率函数是边缘分布函数的乘积
- P~i1,j1~P~i2,j2~ = P~i2,j1~P~i1,j2~
连续型变量的独立性
- f (x,y) = f~X~(x) f~Y~(y)
- 联合密度函数是边缘密度函数的乘积
变量可分离函数
- 若存在一元函数g(x)，h(y)，使得f (x,y) = g(x)h(y)，称二元函数f (x,y)是变量可分离的
- 连续型函数相互独立等价于可分离
条件分布
离散型变量
- 对二维随机变量(x,y)，给定其中一个变量的取值，另一个变量的分布称为是条件分布
示例
- P(X = x~i~,Y = y~j~) = p~i,j~
给定X条件下Y的条件概率函数
- P~Y|X~(y~j~|x~i~) = P(Y = y~j~|X = x~i~)
- = P(X = xi,Y = yj) P(X = xi)
= p~i,j~ / p~i~
给定X条件下Y的条件概率函数
- P~X|Y~(x~i~|y~j~) = P(X = x~i~|Y = y~j~)
- = P(X = x~i~,Y = y~j~) P(Y = y~i~)
= p~i,j~ / p~j~
连续型变量
- $F_{(X|Y)}=\int^x_{-\infty}\frac{f(u.y)}{f_Y(y)}du$
- $f_{(X|Y)}=\frac{f(x,y)}{f_Y(y)}$
二维随机向量函数的分布
- 离散型
连续型
- $Z=g(X,Y)$
求分布
- $F_Z{z}=P{Z<=z}=P{g(X,Y)<=z}=\iint_{G} f(X,Y)dxdy$
求导
- $f_Z(z)$
卷积公式
- $Z=X+Y$
- XY独立
多维变量的数字特征
多维函数的期望
离散型函数的期望
- E[g(X,Y)] =$\sum$~i,j~g(x~i~,y~j~)P(X = x~i~,Y = y~j~)
- 该期望存在当且仅当上面的级数绝对收敛
连续型函数的期望
- E[g(X,Y)] =$\iint$~R~2 g(x,y) f(x,y) dx dy
- 该期望存在当且仅当上面的积分绝对收敛
期望的性质
- E(aX + bY + c) = aEX + bEY + c
该性质可分解成
线性性质
- E（aX + c）=aEX + c
可加性
- E（X + Y）= EX + EY
协方差和相关系数
cov（X,Y）= E[(X - EX)(Y - EY)]
- cov(X,X) = Var(x)
- cov(X,C) = 0
cov(X,Y) > 0
- 正相关
cov(X,Y) < 0
- 负相关
cov(X,Y) = 0
- 不相关
- $cov(X,Y) = E(XY)-EXEY$
- $D(X+-Y)=DX+DY+-2Cov(X,Y)$
协方差的性质
- $Cov(X,Y)=Cov(Y,X)$
- $Cov(aX,bY)=abCov(X,Y)$
- $Cov(X_1+X_2,Y)=Cov(X_1,Y)+Cov(X_2,Y)$
- $Cov(c,X)=0$
- XY独立，Cov(X,Y)=0
- $Cov(X+X,X-Y)=Var(X)-Var(Y)$
- $Cov(X+Y,X+Y)=Var(X)+Var(Y)+2Cov(X,Y)$
- $Cov(X-Y,X-Y)=Var(X)+Var(Y)-2Cov(X,Y)$
相关系数
- $\rho=\frac{Cov(X,Y)}{\sqrt{DX}\sqrt{DY}}=\frac{E(XY)-EXEY}{\sqrt{DX}\sqrt{DY}}$
- 与Cov(X,Y)同正同负同0
- $|\rho|$<=1
- XY独立，则XY不相关
- 若XY不相关，XY不一定独立
二位正态分布
- 独立与不相关等价
中心矩与原点矩
原点矩
- EX^k^
- 一阶原点矩=EX
- 以原点为中心
中心距
- E(X-EX)^k^
- 一阶中心距=0
- 二阶中心矩=DX
- 以EX为中心
第五章
大数定律
- 大量重复试验的平均结果的稳定性
切比雪夫不等式
EX和DX存在，取任意z>0
- $P(|X-EX|>=z)<=\frac{DX}{z^2}$
- $P(|X-EX|<z)>=\frac{DX}{z^2}$
切比雪夫大数定律
- $\lim_{n\rightarrow\infty}P(|X_n-a|<z)=1$
伯努利大数定律
- n重伯努利实验，事件A发生了m~n~次，P概率，m~n~/n频率
- $\lim_{n\rightarrow\infty}P(|\frac{m_n}{n}-p|<z)=1$
辛钦大数定律
- 独立同分布，EX~i~=$\mu$，方差无要求
- $\lim_{n\rightarrow\infty}P(|\frac{1}{n}\sum_{i=1}^nX_i-\mu|=1$
中心极限定理
X~1~，X~n~独立同分布，EX~i~=$\mu$，DX~i~=$\sigma……2$,$0<\sigma<+\infty$
- $\lim_{n\rightarrow\infty}P(\frac{\sum_{i=1}^nX_i-n\mu}{\sqrt{n}\sigma}<=x)=\Phi(x)$
拉普拉斯中心极限定理
Y~n~二项分布np
- $\lim_n\rightarrow\infty P(\frac{Y_n-np}{\sqrt{np(1-p)}}<=x)=\Phi(x)$
第六章
统计量定义
- 不含任何未知函数的样本函数
常见统计量
- 样本均值
- 样本方差
- 样本标准差
- 样本k阶原点矩
- 样本k阶中心矩
抽样分布
- 总体是正态分布
- $u=\frac{\bar{X}-\mu}{\frac{\sigma}{\sqrt{n}}}$ ~ N(0,1)
- $t=\frac{\bar{X}-\mu}{\frac{S}{\sqrt{n}}}$ ~ t(0,1)
卡方x^2^分布
- X~X^2^(n)
- EX=n
- DX=2n
- n充分大，接近正态分布
t分布
- X ~ t(n)
- n>=30,近似正态
X ~ N(0,1),Y ~ X^2^(n),XY独立
- $\frac{X}{\sqrt{\frac{Y}{n}}}$ ~ t(n)
- t~1-a~（n）=-t~a~（n）
F分布
- F(n~1~,n~2~)
X ~ X^2^(n~1~),Y ~ X^2^(n~2~)，独立
- $\frac{X/n_1}{Y/n_2}$ ~ F(n~1~,n~2~)
- F~a~(n~2~,n~1~)=1/F~1-a~(n~1~,n~2~)
第七章 参数估计
参数空间
- 参数取值范围
点估计
区间估计
矩估计
- 前提是总体的矩存在
用样本的矩代替总体的矩
- 一阶原点矩A估计期望
- 二阶中心矩B~2~估计方差
极大似然估计
解题步骤
- 写出总体的概率（离散）/密度（连续）函数
- 写似然函数L（参数，如$\lambda$等）
两边取ln
- $ln(\lambda)$
两边同时对参数求导/偏导
- 令求导结果=0
点估计的优良性准则
无偏性
估计值的期望等于真实值
$\bar{X}是\mu的无偏估计$
- $E\bar{X}=\mu$
样本方差s^2^是$\sigma^2$的无偏估计
- $Es^2=\sigma^2$
- $未修正方差s^2_0是\sigma^2的有偏估计$
- $\hat{\sigma}是\sigma的无偏，g(\hat{\sigma})不一定是g(\sigma)的无偏$
- $\hat{s^2}是\sigma^2的无偏，g(\hat{s^2})不是g(\sigma^2)的无偏$
有效性
- 估计值的方差越小越有效
- $D(\hat{\theta}_1) \leq D(\hat{\theta}_2)$
一致性
- 取样区间越大，越准确
置信区间
枢轴变量
- 设定的新变量I=I（T.$\theta$）
- $P(V_{1-\frac{\alpha}2} \leq I(T.\theta) \leq V_{\frac{\alpha}2}) = 1-\alpha$
- 标准化
正态总体的期望
$\sigma^2已知，估计\mu$
- $U=\frac{\sqrt{n}(\bar{x}-\mu)}{\sigma}$ ~ N(0,1)
- 求U
- 正态分布查表
$\sigma^2未知，估计\mu$
- $T=\frac{\sqrt{n}(\bar{x}-\mu)}{S}$
- t分布查表
方差的区间估计
$\mu已知，对\sigma^2的区间估计$
- $X^2 = \frac{1}{\sigma^2}\sum(X_i-\mu)^2$ ~ X^2^(n)
$\mu未知，估计\sigma^2$
- $X^2 = \frac{(n-1)S^2}{\sigma^2}$ ~ X^2^(n-1)
