概率论与数理统计知识点总结详细
概率论与数理统计知识点
总结详细
The Standardization Office was revised on the afternoon of December 13, 2020
《概率论与数理统计》
第一章概率论的基本概念 ...................... 错误!未定义书签。§2．样本空间、随机事件 ..................................... 错误!未定义书签。§4等可能概型（古典概型）................................. 错误!未定义书签。§5．条件概率.......................................................... 错误!未定义书签。§6．独立性.............................................................. 错误!未定义书签。第二章随机变量及其分布 ...................... 错误!未定义书签。§1随机变量............................................................. 错误!未定义书签。§2离散性随机变量及其分布律............................. 错误!未定义书签。§3随机变量的分布函数......................................... 错误!未定义书签。§4连续性随机变量及其概率密度......................... 错误!未定义书签。§5随机变量的函数的分布..................................... 错误!未定义书签。第三章多维随机变量 ............................. 错误!未定义书签。§1二维随机变量..................................................... 错误!未定义书签。§2边缘分布............................................................. 错误!未定义书签。§3条件分布............................................................. 错误!未定义书签。§4相互独立的随机变量......................................... 错误!未定义书签。§5两个随机变量的函数的分布............................. 错误!未定义书签。第四章随机变量的数字特征 .................. 错误!未定义书签。§1．数学期望.......................................................... 错误!未定义书签。§2方差..................................................................... 错误!未定义书签。
§3协方差及相关系数............................................. 错误!未定义书签。第五章大数定律与中心极限定理............ 错误!未定义书签。§1．大数定律......................................................... 错误!未定义书签。§2中心极限定理..................................................... 错误!未定义书签。
第一章概率论的基本概念
§2．样本空间、随机事件
1．事件间的关系B
A?则称事件B包含事件A，指事件A发生必然导致事件B发生
A
?或
A称为事件A与事件B的和事件，指当且仅当=
B
x{∈
x
∈
x
B}
A，B中至少有一个发生时，事件B
A?发生
?且
A
B
A称为事件A与事件B的积事件，指当A，B =
B}
x
x
x{∈
∈
同时发生时，事件B
A?发生
—A
=且
B
A称为事件A与事件B的差事件，指当且仅当
x
B}
∈
x
x{?
A发生、B不发生时，事件B
A—发生
φ=?B A ，则称事件A 与B 是互不相容的，或互斥的，指事件A 与事件B 不能同时发生，基本事件是两两互不相容的
且S =?B A φ=?B A ，则称事件A 与事件B 互为逆事件，又称事件A 与事件B 互为对立事件
2．运算规则 交换律A B B A A B B A ?=??=?
结合律)()( )()(C B A C B A C B A C B A ?=???=?? 分配律 )()B (C A A C B A ???=??）（ ))(()( C A B A C B A ??=?? 徳摩根律B A B A A B A ?=??=? B —
§3．频率与概率
定义 在相同的条件下，进行了n 次试验，在这n 次试验中，事件A 发生的次数A n 称为事件A 发生的频数，比值n n A 称为事件A 发生的频率
概率：设E 是随机试验，S 是它的样本空间，对于E 的每一事件A 赋予一个实数，记为P （A ），称为事件的概率 1．概率)(A P 满足下列条件：
（1）非负性：对于每一个事件A 1)(0≤≤A P （2）规范性：对于必然事件S 1)S (=P
（3）可列可加性：设n A A A ,,,21 是两两互不相容的事件，有
∑===n
k k n
k k A P A P 1
1
)()( （n 可以取∞）
2．概率的一些重要性质： （i ） 0)(=φP
（ii ）若n A A A ,,,21 是两两互不相容的事件，则有∑===n
k k n k k A P A P 1
1
)()( （n 可以
取∞）
（iii ）设A ，B 是两个事件若B A ?，则)()()(A P B P A B P -=-，)A ()B (P P ≥ （iv ）对于任意事件A ，1)(≤A P （v ）)(1)(A P A P -= （逆事件的概率）
（vi ）对于任意事件A ，B 有)()()()(AB P B P A P B A P -+=?
§4等可能概型（古典概型）
等可能概型：试验的样本空间只包含有限个元素，试验中每个事件发生的可能性相同
若事件A 包含k 个基本事件，即}{}{}{2]1k i i i e e e A =，里
个不同的数，则有
中某，是，，k k n 2,1i i i ,21 ()
中基本事件的总数
包含的基本事件数
S }{)(1
j A n k e P A P k
j i =
=
=∑= §5．条件概率
（1） 定义：设A,B 是两个事件，且0)(>A P ，称)
()
()|(A P AB P A B P =为事件A 发生的条件下事件B 发生的条件概率
（2） 条件概率符合概率定义中的三个条件
1。
非负性：对于某一事件B ，有0)|(≥A B P
2。规范性：对于必然事件S ，1)|(=A S P
3可列可加性：设 ,,21B B 是两两互不相容的事件，则有
∑∞
=∞==1
1
)()(i i i i A B P A B P
（3） 乘法定理 设0)(>A P ，则有)|()()(B A P B P AB P =称为乘法公式
（4） 全概率公式： ∑==n
i i i B A P B P A P 1)|()()(
贝叶斯公式： ∑==
n
i i
i
k k k B A P B P B A P B P A B P 1
)
|()()
|()()|(
§6．独立性
定义 设A ，B 是两事件，如果满足等式)()()(B P A P AB P =，则称事件A,B 相互独立
定理一 设A ，B 是两事件，且0)(>A P ，若A ，B 相互独立，则
()B P A B P =)|(
定理二 若事件A 和B 相互独立，则下列各对事件也相互独立：A 与
—
—
—
—
与，与，B A B A B
第二章 随机变量及其分布
§1随机变量
定义 设随机试验的样本空间为X(e)X {e}.S ==是定义在样本空间S 上的实值单值函数，称X(e)X =为随机变量
§2离散性随机变量及其分布律
1．离散随机变量：有些随机变量，它全部可能取到的值是有限个或可列无限多个，这种随机变量称为离散型随机变量
k k )(p x X P ==满足如下两个条件（1）0k ≥p ，（2）∑∞
=1k k P =1
2．三种重要的离散型随机变量
（1）分布
设随机变量X 只能取0与1两个值，它的分布律是
)101,0k p -1p )k (k
-1k <<===p X P （，）（，则称X 服从以p 为参数的
分布或
两点分布。
（2）伯努利实验、二项分布
设实验E 只有两个可能结果：A 与—
A ，则称E 为伯努利实验.设
1)p 0p P(A)<<=（，此时p -1)A P(=—
.将E 独立重复的进行n 次，则称这一串
重复的独立实验为n 重伯努利实验。
n 2,1,0k q p k n )k X (k
-n k ，
，=???
? ??==P 满足条件（1）0k ≥p ，（2）∑∞
=1k k P =1注意到k -n k q p k n ?
??
? ??是二项式n
q p ）（+的展开式中出现k p 的那一项，我们称随机变量X 服从参数为n ，p 的二项分布。 （3）泊松分布
设随机变量X 所有可能取的值为0,1,2…，而取各个值的概率为
,2,1,0,k!
e )k X (-k ==
=k P λ
λ其中0>λ是常数，则称X 服从参数为λ的泊松分
布记为）（λπ~X
§3随机变量的分布函数
定义 设X 是一个随机变量，x 是任意实数，函数∞<<∞≤=x -x},P{X )x (F 称为X 的分布函数
分布函数)()(x X P x F ≤=，具有以下性质(1) )(x F 是一个不减函数 （2）
1)(,0)(1)(0=∞=-∞≤≤F F x F ，且 （3）是右连续的即)(),()0(x F x F x F =+
§4连续性随机变量及其概率密度
连续随机变量：如果对于随机变量X 的分布函数F （x ），存在非负可积函数
)(x f ，使对于任意函数x 有,
dt t f )x (F x
-?∞=）（则称x 为连续性随机变量，其
中函数f(x)称为X 的概率密度函数，简称概率密度 1 概率密度)(x f 具有以下性质，满足（1）1)( (2) ,0)(-=≥?
+∞∞
dx x f x f ；
（3）?=≤≤21
)()(21x x dx x f x X x P ；（4）若)(x f 在点x 处连续，则有
=)(F x ，)(x f
2,三种重要的连续型随机变量
(1)均匀分布
若连续性随机变量X 具有概率密度?????<<=，其他
，0a a -b 1)(b
x x f ，则成X 在区间
(a,b)上服从均匀分布.记为），（b a U ~X (2)指数分布
若连续性随机变量X 的概率密度为?????>=，其他
，0
0.e
1)(x -x x f θθ
其中0>θ为常数，
则称X 服从参数为θ的指数分布。 （3）正态分布
若连续型随机变量X 的概率密度为
，
，）
∞<<∞=
--
x e
x f x -21)(2
2
2(σμσ
πσμσσμ，服从参数为为常数，则称（，其中X )0>的正态分布或高斯分布，记
为），（2N ~X σμ
特别，当10==σμ，时称随机变量X 服从标准正态分布
§5随机变量的函数的分布
定理 设随机变量X 具有概率密度,-)(x ∞<<∞x x f ，又设函数)(x g 处处可导且恒有0)(,>x g ，则Y=)(X g 是连续型随机变量，其概率密度为
[]?
?
?<<=其他，0,)()()(,β
αy y h y h f y f X Y
第三章 多维随机变量
§1二维随机变量
定义 设E 是一个随机试验，它的样本空间是X(e)X {e}.S ==和Y(e)Y =是定义在S 上的随机变量，称X(e)X =为随机变量，由它们构成的一个向量（X ，Y ）叫做二维随机变量
设（X ，Y ）是二维随机变量，对于任意实数x ，y ，二元函数
y}Y x P{X y)}(Y x)P{(X y x F ≤≤≤?≤=，记成），（称为二维随机变量（X ，
Y ）的分布函数
如果二维随机变量（X ，Y ）全部可能取到的值是有限对或可列无限多对，则称（X ，Y ）是离散型的随机变量。
我们称 ，，，，2,1j i )y Y (ij j i ====p x X P 为二维离散型随机变量（X ，Y ）的分布律。
对于二维随机变量（X ，Y ）的分布函数），（y x F ，如果存在非负可积
函数f （x ，y ），使对于任意x ，y 有，），（）
，（??
∞∞
=y -x
-dudv v u f y x F 则称（X ，
Y ）是连续性的随机变量，函数f （x ，y ）称为随机变量（X ，Y ）的概率密度，或称为随机变量X 和Y 的联合概率密度。
§2边缘分布
二维随机变量（X ，Y ）作为一个整体，具有分布函数），（y x F .而X 和Y 都是随机变量，各自也有分布函数，将他们分别记为）（（y ),x F X Y F ，依次称为二维随机变量（X ，Y ）关于X 和关于Y 的边缘分布函数。
，，2,1i }x P{X p 1
j i ij i ====∑∞=?p ，，2,1j }
y P{Y p 1
i i ij ====∑∞
=?j p 分别称?i p j p ?为（X ，Y ）关于X 和关于Y 的边缘分布律。
?∞
∞
-=dy y x f x f X ）,()( ?∞
∞
-=dx y x f y f Y ）,()(分别称)(x f X ，
)(y f Y 为X ，Y 关于X 和关于Y 的边缘概率密度。
§3条件分布
定义 设（X ，Y ）是二维离散型随机变量，对于固定的j ，若
,0}{>=j y Y P
则称 ,2,1,}
{}
,{}{======
==?i p p y Y P y Y x X P y Y x X P j
ij j j i j i 为在j y Y =条件
下随机变量X 的条件分布律，同样
,2,1,}
{}
,{}{==
======?
j p p x X P y Y x X P X X y Y P i ij i j i i j 为在i x X =条件下随机变量
X 的条件分布律。
设二维离散型随机变量（X ，Y ）的概率密度为),(y x f ，（X ，Y ）关于Y 的边缘概率密度为)(y f Y ，若对于固定的y ，)(y f Y 〉0，则称
)
()
,(y f y x f Y 为在Y=y 的条件下X 的条件概率密度，记为)(y x f Y X =
)
(),(y f y x f Y §4相互独立的随机变量
定义 设），（y x F 及)(F x X ，)(F y Y 分别是二维离散型随机变量（X ，Y ）的分布函数及边缘分布函数.若对于所有x,y 有
y}}P{Y {},{≤≤===x X P y Y x X P ，即(y))F (F },{F Y X x y x =，则称随机变量X 和Y 是相互独立的。
对于二维正态随机变量（X ，Y ），X 和Y 相互独立的充要条件是参数
0=ρ
§5两个随机变量的函数的分布
1，Z=X+Y 的分布
设(X,Y)是二维连续型随机变量，它具有概率密度),(y x f .则Z=X+Y 仍为连续性随机变量，其概率密度为?∞
∞-+-=dy y y z f z f Y X ）,()(或
?∞
∞
-+-=dx x z x f z f Y X ）,()(
又若X 和Y 相互独立，设（X ，Y ）关于X ，Y 的边缘密度分别为)
(),(y f x f Y X 则?∞∞
-+-=dy f y z f z f Y X Y X y)()(（） 和?
∞
∞
-+-=dx x z f x f z f Y X Y X )(()(）这两个公式称为Y X f f ,的卷积公式
有限个相互独立的正态随机变量的线性组合仍然服从正态分布 2，的分布的分布、XY Z X
Y
Z ==
设(X,Y)是二维连续型随机变量，它具有概率密度),(y x f ，则
XY Z X
Y
Z ==
， 仍为连续性随机变量其概率密度分别为
dx xz x f x z f X Y ),()(?∞∞
-=dx x
z
x f x z f XY ),(1)(?
∞
∞
-=又若X 和Y 相互独立，设
（X ，Y ）关于X ，Y 的边缘密度分别为)(),(y f x f Y X 则可化为
dx xz f x f z f Y X X Y ?
∞
∞
-=)()()( dx x
z
f x f x z f Y XY )()(1)(X ?∞
∞
-= 3的分布及，},m in{N Y }{X m ax Y X M ==
设X ，Y 是两个相互独立的随机变量，它们的分布函数分别为)(),(y F x F Y X 由于
Y}{X max ，=M 不大于z 等价于X 和Y 都不大于z 故有
z}Y z,P{X z}P{M ≤≤=≤又由于X 和Y 相互独立，得到Y}{X max ，=M 的分布函数为)()()(max z F z F z F Y X =
},min{N Y X =的分布函数为[][])(1)(11)(min z F z F z F Y X ---=
第四章 随机变量的数字特征
§1．数学期望
定义 设离散型随机变量X 的分布律为k k p x X P ==}{，k=1,2，…若级数
∑∞
=1
k k k
p x
绝对收敛，则称级数∑∞
=1
k k k p x 的和为随机变量X 的数学期望，记为
)(X E ，即∑=i
k k p x X E )(
设连续型随机变量X 的概率密度为)(x f ，若积分?∞
∞
-dx x xf )(绝对收敛，则
称积分?∞
∞
-dx x xf )(的值为随机变量X 的数学期望，记为)(X E ，即
?+∞
∞
-=dx x xf X E )()(
定理 设Y 是随机变量X 的函数Y=)(X g (g 是连续函数)
（i ）如果X 是离散型随机变量，它的分布律为k p X P ==}x {k ，k=1,2，…若
k
k k
p x g ∑∞
=1(）
绝对收敛则有=)Y (E =))((X g E k k k p x g ∑∞
=1
(）
（ii ）如果X 是连续型随机变量，它的分概率密度为)(x f ，若?∞
∞
-dx x f x g )()(绝
对收敛则有=)Y (E =))((X g E ?
∞
∞
-dx x f x g )()(
数学期望的几个重要性质
1设C 是常数，则有C C E =)(
2设X 是随机变量，C 是常数，则有)()(X CE CX E = 3设X,Y 是两个随机变量，则有)()()(Y E X E Y X E +=+； 4设X ，Y 是相互独立的随机变量，则有)()()(Y E X E XY E =
§2方差
定义 设X 是一个随机变量，若[]})({2X E X E -存在，则称[]})({2
X E X E -为X
的方差，记为D （x ）即D （x ）=[]})({2
X E X E -，在应用上还引入量)(x D ，
记为)(x σ，称为标准差或均方差。
222)()())(()(EX X E X E X E X D -=-=
方差的几个重要性质
1设C 是常数，则有 ,0)(=C D
2设X 是随机变量，C 是常数，则有)(C )(2X D CX D =，D(X))(=+C X D 3设X,Y 是两个随机变量，则有
E(Y))}-E(X))(Y -2E{(X D(Y)D(X))(++=+Y X D 特别，若X,Y 相互独立，则有)()()(Y D X D Y X D +=+
40)(=X D 的充要条件是X 以概率1取常数E(X)，即1)}({==X E X P 切比雪夫不等式：设随机变量X 具有数学期望2)(σ=X E ，则对于任意正数
ε，不等式22
}-X P{ε
σεμ≤≥成立
§3协方差及相关系数
定义 量)]}()][({[Y E Y X E X E --称为随机变量X 与Y 的协方差为),(Y X Cov ，即)()()())]())(([(),(Y E X E XY E Y E Y X E X E Y X Cov -=--= 而D(Y)
D(X)Y X (XY ），Cov =
ρ称为随机变量X 和Y 的相关系数
对于任意两个随机变量X 和Y ，),(2)()()_(Y X Cov Y D X D Y X D -
+
+=+
协方差具有下述性质
1),(),( ),,(),(Y X abCov bY aX Cov X Y Cov Y X Cov == 2),(),(),(2121Y X Cov Y X Cov Y X X Cov +=+ 定理 1 1≤XY ρ
2 1=XY ρ的充要条件是，存在常数a,b 使1}{=+=bx a Y P 当=XY ρ0时，称X 和Y 不相关
附：几种常用的概率分布表
第五章 大数定律与中心极限定理
§1． 大数定律
弱大数定理（辛欣大数定理） 设X 1，X 2…是相互独立，服从统一分布的随机变量序列，并具有数学期望),2,1()( ==k X E k μ.作前n 个变量的算术平均
∑=n k k X n 11，则对于任意0>ε，有1}1{lim 1
=<-∑=∞→εμn
k k n X n P 定义 设 n Y Y Y ,,21是一个随机变量序列，a 是一个常数，若对于任意正数
ε，有1}{lim =<-∞
→εa Y P n n ，则称序列 n Y Y Y ,,21依概率收敛于a ，记为
a Y p
n ?→?
伯努利大数定理 设A f 是n 次独立重复试验中事件A 发生的次数，p 是事件A 在每次试验中发生的概率，则对于任意正数ε〉0，有1}{
lim =<-∞
→εp n
f P n
n 或0}{
lim =≥-∞
→εp n
f P n
n §2中心极限定理
定理一（独立同分布的中心极限定理） 设随机变量n X X X ,,,21 相互独立，服从同一分布，且具有数学期望和方差2)( ,)(σμ==k i X D X E （k=1,2，…），
则随机变量之和标准化变量∑=n
i k X 1
， σ
μ
n n X
X D X E X
Y n
i k
n
k k n
k n
k k k
n ∑∑∑∑====-=
-=
1
1
1
1 )
()
(，
定理二（李雅普诺夫定理） 设随机变量n X X X ,,,21 …相互独立，它们具有数学期望和方差 2,1,0)( ,)(2
=>==k X D X E k k k k σμ记∑==n
k k n B 12
2
ε
定理三（棣莫弗-拉普拉斯定理）设随机变量
10(,),2,1(<<=p p n n n 服从参数为 η）的二项分布，则对任意x ，有
)(21})
1({
lim 22
x dt e x p np np
P x
t n n Φ==≤--?
∞
--∞
→π
η