随机过程第一次大作业(THU)
基于主成分分析的人脸识别
目录
基于主成分分析的人脸识别 (1)
1 引言 (2)
1.1 PCA简介 (2)
一、主成分的一般定义 (3)
二、主成分的性质 (3)
三、主成分的数目的选取 (4)
1.2 人脸识别概述 (4)
2 基本理论及方法 (5)
3 人脸识别的具体实现 (6)
3.1 读入图像数据库 (6)
3.2 计算特征空间 (7)
3.3 人脸识别 (9)
4 对实验算法的综合评价 (11)
5 结论 (11)
6、参考文献 (11)
7、附录 (12)
1、代码说明： (12)
2、实验感想 (12)
摘要：本文利用基于主成分分析(Principal ComponentAnalysis，PCA)进行人脸识别。该过程主要分为三个阶段，第一个阶段利用训练样本集构建特征脸空间；第二个阶段是训练阶段，主要是将训练图像投影到特征脸子空间上；第三个阶段是识别阶段，将测试样本集投影到特征脸子空间，然后与投影后的训练图像相比较，距离最小的为识别结果。本方法具有简单、快速和易行等特点,能从整体上反映人脸图像的灰度相关性具有一定的实用价值。
关键词：人脸识别；PCA；识别方式
1 引言
PCA 是一种对数据进行分析的技术，最重要的应用是对原有数据进行简化。正如它的名字：主元分析，这种方法可以有效的找出数据中最“主要”的元素和结构，去除噪音和冗余，将原有的复杂数据降维，揭示隐藏在复杂数据背后的简单结构。它的优点是简单，而且无参数限制，可以方便的应用与各个场合，根据矩阵的行数与列数的区别于差异，PCA 又可以划分为D —PCA （Distributed PCA [1]和C —PCA （Collective PCA ）[2]。
1.1 PCA 简介
PCA 方法，也被叫做特征脸方法(eigenfaces)，是一种基于整幅人脸图像的识别算法，被广泛用于降维，在人脸识别领域也表现突出。一个N ×N 的二维脸部图片可以看成是N 的一个一维向量，一张112×92的图片可以看成是一个10，304维的向量，同时也可以看成是一个10，304维空间中一点。图片映射到这个巨大的空间后，由于人脸的构造相对来说比较接近，因此，可以用一个相应的低维子空间来表示。我们把这个子空间叫做“脸空间”。PCA 的主要思想就是找到能够最好地说明图片在图片空间中的分布情况的那些向量。这些向量能够定义“脸空间”，每个向量的长度为N ，描述一张N ×N 的图片，并且是原始脸部图片的一个线性组合。对于一副M*N 的人脸图像，将其每列相连构成一个大小为D=M*N 维的列向量。D 就是人脸图像的维数，也即是图像空间的维数。设n 是训练样本的数目；X j 表示第j 幅人脸图像形成的人脸向量，则所需样本的协方差矩阵为：
S r =1()()N
T j i j x u x u =--∑ (1)
其中u 为训练样本的平均图像向量： u =1
1n
j j x n =∑(2) 令A=[x 1-u x 2-u ……x n -u],则有S r =AA T ,其维数为D*D 。
一、主成分的一般定义
设有随机变量X1，X2，…，Xp，其样本均数记为，，…，，样本标准差记为S1，S2，…，Sp。首先作标准化变换，我们有如下的定义：
(1) 若C1=a11x1+a12x2+ … +a1pxp，…，且使 Var(C1)最大，则称C1为第一主成分；
(2) 若C2=a21x1+a22x2+…+a2pxp，…，(a21，a22，…，a2p)垂直于(a11，a12，…，a1p)，且使Var(C2)最大，则称C2为第二主成分；
(3) 类似地，可有第三、四、五…主成分，至多有p个。
二、主成分的性质
主成分C1，C2，…，Cp具有如下几个性质：
（1) 主成分间互不相关，即对任意i和j，Ci 和Cj的相关系数
Corr(Ci，Cj)=0 i≠j
(2) 组合系数(ai1，ai2，…，aip)构成的向量为单位向量，
(3) 各主成分的方差是依次递减的，即
Var(C1)≥Var(C2)≥…≥Var(Cp)
(4) 总方差不增不减，即
Var(C1)+Var(C2)+ … +Var(Cp)
=Var(x1)+Var(x2)+ … +Var(xp) =p 这一性质说明，主成分是原变量的线性组合，是对原变量信息的一种改组，主成分不增加总信息量，也不减少总信息量。
(5) 主成分和原变量的相关系数 Corr(Ci，xj)=aij =aij
(6) 令X1，X2，…，Xp的相关矩阵为R, (ai1，ai2，…，aip)则是相关矩阵R的第i个特征向量(eigenvector)。而且，特征值 i就是第i主成分的方差，即
Var(Ci)= λi
其中 i为相关矩阵R的第i个特征值(eigenvalue)
λ1≥λ2≥…≥λp≥0
三、主成分的数目的选取
前已指出，设有p个随机变量，便有p个主成分。由于总方差不增不减，C1，C2等前几个综合变量的方差较大,而Cp，Cp-1等后几个综合变量的方差较小, 严格说来，只有前几个综合变量才称得上主(要)成份，后几个综合变量实为“次”(要)成份。实践中总是保留前几个，忽略后几个。保留多少个主成分取决于保留部分的累积方差在方差总和中所占百分比(即累计贡献率)，它标志着前几个主成分概括信息之多寡。实践中，粗略规定一个百分比便可决定保留几个主成分；如果多留一个主成分，累积方差增加无几，便不再多留。
1.2人脸识别概述
人脸识别的研究起源比较早，Galton 在1888年和1910年就已在Nature 杂志发表两篇关于如何使用人脸进行身份识别的论文。在他的文章，他使用一组数字表示相异的人脸侧面特征，同时还对人类本身的人脸识别能进行了研究分析。自动人脸的研究历史相对比较短，到现在不过五十多年的时间。不过1990年以来，才得到了长足的进步。现在，已变成计算机视觉领域的一个焦点，很多著名的大学和IT公司都有研究组在从事这发面的研究。
对于人脸识别的研究历史可分为三个阶段：
第一阶段（1964-1990）这个阶段主要采取的技术是基于人脸几何结构的。研究的重点主要在剪影上。研究人员做了大量关于如何提取面部剪影曲线的结构特征的研究。这个阶段属于人脸识别的初级阶段，突出的研究成果不多，也没有获得的实际应用。
第二阶段（1991-1997）这个阶段虽然时间相对较短，但是硕果累累，出现了若干具有代表性的算法和几个商业化的人脸识别系统，如Identix（原为Visionics）公司的FaceIt系统。
这个时期最具盛名的人脸识别方法是MIT媒体实验室的Turk和Pentland 提出的的“特征脸”方法。后来很多人脸识别技术都与特征脸有关，现在特征脸已与归一化的协相关量方法一起成为了人脸识别性能测试的基准算法。[3]
2 基本理论及方法
设人脸图像(,)I x y 为二维m n ?灰度图像，用N m n =?维列向量X 表示。人脸图像训练集为{|1,,}i X i M = ，其中M 为训练集中图像总数。根据训练集构造N N ?总体散布矩阵t S ：
1()()M
T t i i i S X X μμ==--∑
其中μ为所有训练样本的平均向量
11M i i X
M μ==∑
对于m n ?人脸图像,总体散布矩阵t S 的大小为N N ?,对它求解特征值和特
征向量是很困难的,由奇异值定理，一种取而代之的方法是解M M ?个较小的矩阵。首先计算M M ?矩阵L 的特征向量(1,,)l v l M = ：
T L A A =
1[,,]M A X X μμ=--
矩阵t S 的特征向量(1,,)l l M μ= 由差值图像1(1,,)X l M μ-= 与(1,,)l v l M = 线性组合得到
111[,,][,,][,,]M M M U X X v v AV μμμμ==--=
取L 的前d 个最大特征值的特征向量计算特征脸，d 由门限值λθ确定：
11min /d M i j i j J d λλλθ==??=>????
∑∑
其大致的实现框图为：
以上图表包括具体的识别过程，即是对图片属于谁进行判断，因为本次实验要求只是对图片是不是人脸进行判断，而且本次实验所给训练图片太少。故不需要实现这一功能。
3 人脸识别的具体实现
3.1 读入图像数据库
一、读入所给的训练图像与待测图像
为了实验方便，本次实验对图像进行从新编号，其中1-35号为训练图片，36-37为待测图片，因为图片本身即为灰度图像，故不用进行转换。具体的读入为：
a=imread (strcat (num2str (i),'.jpg'));(i为1-37之间的数字)
imshow(a);
二、把二维图像转换为一维图像
一个大小为m*n的二维人脸图像可以看成长度为mn的人脸图像列向量。为了将二维人脸图像变为以为列向量，我们采取的措施为：首先计算出人脸图像的大小，然后将人脸图像经行转置，最后按列依次取出取出所有灰度值形成大小为MN的一维向量，其实整个阶段的效果相当于将图像的灰度值按行取出依次连接成一维图像向量。
其具体的实现代码为：
for i=1:35
a=imread (strcat (num2str (i),'.jpg')); %读入35张图片作为训练图片，并且把像素存入allsamples中
b=double (a (1:108*75));
allsamples= [allsamples; b];
end
3.2 计算特征空间
一、对所有训练图片进行归一化
在把二维矩阵（图像）转换为一维列矩阵（图像）后，生成一个35*8100的矩阵。对每一行进行平均化，再用原图减去平均值，即得到归一化的图像。
以下为归一化前后的图像对比：
可以看出来，归一化之后，图片发生了比较大的变化。
二、对计算特征空间
人脸训练图像的方差矩阵为T C=AA ，其中人脸训练样本为1[,...,]P A =ΦΦ，
维度为M N P ??，则协方差矩阵C 的维度为2MN （）。
本次实验因为所给图片尺寸较小，而且涉及训练样本较少，可以直接调用matlab 中的eig 函数求取特征值与特征向量。当然，若所给数据库比较大，可以采用SVD 分解等等方式以减少运算复杂度，提高实验效率。
计算出特征值矩阵，设置阈值，算出前N 个特征值，并且取出相应的特征向量，进行提取出来。
一般是通过计算阈值进一步降低维数，这种方法的具体做法是把特征向量和特征值从大到小排列，选取特征值占总特征值之和的比值大于一定值所对应的特征向量。阈值θ一般是取0.9。计算公式是11/p M
i i j j θλλ===∑∑。在本次实验中，因为
本身的图片就比较小，所以取0.91，发现最终符合要求的特征值有20组。（有15组已经不符合要求）
画出特征脸的具体实现为：
r=[];b=[];
for m=1:20
r=resamples(m,:);
b=reshape(r,108,75);
subplot(4,5,m);imshow(b);
end
最终在特征脸如下：
3.3 人脸识别
人脸识别过程分为训练和测试两个阶段。在训练阶段，主要是提取数据库人脸图像的特征，并形成特征库。在测试阶段，主要是提取待识别图像的特征和计算提取的特征和特征库中特征之间的距离测度。
一、训练阶段
将规范化的图像矩阵A中的每一列向量投影到特征子空间，形成特征库。
二、识别阶段
由于本次实验只是要求判断所给图像是否是人脸。在本次实验过程中，先对训练图像进行比对，有实验原理可知，在每次的1-35号的训练图片与数据库进行比对时，与其一致的相应的距离函数应为0。
本部分的实现过程为：
a1=imread (strcat (num2str (i),'.jpg')); %i可以变化读入待测图像
a3=rand(3,75); %已知36号图像矩阵只有105*75，补入数字进行
a4=[a1',a3'];
a5=a4';
%imshow(a5)
b1=double(a5(1:108*75));
t1=b1*ji;
for k=1:35
m1(k)=norm(t1-llcoor(k,:));
end;
对35个训练图片进行比对，本次实验通过judge函数实现。其输入值为训练图片的编号，输出与值为距离函数，即是待测图像与数据库的欧式距离的最小值。
其代码为：
%以下部分实现对所给的训练图像进行比对，并且保持在矩阵distance1中
for r=1:35
distence1(r)=judge(r);
end
judge1=median(m1); %把判断的中间数作为判别依据，大于该值的判断为非，反之则为人脸
save judge1; %因为运算涉及较多的循环，把判决值保存起来。distence2=max(distence1); %取出其中的最大值，作为判断的阈值
最终把所有最大的值保存在distence1矩阵中，通过取定其中的中值为阈值，如果最小距离大于阈值，则不是人脸图像，否则，则判别为人脸。
以下为输入36图像时的结果：
输入37图像时：
由所给图像可以知道，达到了判断的效果。
4 对实验算法的综合评价
本次实验，基本上安装最基本的人脸识别进行。没有涉及到算法改进等方面。（1）算法比较简单，容易实现
（2）因为实验所给的训练图片比较少，实验中直接求特征值与特征向量，当然，
如果涉及的数据比较多，则需要采用SVD分解等以减少运算量从而提高实验的
效率
（3）阈值的选取对实验的影响比较大，一般取0.9左右就可以基本上达到目的。
本次实验到取0.9时，主成分取到前19个，若取0.91，则取到20个。因为本次
实验给的训练图片本来就少。故主成分用来降维的效果并不是很明显。相反，若
是给几百张甚至是上千张训练图片，则通过主成分分析的效果应该很明显。
（4）最终的通过对所以图片的距离函数的中位数作为判断标准，虽然可以减少
复杂度，但是其精确度却在一定程度上收到影响。本次实验因为样本比较小，影
响不大。
总体而言：本次算法比较简单，因为所给样本比较小，最终也取得了比较
满意的效果。但是，对样本比较大，图像比较复杂时，算法在很多方面却得改进。
5 结论
人脸识别是目前较活跃的研究领域, 本文详细给出了基于主成分分析的人脸特征提取的原理与方法。并使用matlab 作为工具平台, 实现了一个人脸自动识别的系统原型。实验结果表明, 该系统识别率较高,对实验所给的测试数据取得了比较合理的结果，达到预期的效果。如果想进一步提高人脸识别率, 可以考虑与其他方法结合。仅单独使用任何一种现有的方法一般都不会取得很好的识别效果, 将其他人脸识别方法组合是今后研究的一种趋势。也可以考虑改进分类决策的方法。本系统采用的最小距离分类法属于线性的分类器, 而利用神经网络这类学习能力更强的非线性分类器对高维人脸识别问题可能会有更好的解决。
6、参考文献
[1] Yongming Qu y，Principal Component Analysis for DimensionReduction in Massive Distributed Data Sets¤
[2] Hillol Kargupta, Distributed Clustering Using Collective Principal Component Analysis
[3] 邵凯，基于PCA的人脸识别算法实现,重庆邮电大学毕业设计（论文）2012年6月
7、附录
1、代码说明：
2、实验感想
（1）对主成分分析自己算是比较了解。在具体代码的实现过程中，有参考网上的模板。
（2）再一次好好熟悉了一遍matlab。
（3）本次实验因为所给样本太少，个人感觉并不一定能够达到很好的PCA的作用的目的。35组数据，其实就是硬算也能取得比较好的效果。
随机过程作业
第三章 随机过程 A 简答题： 3-1 写出一维随机变量函数的均值、二维随机变量函数的联合概率密度（雅克比行列式）的定义式。 3-2 写出广义平稳（即宽平稳）随机过程的判断条件，写出各态历经随机过程的判断条件。 3-3 平稳随机过程的自相关函数有哪些性质功率谱密度有哪些性质自相关函数与功率谱密度之间有什么关系 3-4 高斯过程主要有哪些性质 3-5 随机过程通过线性系统时，输出与输入功率谱密度之间的关系如何 3-6 写出窄带随机过程的两种表达式。 3-7 窄带高斯过程的同相分量和正交分量的统计特性如何 3-8 窄带高斯过程的包络、正弦波加窄带高斯噪声的合成包络分别服从什么分布 3-9 写出高斯白噪声的功率谱密度和自相关函数的表达式，并分别解释“高斯”及“白”的含义。 3-10 写出带限高斯白噪声功率的计算式。 B 计算题： 一、补充习题 3-1 设()()cos(2)c y t x t f t πθ=?+，其中()x t 与θ统计独立，()x t 为0均值的平稳随机过程，自相关函数与功率谱密度分别为：(),()x x R P τω。 ①若θ在（0，2π）均匀分布，求y()t 的均值，自相关函数和功率谱密度。 ②若θ为常数，求y()t 的均值，自相关函数和功率谱密度。 3-2 已知()n t 是均值为0的白噪声，其双边功率谱密度为：0 ()2 N P ω= 双，通过下图()a 所示的相干解调器。图中窄带滤波器（中心频率为c ω）和低通滤波器的传递函数1()H ω及2()H ω示于图()b ，图()c 。
试求：①图中()i n t （窄带噪声）、()p n t 及0()n t 的噪声功率谱。 ②给出0()n t 的噪声自相关函数及其噪声功率值。 3-3 设()i n t 为窄带高斯平稳随机过程，其均值为0，方差为2 n σ，信号[cos ()]c i A t n t ω+经过下图所示电路后输出为()y t ，()()()y t u t v t =+，其中()u t 是与cos c A t ω对应的函数，()v t 是与()i n t 对应的输出。假设()c n t 及()s n t 的带宽等于低通滤波器的通频带。 求()u t 和()v t 的平均功率之比。
随机过程作业题及参考答案(第一章)
第一章 随机过程基本概念 P39 1. 设随机过程()0cos X t X t ω=，t -∞<<+∞，其中0ω是正常数，而X 是标准正态变量。试求()X t 的一维概率分布。 解： 1 当0cos 0t ω=，02 t k π ωπ=+ ，即0112t k πω??= + ??? （k z ∈）时， ()0X t ≡，则(){}01P X t ==. 2 当0cos 0t ω≠，02 t k π ωπ≠+ ，即0112t k πω?? ≠ + ??? （k z ∈）时， ()~01X N ，，()0E X ∴=，()1D X =. ()[]()00cos cos 0E X t E X t E X t ωω===????. ()[]()22 000cos cos cos D X t D X t D X t t ωωω===????. ()()20~0cos X t N t ω∴，. 则( )2202cos x t f x t ω- = ；. 2. 利用投掷一枚硬币的试验，定义随机过程为 ()cos 2t X t t π?=??，出现正面，出现反面 假定“出现正面”和“出现反面”的概率各为 12。试确定()X t 的一维分布函数12F x ?? ???；和()1F x ；，以及二维分布函数12112 F x x ?? ?? ? ，；， 。
00 11101222 11
随机过程作业和答案第三章
第三章 马尔科夫过程 1、将一颗筛子扔多次。记X n 为第n 次扔正面出现的点数，问{X(n) , n=1,2,3,···}是马尔科夫链吗？如果是，试写出一步转移概率矩阵。又记Y n 为前n 次扔出正面出现点数的总和，问{Y(n) , n=1,2,3,···}是马尔科夫链吗？如果是，试写出一步转移概率矩阵。 解：1)由已知可得，每次扔筛子正面出现的点数与以前的状态无关。 故X(n)是马尔科夫链。 E={1,2,3,4,5,6} ,其一步转移概率为: P ij = P ij =P{X(n+1)=j ∣X(n)=i }=1/6 (i=1,2,…,6,j=1,2,…,6) ∴转移矩阵为 2)由已知可得，每前n 次扔正面出现点数的总和是相互独立的。即每次n 次扔正面出现点数的总和与以前状态无关，故Y(n)为马尔科夫链。 其一步转移概率为 其中 2、一个质点在直线上做随机游动，一步向右的概率为p , (0 《随机过程》课程教学大纲 课程编号：02200021 课程名称：随机过程 英文名称：Stochastic Processes 课程类别：选修课 总学时：72 讲课学时：68 习题课学时：4 学分: 4 适用对象：数学与应用数学、信息与计算科学专业 先修课程：数学分析、高等代数、概率论与数理统计 一、课程简介 随机过程是研究客观世界中随机演变过程规律性的学科，它的基本知识和方法不仅为数学、概率统计专业所必需，也为工程技术、生物信息及经济领域的应用和研究所需要。本课程介绍随 机过程研究领域的一些基础而重要的知识和技能。 二、课程性质、目的和任务 随机过程是概率论的后续课程，具有比概率理论更加实用的应用方面，处理问题也更加贴近实际情况。通过这门课程的学习，使学生了解随机过程的基本概念，掌握最常见而又有重要应用 价值的诸如Poisson过程、更新过程、Markov过程、Brown运动的基本性质，能够处理基本的随 机算法。提高学生利用概率理论数学模型解决随机问题的能力。通过本课程的学习，可以让数学 专业的学生很方便地转向在金融管理、电子通讯等应用领域的研究。 三、课程基本要求 通过本课程的学习，要求学生掌握随机过程的一般概念，知道常见的几类随机过程的定义、背景和性质；掌握泊松过程的定义与基本性质，了解它的实际背景，熟悉它的若干推广；掌握更 新过程的定义与基本性质、更新函数、更新方程，了解更新定理及其应用，知道更新过程的若干 推广；掌握离散时间的马尔可夫链的基本概念，熟练掌握转移概率、状态分类与性质，熟悉极限 分布、平稳分布与状态空间的分解，了解分枝过程；掌握连续时间的马尔可夫链的定义、柯尔莫 哥洛夫方程；掌握布朗运动的定义与基本性质，熟悉随机积分的定义与基本性质，了解扩散过程 与伊藤公式，会求解一些简单的随机微分方程。 四、教学内容及要求 第一章预备知识 §1.概率空间；§2.随机变量和分布函数；§3.数字特征、矩母函数和特征函数；§4. 条件概率、条件期望和独立性；§5.收敛性 教学要求：本章主要是对概率论课程的复习和巩固，为后续学习做准备。 第二章随机过程的基本概念和类型 第十二章 平稳随机过程 §1 基本概念 定义1：已给s.p t X t X {=，}T t ∈，若1≥?n ，即T 中任意的,,,21n t t t Λ与 h t h t h t n +++,,,21Λ，n 维r.v ),,(21n t t t X X X Λ与),,(21h t h t h t n X X X +++Λ有相同 的n 维d.f 。即 ) ,,,;,,(),,() ,,(),,,;,,,(2121212121212121n n n h t h t h t n t t t n n x x x h t h t h t F x X x X x X P x X x X x X P x x x t t t F n n ΛΛΛΛΛΛ+++=≤≤≤=≤≤≤=+++ 则称s.p t X 是一个严（强，狭义）平稳过程。 当t X ?n 维d.l 时，则有 ),,;,,,(),,;,,,(21212121n n n n x x x h t h t h t f x x x t t t f ΛΛΛΛ+++= 若取n =1，则有),(),(1111x h t f x t f +=，特别，当T ∈0，可取,1t h -=则有),0(),(111x f x t f =。此时平稳过程t X 的一维d.l 与1t （时间）无关。于是 X X m dx x xf t X E μ=== ?+∞ ∞ -),0()(1 即t X 的均值是一个与时间无关的常数。 其方差 ?∞ ∞ -=-=-=.),0()(][2 22 X X X t t dx x f m x m X E X D σ也与时间t 无关的 常数。 而且T X 的二维d.l 也只依赖于.21t t -=τ即当2t h -=时，有 ).,;(),;0,(),;,(2121212121x x f x x t t f x x t t f τ∧ =-= 所以t X 与τ+t X 之间自相关为 ??∞∞-∞ ∞ -+== =+).(),;(),(21212 1ττττX t t X R dx dx x x f x x X X E t t R 它只依赖于.τ类似地τ+t t X X ,之间协方差为 随机过程习题解答（一） 第一讲作业： 1、设随机向量的两个分量相互独立，且均服从标准正态分布。 （a）分别写出随机变量和的分布密度 （b）试问：与是否独立？说明理由。 解：（a） （b）由于： 因此是服从正态分布的二维随机向量，其协方差矩阵为： 因此与独立。 2、设和为独立的随机变量，期望和方差分别为和。 （a）试求和的相关系数； （b）与能否不相关？能否有严格线性函数关系？若能，试分别写出条件。 解：（a）利用的独立性，由计算有： （b）当的时候，和线性相关，即 3、设是一个实的均值为零，二阶矩存在的随机过程，其相关函数为 ，且是一个周期为T的函数，即，试求方差 函数。 解：由定义，有： 4、考察两个谐波随机信号和，其中： 式中和为正的常数；是内均匀分布的随机变量，是标准正态分布的随机变量。 （a）求的均值、方差和相关函数； （b）若与独立，求与Y的互相关函数。 解：（a） （b） 第二讲作业： P33/2．解： 其中为整数，为脉宽 从而有一维分布密度： P33/3．解：由周期性及三角关系，有： 反函数，因此有一维分布： P35/4. 解：(1) 其中 由题意可知，的联合概率密度为： 利用变换：，及雅克比行列式： 我们有的联合分布密度为： 因此有： 且V和相互独立独立。 （2）典型样本函数是一条正弦曲线。 （3）给定一时刻，由于独立、服从正态分布，因此也服从正态分布，且 所以。 （4）由于： 所以因此 当时， 当时， 由（1）中的结论，有： P36/7．证明： (1) (2) 由协方差函数的定义，有： P37/10. 解：（1） 当i =j 时；否则 令 ，则有 第三讲作业： P111/7．解： （1）是齐次马氏链。经过次交换后，甲袋中白球数仅仅与次交换后的状态有关，和之前的状态和交换次数无关。 （2）由题意，我们有一步转移矩阵： P111/8．解：（1）由马氏链的马氏性，我们有： （2）由齐次马氏链的性质，有： （2） 作业1（随机过程的基本概念） 1、对于给定的随机过程{(),}X t t T ∈及实数x ，定义随机过程 1,()()0,()X t x Y t X t x ≤?=? >?，t T ∈ 请将{(),}Y t t T ∈的均值函数和相关函数用{(),}X t t T ∈的一维和二维分布函数表示。 2、设(),Z t X Yt t R =+?∈，其中随机变量X ，Y 相互独立且都服从2(0,)N σ，证明 {(),}Z t t R ?∈是正态过程，并求其相关函数。 3、设{(),0}W t t ≥是参数为2 σ的Wiener 过程，求下列过程的协方差函数： （1）{(),0}W t At t +≥，其中A 为常数； （2）{(),0}W t Xt t +≥，其中(0,1)X N ，且与{(),0}W t t ≥相互独立； （3）2{(),0}t aW t a ≥，其中a 为正常数； （4）1 {(),0}tW t t ≥ 作业2（泊松过程） 1、设{(),0}N t t ≥是强度为λ的Poisson 过程，令()()()Y t N t L N t =+-，其中L>0为常数，求{(),0}Y t t ≥的一维分布，均值函数和相关函数。 2、设{(),0}N t t ≥是强度为λ的Poisson 过程，证明对于任意的0s t ≤<， (()|())()(1),0,1,,k k n k n s s P N s k N t n C k n t t -===-= 作业3 （更新过程） 1 设{(t),0}N t ≥是更新过程，更新间距,1,2,i X i = 服从参数为λ的指数分布，则 (t),0N t ≥是服从参数为λ的Poisson 分布。 2 某收音机使用一节电池供电，当电池失效时，立即换一节同型号新电池。如果电池的寿命服从30小时到60小时的均匀分布，问长时间工作情况下该收音机更换电池的速率是多少？ 若没有备用电池，当收音机失效时，立即在市场上采购同型号电池，获得新电池的时间服从0小时到1小时的均匀分布，求在长时间工作的情况下，更换电池的速率。 一、1.1设二维随机变量(,)的联合概率密度函数为： 试求:在时,求。 解： 当时，＝ ＝ 1.2 设离散型随机变量X服从几何分布： 试求的特征函数，并以此求其期望与方差。解： 所以： 2.1 袋中红球，每隔单位时间从袋中有一个白球，两个 任取一球后放回，对每 对应随机变量一个确定的t ?????=时取得白球如果对时取得红球 如果对t e t t t X t 3)( .维分布函数族试求这个随机过程的一 2.2 设随机过程 ，其中 是常数，与是 相互独立的随机变量，服从区间上的均匀分布，服从瑞利分布，其概 率密度为 试证明为宽平稳过程。 解：（1） 与无关 （2） ， 所以 （3） 只与时间间隔有关，所以 为宽平稳过程。 2.3是随机变量，且，其中设随机过程U t U t X 2cos )(=求：，.5)(5)(==U D U E .321）方差函数）协方差函数；（）均值函数；（（ 2.4是其中，设有两个随机过程U Ut t Y Ut t X ,)()(32==.5)(=U D 随机变量，且 数。试求它们的互协方差函 2.5， 试求随机过程是两个随机变量设B At t X B A 3)(,,+=的均值),(+∞-∞=∈T t 相互独若函数和自相关函数B A ,.),()(),2,0(~),4,1(~,21t t R t m U B N A X X 及则且立 为多少？ 3.1一队学生顺次等候体检。设每人体检所需的时间服从均值为2分 钟的指数分布并且与其他人所需时间相互独立，则1小时内平均有多少学生接受过体检？在这1小时内最多有40名学生接受过体检的概率是多少（设学生非常多，医生不会空闲） 解：令()N t 表示(0,)t 时间内的体检人数，则()N t 为参数为30的poisson 过程。以小时为单位。 则((1))30E N =。 40 30 (30)((1)40)!k k P N e k -=≤=∑。 3.2在某公共汽车起点站有两路公共汽车。乘客乘坐1,2路公共汽车的强度分别为1λ，2λ，当1路公共汽车有1N 人乘坐后出发；2路公共汽车在有2N 人乘坐后出发。设在0时刻两路公共汽车同时开始等候乘客到来，求（1）1路公共汽车比2路公共汽车早出发的概率表达式；（2）当1N =2N ，1λ=2λ时，计算上述概率。 解： 法一：（1）乘坐1、2路汽车所到来的人数分别为参数为1λ、2λ的poisson 过程，令它们为1()N t 、2()N t 。1 N T 表示1()N t =1N 的发生时 刻，2 N T 表示2()N t =2N 的发生时刻。 1 11 1111111()exp()(1)! N N N T f t t t N λλ-= -- 2 22 1222222()exp()(1)! N N N T f t t t N λλ-= -- 南昌航空大学硕士研究生2009 / 2010学年第一学期考试卷 1. 求随机相位正弦波()cos()X t a t ωθ=+，(,)t ∈-∞+∞，的均值函数，方差函数和自相关函数。其中θ是在（-л，л）内均匀分布的随机变量 2.()X t 是泊松过程，求出泊松过程的均值函数(),X m t 方差函数()X D t ，相关函数(,)X R s t 协方差函数(,)X B s t . 3.设顾客到达商场的速率为2人/分钟，求: (i)在10分钟内顾客达到数的均值； (ii) 在10分钟内顾客达到数的方差； (iii)在10分钟内至少一个顾客达到的概率； (iv)在10分钟内到达顾客不超过3人的概率。(12分) 4.利用重复抛掷硬币的实验定义一个随机过程cos ,(){ 2,, t X t t π=出现正面，出现正面， (,)t ∈-∞+∞ 求:(i)()X t 的一维分布函数1(,),(,1);2F x F x (ii)()X t 的二维分布函数121(,,1);2F x x (iii)()X t 的均值函数(),(1),X X m t m 方差函数(),(1)X X D t D .(16分) 5.设移民到某地区的居民户数是一泊松过程，平均每周有2户定居，如果每户的人口数是随机变量，一户4口人的概率是1/6,一户3口人的概率是1/3,一户2口人的概率是1/3,一户1口人的概率是1/6,并且 每户的人口数是相互独立的，求2周内移民到该地区的人口数的期望和方 6.设{,1}n X n ≥为有限齐次马尔可夫链，其初始分布和概率转移矩阵为 01 {},1,2,3,4.4 i p P X i i ==== 11114444111144441111444411114444?? ? ? ? ? ? ? ? ? ??? , 求(i)201{4|1,14}P X X X ==<<,(ii) 21{4|14}P X X =<<(12分) 7.设明天是否有雨仅与今天的天气有关，而与过去的天气无关。又设今天下雨明天也下雨的概率为0.7,今天无雨明天有雨的概率为0.4，规定有雨的天气状态为0，无雨的天气状态为1.求周一下雨周四也下雨的概率。 8.设{1,2,3,4}I =，其一步转移概率矩阵为: 第三章随机过程作业 1.设A、B是独立同分布的随机变量，求随机过程的 均值函数、自相关函数和协方差函数。 2.设是独立增量过程，且，方差函数为。记随机过程 ，、为常数，。 （1）证明是独立增量随机过程； （2）求的方差函数和协方差函数。 3.设随机过程，其中是相互独立的随机变量且均值为 0、方差为1，求的协方差函数。 4.设U是随机变量，随机过程. (1) 是严平稳过程吗为什么 (2) 如果，证明：的自相关函数是常数。 5.设随机过程,其中U与V独立同分布 。 (1) 是平稳过程吗为什么 (2) 是严平稳过程吗为什么 6.设随机变量的分布密度为, 令, 试求的一维概率分布密度及。 7.若从t = 0开始每隔1/2分钟查阅某手机所接收的短信息 , 令 试求：的一维分布函数 8.设随机过程, 其中是相互独立的随 机变量 , 且, 试求的均值与协方差函数 . 9.设其中为常数 , 随机变量 , 令 , 试求 :和 。 10.设有随机过程，并设x是一实数，定义另一个随机过程 试证的均值和自相关函数分别为随机过程的一维和二维分布函数。11.设有随机过程,，其中为均匀分布 于间的随机变量，即试证： （1）自相关函数 （2）协相关函数 12.质点在直线上作随机游动，即在时质点可以在轴上往右或往左作 一个单位距离的随机游动。若往右移动一个单位距离的概率为，往左移动一个单位距离的概率为，即 ，且各次游动是相互统计独立的。经过n 次游动，质点所处的位置为。 （1）的均值； （2）求的相关函数和自协方差函数和。 13.设，其中服从上的均匀分布。试证 : 是宽平稳序列。 14.设其中服从上的均匀分布. 试 证 :既不是宽平稳也不是严平稳过程 . 15.设随机过程和都不是平稳的，且 其中和是均值为零的相互独立的平稳过程，它们有相同的相关函数，求证 是平稳过程。 16.设是均值为零的平稳随机过程。试 证 : 仍是一平稳随机过程 , 其中为复常数，为整数。 17.若平稳过程满足条件，则称是周 期为的平稳过程。试证是周期为的平稳过程的充分必要条件是其自相关函数必为周期等于的周期函数。 基于主成分分析的人脸识别 目录 基于主成分分析的人脸识别 (1) 1 引言 (2) 1.1 PCA简介 (2) 一、主成分的一般定义 (3) 二、主成分的性质 (3) 三、主成分的数目的选取 (4) 1.2 人脸识别概述 (4) 2 基本理论及方法 (5) 3 人脸识别的具体实现 (6) 3.1 读入图像数据库 (6) 3.2 计算特征空间 (7) 3.3 人脸识别 (9) 4 对实验算法的综合评价 (11) 5 结论 (11) 6、参考文献 (11) 7、附录 (12) 1、代码说明： (12) 2、实验感想 (12) 摘要：本文利用基于主成分分析(Principal ComponentAnalysis，PCA)进行人脸识别。该过程主要分为三个阶段，第一个阶段利用训练样本集构建特征脸空间；第二个阶段是训练阶段，主要是将训练图像投影到特征脸子空间上；第三个阶段是识别阶段，将测试样本集投影到特征脸子空间，然后与投影后的训练图像相比较，距离最小的为识别结果。本方法具有简单、快速和易行等特点,能从整体上反映人脸图像的灰度相关性具有一定的实用价值。 关键词：人脸识别；PCA；识别方式 1 引言 PCA 是一种对数据进行分析的技术，最重要的应用是对原有数据进行简化。正如它的名字：主元分析，这种方法可以有效的找出数据中最“主要”的元素和结构，去除噪音和冗余，将原有的复杂数据降维，揭示隐藏在复杂数据背后的简单结构。它的优点是简单，而且无参数限制，可以方便的应用与各个场合，根据矩阵的行数与列数的区别于差异，PCA 又可以划分为D —PCA （Distributed PCA [1]和C —PCA （Collective PCA ）[2]。 1.1 PCA 简介 PCA 方法，也被叫做特征脸方法(eigenfaces)，是一种基于整幅人脸图像的识别算法，被广泛用于降维，在人脸识别领域也表现突出。一个N ×N 的二维脸部图片可以看成是N 的一个一维向量，一张112×92的图片可以看成是一个10，304维的向量，同时也可以看成是一个10，304维空间中一点。图片映射到这个巨大的空间后，由于人脸的构造相对来说比较接近，因此，可以用一个相应的低维子空间来表示。我们把这个子空间叫做“脸空间”。PCA 的主要思想就是找到能够最好地说明图片在图片空间中的分布情况的那些向量。这些向量能够定义“脸空间”，每个向量的长度为N ，描述一张N ×N 的图片，并且是原始脸部图片的一个线性组合。对于一副M*N 的人脸图像，将其每列相连构成一个大小为D=M*N 维的列向量。D 就是人脸图像的维数，也即是图像空间的维数。设n 是训练样本的数目；X j 表示第j 幅人脸图像形成的人脸向量，则所需样本的协方差矩阵为： S r =1()()N T j i j x u x u =--∑ (1) 其中u 为训练样本的平均图像向量： u =1 1n j j x n =∑(2) 令A=[x 1-u x 2-u ……x n -u],则有S r =AA T ,其维数为D*D 。 1.Players A and B take turns in answering trivia questions, starting with player A answering the ?rst question. Each time A answers a question, she has probability p 1 of getting it right. Each time B plays, he has probability p 2 of getting it right. (a)If A answers m questions, what is the PMF of the number of questions she gets right? The r.v.is Bin(m,p 1),so the PMF is m k p k 1(1 p 1)m k for k 2{0,1,...,m }.(b)If A answers m times and B answers n times,what is the PMF of the total number of questions they get right (you can leave your answer as a sum)?Describe exactly when/whether this is a Binomial distribution. Let T be the total number of questions they get right.To get a total of k questions right,it must be that A got 0and B got k ,or A got 1and B got k 1,etc.These are disjoint events so the PMF is P (T =k )=k X j =0?m j ◆p j 1(1 p 1)m j ?n k j ◆p k j 2(1 p 2)n (k j )for k 2{0,1,...,m +n },with the usual convention that n k is 0for k >n . This is the Bin(m +n,p )distribution if p 1=p 2=p ,as shown in class (using the story for the Binomial,or using Vandermonde’s identity).For p 1=p 2,it’s not a Binomial distribution,since the trials have di ?erent probabilities of success;having some trials with one probability of success and other trials with another probability of success isn’t equivalent to having trials with some “e ?ective”probability of success.(c)Suppose that the ?rst player to answer correctly wins the game (with no prede-termined maximum number of questions that can be asked).Find the probability that A wins the game. Let r =P (A wins).Conditioning on the results of the ?rst question for each player,we have r =p 1+(1 p 1)p 2·0+(1 p 1)(1 p 2)r, which gives r =p 11 (1 p 1)(1 p 2)=p 1p 1+p 2 p 1p 2 .1 SI 241 Probability & Stochastic Processes, Fall 2016 Homework 3 Solutions 随机过程2016 作业及答案 4.1(等待时间的和)设诚恳按照参数λ的Poisson 过程来到公交站，公交车于时刻t 发出，那么在],0[t 时间段内到达的乘客等待时间总和的期望应该如何计算那？ 对于某一个乘客而言，假设其到达时间为k t ，那么他等待时间就是 k t t -所以乘客总的等待时间为∑=-=) (0)()(t N k k t t t S 使用条件期望来处理平均等待))(|)(())((n t N t E E t S E == 对于某已成了而言，其到达时刻k t 随机],0[t 内均匀分布的随机变量。但在车站上，乘客是先后到达次序排队，所以在n t N =)(的条件下， n t t t ,...,,21形成了独立均匀分布的顺序统计量。不过就他们的和n t t ++...1而言，可以那他们看着顺序统计量，也可以把他们看着不排顺序的n 各独立的],0[t 内均匀分布的随机变量，所以 2))((2)2)(())((2 2)())(|)((2 0t t N E t t t N E t E E nt nt nt t E nt n t N t E E n k k λ= ===- =-==∑=从而有 4.2(数值记录)设},{N n X n ∈是一独立同分布的非负期望随机变量序列。定义风险率)(t λ如下) (1) ()(t F t f t -= λ 这里)()(t F t f 和分别是k X 的概率密度分布和分布函数。定义随机过程 )(t N 如下}),,..,max(:{#)(01t X X X X n t N n n n ≤>=- 这里A #表示集合A 中的元素个数。如果把)(t N 中的时间t 看做时间，那么)(t N 是一个非齐次Poisson 过程。事实上，由于k X 彼此独立，所以)(t N 具有独立增量性。很明显0)0(=N ，于是只需要检查一个时间微元内)(t N 的状态。 平稳随机过程及其数字特征 平稳随机过程 粗略的说——随机过程的统计特征不随时间的推移而变化。一.严平稳随机过程 1. 定义设有随机过程{ X(t) , t ∈T}，若对于任意n 和任意t1 因此：严平稳过程的二维数字特征仅是（时间差τ）的函数 综上所述：要按上述严平稳过程的定义来判断一个过程是否平稳?是很困难的。 a)：一般在实用中，只要产生随机过程的主要物理条件，在时间 进程中不变化。则此过程就可以认为是平稳的。 例如：在电子管中由器件的颗粒效应引起的“散弹噪声”，由于产生此噪声的主要物理条件与时间无关，所以此噪声可以认为是平稳过程。 12121212 12 1 21212 2 2 2 (,)(,;)() (,)()()(,;)()()(0)(0)[()] X X X X X X X X X X X X X X R t t x x f x x dx dx R C t t x m x m f x x dx dx C R m C R m D X t τττττσ=?==??==?=?==∫∫∫∫ ∞<)]([2 t X E b)：另一方面，对有些非平稳过程，可以根据需要，如果它在所观测的时间段内是平稳的，就可以视作这一时间段上的平稳过程来处理。即在观测的有限时间段内，认为是平稳过程。 因此，工程中平稳过程的定义如下： 二、宽平稳过程1、定义 若二阶矩过程( )X(t) 满足: E[X(t)]=m x ←常数 R x (t 1,t 2)=R x (τ) ←只与时间间隔(τ=t 2-t 1)有关 则称过程X(t)为“宽平稳随机过程”（广义平稳过程）。 可见：一个均方值有限的严平稳过程，一定是宽平稳过程。反之：一个宽平稳过程，则不一定是严平稳过程。 c)：一般在工程中，通常只在相关理论的范围内讨论过程的平稳问题。即：讨论与过程的一、二阶矩有关的问题。 绘制样本曲线的MATLAB命令： t=1:50:100000; xt1=0.5*cos(0.5.*t+pi/3); subplot(2,2,1) plot(t,xt); axis([1 100000 -1 1]); title('样本曲线一，sita=pi/3'); xt2=0.5*cos(0.5.*t+pi/2); subplot(2,2,2); plot(t,xt); axis([1 100000 -1 1]); title('样本曲线二，sita=pi/2'); xt3=0.5*cos(0.5.*t+3*pi/4); subplot(2,2,3); plot(t,xt); axis([1 100000 -1 1]); title('样本曲线三，sita=3*pi/4'); xt3=0.5*cos(0.5.*t+3*pi/2); subplot(2,2,4); plot(t,xt); axis([1 100000 -1 1]); title('样本曲线四，sita=3*pi/2'); 四条样本曲线图： 选取第一条样本曲线对时间求均值： MATLAB 命令为： avX=sum(xt1)/length(t) avX = 0.0018 泊松过程的模拟： a 采用增量迭加法产生泊松过程 根据泊松过程是一个平稳增量随机过程，那么可知 1100()()()()()()()()n n n N t N t N t N t N t N t N t N t -=-+-+???+-+ 其中1()()()n n N t N t P λτ--= 假设某泊松过程的参数λ=3，时间最大为30，τ=1那么MTALAB 参数的样本曲线命令为 lamda=2;Tmax=30;hao=1; for j=1:4 i=1;N(1)= 0; while(i 随机过程复习题 一、填空题： 1．设}),({0≥t t X 是泊松过程，且对于任意012≥>t t ， )()]()([12123t t t X t X E -=-， 则15 486}6)5(,4)3(,2)1({-====e X X X P ,6 18}4)3(|6)5({-===e X X P 2. 已知马尔可夫链的状态空间为},,{321=I ，初始 分布为),,(4 1 2141， ???? ???? ?????? ??? ?=434 10313131 043 411)(P 则167)2(12= P ，16 1 }2,2,1{210= ===X X X P 3．强度λ的泊松过程的协方差函数},min{),(t s t s C X λ= 4．已知平稳过程)(t X 的自相关函数为πττcos )(=X R ， 则)]()([)(πωδπωδπω-++=X S 5.对于平稳过程X (t)若)()]()([)()(τττX R t X t X E t X t X =+>=+<以概率1成立，则称)(t X 的自相关函数具有各态历经性。 6.已知平稳过程)(t X 的谱密度为232 42 ++=ωωωω)(S ，则)(t X 的均方值= 2 22 2- 7. 随机相位过程),cos()(Θω+=t a t X 其中ω,a 为常数， Θ为),(π20上服从均匀分布的随机变量，则0)(>= ωττcos 2 )()(2 a t X t X >=+< 8．设马尔可夫链},2,1,0,{ =n X n 的状态空间}1,0{=I ， 则一步转移概率矩阵为? ? ? ???=9.01.01.09.0P ，初始分布为)3 1 ,32(0(=p ，则2 X 的分布律为 (2)P = (0.547,0.453) ， 234(1,1,0)________P X X X ====0.09 9.设...)2,1,0(=n X n 是只有两个状态的齐次马氏链，其n 步转移概率矩阵为 ??? ?? ? ? ? -=n n n n D C n P 21311)(，则n n C D == n n 21 ,31 二、计算与证明： 1．设任意相继两天中，雨天转晴天的概率为3 1，晴天 转雨天的概率为2 1 ，任一天晴或雨是互为逆事件，以 表示晴天状态，以1表示雨天状态，n X 表示第n 天的状态（0或1）。 （1） 写出马氏链},{1≥n X n 的一步转移概率矩阵； （2） 在5月1日为晴天的条件下，5月3日为晴天；5月5日为雨天的概率各是多少？ 2．设齐次马氏链的一步转移概率矩阵为 定理、引理及推论部分 定理 5.1（Champan-Kolmogorov 方程，简称C-K 方程） 对一切n,m ≥0,i,j ∈S 有 （1） p () n m ij +=()() ∑ ∈S k n kj m ik p p ; （2） () () () n n n n p p p p p p p ====-- 21.... 定理5.2 每个Markov 链}{ ,2,1,0:=n Y n 都具有强的Markov 性；即， 对每个停时τ，给定直到时刻τ的过去，之后过程Y } { ,1,0:==++n Y n t t 在}{∞ τ 上的分布是P Y . 定理5.3 互通是一种等价关系，即满足： （1） 自反性i ?i; （2） 对称性i ?j,则j ?i ； （3） 对称性i ?j ，j ?k,i ?k. 定理5.4 若状态i,j 同属一类，则d ()i =d ()j . 定理5.5 状态i 为常返状态当且仅当) (n ii n p ∑ ∞ =0=∞；状态i 为非常返态时 ) (n ii n p ∑ ∞ =0 = ii f -11，因而此时) (.0lim =∞ →n ii n p 引理5.1 对任意状态i,j 及1≤n +∞,有 p () ()() ∑ =-= n l l n jj l ij n ij p f 1 . 引理5.2 若i ?j 且i 为常返态，则f .1=ii 定理5.6 常返态是一个类性质. 定理5.7 任意Markov 链的状态空间S ，可惟一分解为有限个或可列个互不相交的子集D,C 1 ,C ,2 之和，使得 （1） 每一个C n 是常返状态组成的不可约闭集； （2） C n 中的状态同类，或者全是正常返态，或者全是零常返态。 它们有相同的周期且f . ,,1n ii C j i ∈= （3） D 由全体非常返态组成.自C n 中状态出发不能到D 达中状态. 定理5.8 周期为d 的不可约Markov 链，其状态空间S 可惟一地分解为d 个互不相交的子集之和，即 S=1 0-=d r S r , S ,φ=?s r S r ≠s, 且使得自S r 中任意状态出发，经1步转移必进入中（其中S = d S 0 ）. 定理5.9 若状态i 是周期为d 的常返状态，则 ∞ →n lim p ( ) ,j nd jj d μ = 当∞ =j μ 时， =j d μ . 推论5.1 设i 为常返状态，则i 为零常返状态? () .0lim =∞ →n ii n p 定理5.10 若j 为非常返状态或零常返状态，则对S i ∈?， () .0lim =∞ →n ii n p 推论5.2 有限状态Markov 链，不可能全为非常返状态，也不可能有零常返状态，从而不可约的有限Markov 链是正常返的. 推论5.3 若Markov 链有一个零常返状态，则必有无限个零常返状态. 定理5.11 若j 为正常返状态且周期为d ，则对i ?及0≤r ≤d-1,有 () () .lim j ii r nd ij n d r f p μ =+∞ → 推论5.4 设不可约的、正常返的、周期为d 的Markov 链，其状态空间为S,则对任何状态i →j,i,j ,S ∈有随机过程
第十二章 平稳随机过程
随机过程习题答案A
随机过程作业(全部)
随机过程习题和答案
随机过程作业
第三章随机过程作业
随机过程第一次大作业(THU)
随机过程2016作业及答案3
随机过程及其应用-清华大学
平稳随机过程及其数字特征
随机过程课程作业(附MATLAB源码)
随机过程习题答案
随机过程作业