面部表情识别与面孔身份识别的独立加工与交互作用机制_汪亚珉

心理科学进展 2005，13（4）：497~516

Advances in Psychological Science

面部表情识别与面孔身份识别的

独立加工与交互作用机制*

汪亚珉1，2 傅小兰1

（1中国科学院心理研究所，脑与认知国家重点实验室，北京 100101）（2中国科学院研究生院，北京 100039）

摘 要面孔识别功能模型认为，面部表情识别与面孔身份识别是两条独立的并行路径。以往诸多研究者都认可并遵循二者分离的原则。但近期研究表明，面部表情识别与面孔身份识别存在交互作用。首先总结和分析已有的面部表情识别的研究成果，评述神经心理学与认知神经科学研究中的论争，然后介绍人脸知觉的分布式神经机制以及相关的实验证据，最后提出面部表情识别与面孔身份识别的多级整合模型，并展望研究前景。

关键词面孔身份识别，面部表情识别，面孔识别功能模型，人脸知觉的分布式神经模型，多级整合模型。分类号 B842

面孔识别一直备受研究者关注。20世纪70年代，Ekman和Frisen系统地研究了人脸基本表情的文化普遍性，并从解剖学角度提出了6种基本的面部表情[1]。20世纪80年代，Bruce和Young系统地研究了人对面孔的识别及其影响因素，提出了经典的面孔识别功能模型[2]。自此，面孔识别成为认知科学研究领域中的热点问题之一。

人能轻易地从不同表情中识别出同一个人的面孔（即面孔身份识别，facial identity recognition），也能从不同人的面孔上识别出同一种表情（即面部表情识别，facial expression recognition），识别得如此精巧，以至众多研究者相信，识别面孔与识别表情

收稿日期：2005-04-24

* 本研究得到中国科技部973项目（2002CB312103）、国家自然科学基金重点项目（60433030）和面上项目

（30270466）、中国科学院心理研究所创新重点项目

（0302037）经费支持。

通讯作者：傅小兰，E-mail: fuxl@https://www.docsj.com/doc/5c4561488.html, 两者相互独立，互不干扰[2～7]。那么，这种分离识别究竟是如何实现的？面孔身份识别与面部表情识别究竟是彼此独立的还是相互作用的？这已成为认知科学（尤其是计算机视觉）面孔识别研究领域中亟待解决的一个重要问题。

在过去开展的大量研究中，对面孔身份识别问题的探讨相对比较深入，而对面部表情识别的研究则囿于经典功能模型，并未能取得实质性进展。近年来随着脑认知研究技术的发展，面部表情识别的研究也在不断深入，研究者对面部表情识别与面孔身份识别间的关系也提出了新的阐释。本文在综述已有研究的基础上，试图进一步探讨面部表情识别与面孔身份识别之间的独立加工与交互作用机制。首先，基于经典面孔识别功能模型，分析传统的面孔身份识别与面部表情识别的并行分离加工观点，以及行为学、神经心理学与认知神经科学的研究发现；其

-498- 心理科学进展2005年

次，介绍新近提出的分布式人脸知觉神经机制，以及相关的实验证据；最后，从知觉表征及加工阶段的角度，探讨面孔身份识别与面部表情识别之间的交互机制，提出基于自上而下加工的多级整合模型，并展望研究前景。

1 面部表情识别与面孔身份识别的并行双路径加工

1.1 面孔识别功能模型

Bruce和Young基于前人有关人脸识别的研究，于1986年提出了面孔识别功能模型（functional model for face recognition）[2]。如图1所示，该模型从信息加工角度区分出7类面部识别的信息编码：图形码，结构码，身份码，视觉语义码（年龄与性别），姓名码，表情码和面部言语码（唇读或注视方向等）。其中图形码提供光照、纹理(grain)、瑕疵以及表情信息（相当于面部的二维表征，Marr称之为2.5维表征[8]）；结构码捕捉区分不同脸的轮廓信息（相当于面部的三维表征）。Bruce和Young认为，图形码和结构码是面孔识别加工的基础，而其余5种编码则涉及进一步的个体面孔信息的确认。

图 1 Bruce-Young 经典面孔识别功能模型

引自Bruce V, Young AW. Understanding face recognition. British journal of psychology, 1986, 77: 305~327

面孔识别功能模型从功能角度把面孔识别划分为两大独立的过程：一是面孔身份

第12卷第4期面部表情识别与面孔身份识别的独立加工与交互作用机制-499-

识别，主要是识别面孔身份的语义信息，如特定面孔的姓名信息；另一个是面孔分类信息识别，即识别面部的普遍属性信息，包括性别、年龄及表情等。该模型认为，这两类信息的加工是并行独立的[2,5]。根据这种面孔身份识别与表情识别并行双路径加工观点，表情对面孔身份识别是不重要的，表情只不过是以观察者为中心的描述(viewer-centered descriptions)。

结构码和以观察者为中心的描述均来自Marr提出的物体识别三阶段理论[8]。Marr 认为，物体识别有三个阶段：一是初级要素图（primal sketch）阶段，其次是以观察者为中心的描述阶段，最后是以客体为中心的描述（object-centered description）阶段。Young认为，人脸的识别比较特殊，以客体为中心的描述对人脸的识别并不重要，因而在其模型里并不强调这种描述[5]。在面孔识别功能模型中，结构码被设定为后面各路径加工的共同基础，因此，该模型具有一定的层级属性。模型中多路径并行的结构也为解释面孔识别加工提供了较多的灵活性。在后续的大量工作中，功能模型被视为面孔识别研究的基本框架和经典模型，产生了广泛的影响。

1.2 并行双路径加工的行为学依据及其挑战

1.2.1 支持并行双路径加工的实验证据

Bruce用熟悉与不熟悉人的面部表情图片设计了3个快速分类（speeded classification task）实验[3]。实验一要求被试进行表情分类判断，结果发现判断不受熟悉度影响；实验二要求被试进行性别判断，结果发现熟悉度显著影响判断；实验三要求被试判断是原始图片（intact face）还是改动过的图片（jumbled faces），结果发现熟悉度显著影响这种身份判断。实验结果出现了分离：熟悉度影响身份识别，但并不影响表情判断。这支持功能模型假设，因为这里的熟悉度仅仅是指对面孔身份的熟悉程度，与面部表情的熟悉程度无关，因此，如果面孔身份识别与面部表情识别相互间不独立，那么面孔身份熟悉度在影响面孔身份识别的同时也会影响面部表情识别。

采用同样的分离范式，Young[5]也设计了一系列身份或表情匹配任务实验，考察熟悉度对面孔身份识别与面部表情识别的影响。结果也支持功能模型：面孔身份识别受面孔身份熟悉度的影响，表现为对熟悉面孔的身份识别快于对不熟悉面孔的身份识别，但面部表情的判断不受面孔身份熟悉度的影响。

这种熟悉度不影响面部表情识别的观点还得到重复启动研究的支持。Ellis等[9]用重复启动效应考察了熟悉度判断与面部表情判断，实验中第一阶段让被试看一些面孔图片以熟悉这些图片，第二阶段让被试对熟悉的与不熟悉的面孔图片进行熟悉度、表情及性别判断，结果发现熟悉度判断上出现重复启动效应，而面部表情判断与性别判断上未出现明显的重复启动效应，即熟悉度不影响表情识别，结果支持并行独立路径假设。

Calder和Young[6]用混合范式（即面孔的上下两半分别由不同的身份和/或表情组成）做的实验表明，表情变化不影响身份识别，身份变化也不影响表情识别，这也支持并行独立路径假设。后来，Calder等[7]又用计算机分析的方法，对人脸灰度图片进行像素主成分分析，结果发现编码表情信息的主成分与编码身份信息的主成分不同，彼此之

-500- 心理科学进展2005年

间是独立的，这为面部表情识别与面孔身份识别的并行独立加工假设提供了物理特征的基础。此外，Deruelle等[10]比较了成人与儿童识别面孔身份与识别面部情绪时所使用的空间频率之间的差异，也认为面孔身份识别独立于表情识别和性别识别。

1.2.2 质疑并行双路径加工的实验发现

在大量研究支持功能模型假设的同时，也有一些研究质疑功能模型假设。Endo等[11]给被试呈现熟悉与不熟悉的三种不同表情（中性，快乐，愤怒）的面部图片，让被试进行面孔熟悉度判断，记录反应时。结果发现，在识别熟悉面孔图片时，被试对无表情面孔（中性）的熟悉度判断快于对表情面孔（快乐或愤怒）的熟悉度判断。Endo等接着给被试呈现名人的中性或快乐面孔图片，结果发现，对快乐面孔的熟悉度判断要快于对中性面孔的熟悉度判断。Endo等的结果表明面部表情影响熟悉度判断，进而质疑并行独立路径假设。

Sansone和Tiberghien[12]也报道了一个面部表情效应的研究：被试首先通过观看图片以熟悉这些图片，然后进行测试。实验分为两种条件：一种是单编码条件，给被试看5遍同一张带表情的图片；另一种是混合编码条件，给被试前4次看同一张带表情的图片，第5次给被试看同一面孔身份但表情与前面4张不同的图片。看完图片后进行测试，测试时给被试呈现一个与前面学习过的图片表情不同而身份相同的图片，考察再认率。结果发现，单编码条件下的正确识别率要明显低于混合编码条件，说明表情影响身份识别。

表情效应似乎对熟悉面孔比较敏感。最近，Kaufmann等[13]用熟悉与不熟悉面孔的快乐与愤怒表情图片作为目标情绪，用计算机拟合出连续变换的情绪图片，让被试根据熟悉度进行快速分类。结果发现，表情不影响对不熟悉脸的分类，却影响对熟悉脸的分类，当表情为适度快乐时分类速度最快。这表明表情对面孔熟悉度有影响。

比较争执双方的实验证据可以发现，Bruce[3]和Young[5]只是让被试做面孔身份或面部表情判断，并没有让被试对熟悉度进行判断以考察表情的作用，所以未能发现表情对身份识别的影响。若采用不同的判断任务，会得到不同的研究结果，相关研究已证实了这一点。例如，Baudouin等[14]用名人与一般人的微笑与中性表情脸进行著名程度、熟悉度分类测试，结果发现微笑提高了对面部熟悉度的评价；Baudouin等[15]设计的面部表情与面孔身份的分类任务实验发现，身份变量影响表情分类，而表情变量不影响身份分类。实际上，熟悉度不能简单等同于面孔身份的熟悉程度，熟悉面孔的表情也有熟悉度问题。换句话说，熟悉度与面孔身份、面部表情识别之间存在复杂的交互作用。Schweinberger等[16,17]的研究发现，面孔身份识别与面部表情识别间具有一种不对称的干扰关系，即面孔身份信息对面部表情识别的影响易显现出来，而面部表情信息对面孔身份识别的干扰则较难表现出来。

其实，在Bruce 与 Young提出的熟悉度影响面孔识别的研究范式中，三个重要变量（面孔身份、熟悉度与面部表情）之间的关系并不是简单划一的，相对而言，只有面孔身份与熟悉度之间的关系比较明确，而表情与面孔身份以及表情与熟悉度间的关系还受其他一些因素的影响。例如，表情有正性与负性之分，而正性与负性情绪对认知有

第12卷第4期面部表情识别与面孔身份识别的独立加工与交互作用机制-501-

不同的影响，它们在情绪评价中甚至不处于同一个维度[18]。而表情识别与熟悉度间的交互更是具有多重性：熟悉面孔的表情可能具有或表现出独特的表达模式，而人们对不同表情的反应本身也会有快、慢反应通道之别[19]。因此，用熟悉度来检验面孔身份识别与面部表情识别的并行独立假说是否恰当有待商榷。

1.2.3 交互加工与结构参照假说

虽然一些实验证明了表情对熟悉度判断的影响，但直接证明表情影响面孔身份识别的研究还很罕见。系统考察表情对面孔身份识别的影响是分析表情识别与身份识别之间独立与交互加工的重要依据。

Ganel等[20]以Garner效应作为测量指标，考察了面孔身份识别与面部表情识别之间的交互作用。Garner效应是Garner提出的研究两个维量之间交互干扰程度的一种测量指标，经典的Garner实验范式包括两个实验组段，考察两个维量之间的交互影响[20～22]。在面孔身份与表情识别的交互影响实验中，典型的Garner任务设计是：在组段一中要求被试只根据一个维量（如表情）进行快速分类作业而另外一个维量（如身份）保持恒定（称为基线组段），而在组段二中要求被试同样根据维量一进行快速分类但维量二则是变化的（称为过虑组段），分别记录两个组段中的反应时成绩，然后以两个组段中被试的平均反应时成绩差作为维量二对维量一的干扰效应量。Ganel等的实验结果验证了面孔身份对表情识别的干扰以及面部表情对面孔身份识别的干扰，并用面孔的区分度（discriminability）及典型性（typicality）解释了表情对面孔身份识别的干扰效应较弱的原因：相对于表情的区分度，面孔身份的区分度明显更大一些。

Ganel等[20]进而提出了面孔身份识别与面部表情识别的结构参照假说（structural reference hypothesis），假设一个面孔的潜在结构（the underlying structure of a particular face）将决定该面孔会以什么样的特殊方式表达情绪。基于这一假说可做出以下两个推论：因为身份比表情更容易区分，所以身份识别（计算）应该快于表情识别；熟悉度是身份与表情的交互中介，面孔的熟悉度会影响Garner效应，即相对于不熟悉的面孔，熟悉面孔的Garner效应更大。这两个推论得到实验结果的支持[20]。需要指出的是，虽然区分度与典型性能较好地解释熟悉度在面孔身份识别与面部表情识别中的作用，但由于潜在结构这一概念本身比较抽象，潜在结构与面孔身份识别与面部表情识别两者间的关系似乎并不明确。

人脸识别的特殊性就在于它受众多因素的影响。若单纯比较差异，人脸之间的差异甚至可能比我们见到的物体类别内的差异还小，因此，像熟悉度、区分度及典型性这些变量在人脸识别中都有重要的作用。Ganel等人在研究中提出的结构参照假说中的结构，更像是熟悉度、区分度及典型性交互的共同基础。从这一点看，潜在结构假说比Bruce和Young仅仅强调熟悉度这一个变量更为全面，对身份识别与表情识别关系的解释也更强调交互性。此外，按照经典功能模型的划分，不仅存在表情识别与身份识别的并行加工路径，而且存在面孔身份识别与分类特征的识别的并行加工路径，因为性别与表情都属于面部分类特征，所以性别识别与身份识别也是并行加工的[2,5]。但是，有关性别识别与身份识别间关系的研究结果也

-502- 心理科学进展2005年

不支持经典功能模型[23]。因此，经典功能模型关于面孔身份与面部分类信息识别二者并行独立加工的假设，面临着巨大的挑战。

1.3 并行双路径加工的神经心理学事实及其局限性

如果说行为学研究尚不足以证实面孔身份识别与面部表情识别的并行双路径加工的观点，那么神经心理学研究似乎提供了更重要的证据。最为典型的是面孔失认症(prosopagnosia或agnosia)与杏仁核受损伤病人表现出的面孔识别机能的选择性受损：前者表现为不能识别熟悉人的面孔身份，但可保留对面部情绪线索的识别；后者则表现为不能识别面部的一些表情，但能识别面孔身份（相关研究的综述见下面）。这些病人的症状都是特定的大脑皮层区域受损引起的，这种限定性大脑皮层区域损伤引起机能的选择性丧失证明了面孔身份识别与面部表情识别在机能上可分离，而这种机能上的分离提示这两种加工可能存在相互独立的脑神经通路。如果能确认存在相互独立的脑神经通路，那么并行双路径加工假设就得到强有力的证明。

1.3.1 失认症病人的研究

研究者用失认症病人进行了大量的面孔识别研究。失认症主要分为知觉性失认（apperceptive agnosias）与关联性失认（associative agnosias）两大类，前者被认为是视知觉受损导致失认，而后者则被认为是视知觉正常但相应的知识关联受损导致失认[4,24～26]。就已有的案例而言，[24,27]大多数失认症病人是面孔身份识别与面部表情识别均受损，只有少数出现面孔身份识别与面部表情识别受损的分离；在面孔身份识别受损的病人中，有些还会伴有物体识别能力的受损。

失认症病人面孔识别的这种选择性受损，预示着面孔身份识别与面部表情识别之间可能存在相互独立的脑神经通路。有关正常被试的脑皮层诱发电位研究发现，N170脑电成分可能是面孔身份识别的特有成分，而N400附近的负波成分则与表情识别有关[28～32]。但是，N170是否就是面孔身份识别的特异反应，目前尚存在争议[31]。

为了进一步探讨失认症病人的这种面孔身份识别与面部表情识别的分离受损情况，Ellis等[33]将失认症病人与另外一种Capgras错觉症（Capgras delusion）病人进行了对照研究。Capgras错觉症病人的症状表现为，怀疑自己身边的亲人被人冒充。虽然这些病人视觉正常，但总认为身边的亲人不是原来的亲人，不能认同，不过病人能从声音或其它信息上正常识别身边的人。Ellis 等经过分析认为，这类病人在对面孔进行识别时，其外显层面的视知觉正常，但是其内隐层面的识别能力丧失，因而当外显层面正确识别之后得不到内隐层面的验证，就会被个体的合理化认知防御策略解释为替换。

对照分析失认症病人，Ellis等认为，失认症病人损伤情况正好与Capgras 错觉症病人相反：面孔识别的外显层面受损，表现为身份识别不能，但其内隐层面识别正常（自主神经系统对熟悉面孔的识认反应正常）。为证明这种推测，Ellis等对这两类病人的自主神经系统（皮肤电测量）及脑诱发电位反应进行了测试，结果支持上述推测。据此，Ellis等认为熟悉面孔的识别应该包含两个过程，一是外显的视知觉辨认过程，另一个是内隐的情绪性信息的匹配确认过程。当外显辨认过程受到损伤就形成失认症，而

第12卷第4期面部表情识别与面孔身份识别的独立加工与交互作用机制-503-

当内隐的情绪性确认过程损伤，即形成Capgras错觉症。根据这一划分，Ellis对经典的功能模型进行了修改（见图2）。

从模型中可以看出，熟悉面孔的身份识别过程需要获取情绪性反应信息，如果这里的情绪性反应信息与面部表情识别中涉及的情绪性反应信息是来自相同的情绪反应系统，那么面孔身份识别与表情识别就不应该是完全独立的加工路径，它们之间必须要有信息的交流，这样面孔身份识别与情绪性反应之间才能形成完整的反馈环路。如果这两类情绪性信息来自不同的情绪反应系统，那么就面临以下问题：这两种情绪性反应有什么不同？为什么会有这种不同？

图2 Ellis的面孔失认症与capagras错觉症病人视觉受损模型

来源：Ellis HD, Lewis MB. Capgras delusion: a window on face recognition. Trends in Cognitive Sciences, 2001, 5(4): 149~156

1.3.2 杏仁核损伤病人的研究

杏仁核损伤病人是面部识别研究的另外一类重要临床对象，这类病人大多出现不同程度的负性面部表情识别困难。有关这方面的研究很多，Posamentier等[34]综述过3个最有代表性的案例研究：第一个是Adolphs等[35,36]关于SM的研究。SM是个三十多岁Urbach-Wiethe病人，疾病导致其双侧杏仁核灰化与萎缩，SM经常把恐惧表情评价为惊奇与愤怒，而且把高强度情绪评价为很弱的情绪。相对于正常者，SM不能解释情绪之间的相似与混合，不能画出恐惧的面部表情，但知道语词概念的恐惧。SM不能正常识别表情，但能正常识别面孔，所以Adolphs认为杏仁核的作用是连接表情的视觉表征与情绪的概念表征。Adolphs等[37]对SM的进一步研究表明，恐惧表情识别困难与被试不能主动地注视眼睛部位有关。据此，Adophs认为杏仁核与这种注意集中调节有关。

第二个案例是Young等[38]关于DR的研究。DR左侧杏仁核大范围损伤与右侧杏仁核小范围损伤，虽然表情识别严重受损，但不熟悉人的面孔匹配能力正常，可是当面孔匹配中两面孔身份相同而表情不同时，DR 就会错认为是两个不同的人。与SM一样，

-504- 心理科学进展2005年

知道语义概念的情绪。

第三个案例是Anderson和Phelps[39]关于SP的研究。SP右杏仁核摘除，左杏仁核受损，右颞叶切除，面孔身份识别正常，并能识别面部年龄与性别，但恐惧、恶心与伤心表情识别评价受损，快乐表情评价略微受损，愤怒与惊奇的评价完好，情绪的语义概念与前两位一样，完好无损，SP不能识别恐惧表情但能表达恐惧表情。

由上述三个案例可以发现，杏仁核受损表现为面部表情识别受损，但面孔身份识别正常。这一结果在其他病人身上也得到验证[40]。这种分离受损可能正如Adolphs所解释的那样，杏仁核受损伤导致情绪的视觉表征与概念表征之间不能匹配。这里的视觉表征与概念表征之间不能匹配，与前面的关联性失认症病人的失认原因有很强的可比性，都是视知觉正常，但视知觉与相关知识表征的关联失败。

然而，研究中也有一些例外。Hamann 等[41]研究发现，两个双侧杏仁核受损的病人（一个73岁，另一个59岁，两者均在50岁后因单纯疱疹脑炎导致双侧杏仁受损）并未表现出表情识别受损，而研究中用的测试材料与测试SM的一样。Adolphs等[42]也报道了同样的病例。这说明面孔身份识别与表情识别的神经机制可能是多区域的，单纯的局部脑皮层区反应差异未必能说明面孔身份识别与表情识别的分离。

脑损伤病人的损伤区域多半不局限于某个特定的机能区，所以很难确切地验证到底是哪一个具体机能区域受到损伤，这也可能是研究结果出现多样性的原因。另外，相同的损伤区域也可能与多种机能相关，比如有的失认症病人也表现出对物体识别的受损，因而就有学者提出失认症导致的是一种亚范畴内专家水平分类能力受损（deficits in within-category discrimination），而不是所谓的特异性面孔身份识别能力受损[43～45]。

综上所述，尽管神经心理学研究对并行双路径加工的验证还有待进一步的探讨与确认，但有一点是肯定的，即：神经心理学研究给出了两系统机能可分离的事实，然而这种机能分离未必能证明加工路径上的分离。

1.4 面部表情识别与面孔身份识别的特异性脑区

神经心理学的研究未能确认面孔身份识别与面部表情识别的并行独立加工假说，但却提示存在相应的脑皮层区域。如果面孔身份识别与表情识别确实是并行独立的加工路径，那么面孔身份识别与面部表情识别就存在不同的脑神经通路，如果能证实，那就能确认面孔身份识别与面部表情识别是并行独立的加工机制。为此研究者利用各种认知神经科学的技术手段进行了研究。要证明面孔身份识别与面部表情识别之间的并行加工路径假说，从认知神经科学研究的方法上来看有两种可行的方式：一是证明确实存在独立的，区分面孔身份识别与面部表情识别的大脑皮层区域；二是验证时间上/形态上独立区分的生理信号。对应于这两种可行的方式，研究者们分别采用了脑成像与电生理的技术手段进行了相关研究。有关结果简述如下，详情请参阅徐岩等[46]以及张伟伟等[47]的综述。

利用精确的神经元定位的研究手段，Hasselmo等[48]考察了短尾猴颞视皮质区对面孔特异反应的神经元，结果发现对表情反应的神经元在颞上沟（superior temporal

第12卷第4期面部表情识别与面孔身份识别的独立加工与交互作用机制-505-

sulcus, STS），而对身份反应的神经元在颞下回。这是最早提出面孔身份识别与面部表情识别对应不同脑皮层区域的研究。

接着，在人类被试身上，有关面孔身份识别与面部表情识别的脑皮层特异区域最经典的研究是Kanwisher等[49]做的fMRI研究，研究中他们发现右侧梭状回对面部（相对于物体）有强烈激活，因而认为梭状回（fusiform gyrus）在面孔身份识别中有重要的作用，为表示此区对面孔反应的特异性，他们把此区称为梭状回面孔区（Fusiform Face Area, FFA），这就是后来被广泛沿用的面孔身份识别的FFA区。在FFA提出之后，Kanwisher研究小组又设计了一系列实验，系统地考察了FFA对人脸、动物脸、动画脸、物体以及注意朝向与投入、面孔倒置等的区别反应，结果验证了这种FFA的激活是面孔身份特异反应区[50,51]。而STS与表情识别之间的关系也得到相关研究的支持[34,52]。

利用脑诱发电位技术，Bentin研究小组研究[30,32,53]发现，N170与面部识别相关联，N400附近有一个明显的负波，被认为与表情识别关联。Allison等 [29]在一个严重的失认症病人身上的实验也发现，正常组对面孔产生一个增强的N170（相对于房子）而病人组却没有出现这种区分。

综合上述研究结果可以看到，脑成像研究能够支持面孔身份识别与面部表情识别存在特异性脑区，同时，脑诱发电位研究也基本发现了为面孔身份识别与面部表情识别相区分的诱发电位成分。如果进一步的研究事实能确认这些发现，那么就有理由认为面孔身份识别与面部表情识别之间是一种并行独立加工机制。

1.5 面孔识别的脑区特异性与亚范畴内专家水平分类的普遍性

在面孔身份与面部表情识别的特异性脑区提出后，研究者分别从各个角度对此进行了验证，其中有不少研究对这种特异性脑区提出疑问，相关研究情况简述如下，详细报道请参阅徐岩等[46]以及张伟伟等[47]的综述。

Kreiman等[54]的研究发现，位于颞上皮质（IT）的单个细胞具有视觉刺激的选择性激活，但是这种细胞选择性激活也可以在后来的视觉辨别训练中出现，可见神经元的激活反应与经验有很大的关系。尽管不少研究证明FFA与STS的存在[34,49～52]，但还是不能排除亚范畴内专家水平分类（within category discriminating）的嫌疑，即这种脑区激活代表的只是一般性的物体类别内区分不同个体的一种经验，而不只是面孔识别的独有经验[43～45]。这一结论与Kanwisher研究组提出的FFA结论[49～51]正好相反。亚范畴内专家水平分类（within category discriminating）的结论也得到来自孤独症病人研究的支持[55, 56]。

面孔识别是否存在特异性脑区，神经心理学、认知神经科学的研究均无法确凿地回答，面孔身份识别与面部表情识别是否只是一种亚范畴内专家水平分类经验尚难确定[43～57]。正如Grand等[58]在先天白内障患者身上所发现的那样，白内障导致患者的早期视觉发展受阻，引起后来面孔识别的轮廓加工受损，但对物体（几何图形）的轮廓加工并未受到损害。可见，面孔识别即使有特异性脑区，这一脑区似乎也不是先天就形成而更可能与后天的经验有很大关系[57]。

1.6 小结

以上这些研究表明，面孔身份识别与面

-506- 心理科学进展2005年

部表情识别在机能上的可分离是事实，但神经机制以及心理加工路径上的独立仍然缺乏切实的证据。行为学研究的结果并未能一致确认并行双路径加工机制，而是倾向于认为这两者之间是一种交互作用；神经心理学虽然提供了机能上分离受损的事实，但相应皮层区域损伤导致不一致的机能损伤却也是事实；认知神经科学的研究表明所谓的面孔身份识别与面部表情识别的特异性脑区也只是相对的，可能与专家经验（expertise）相关联。以上这些研究一致性地表明，完全并行独立的加工路径不能解释所有的研究结果，局部的交互与反馈是并行独立模型的必要补充。

2 人脸知觉的分布式神经机制对表情与身份识别的解释

虽然失认症及杏仁核受损伤病人的机能损伤能为面孔身份识别与表情识别的并行路径假设提供依据，但仍然不能确认，更无法支持表情信息对面孔身份识别无关紧要的观点。行为学实验发现的表情对面孔身份识别的影响难以在并行分离假设中得到解释，神经心理学的证据只能从脑皮层的机能区域上来说明问题，而无法真正从神经机制上找到完全区分的加工路径。绝对的并行独立路径假设不能很好地解释已有实验事实，而绝对的单一路径也说明不了各方面的实验事实。随着相关研究结果不断积累，越来越多的研究者似乎更加赞同这两者之间是一种分布式交互机制。

2.1 面孔身份与面部表情识别的脑皮层多区域激活

面孔身份识别的脑皮层特异区难以确定的另外一个重要原因是识别本身可激活多个相关脑皮层区域。Ishai等[59]总结过面孔识别的相关脑区，发现总共有6个皮层区域显著地与面孔识别相关：腹颞皮质的梭中回（medial fusiform gyri），外侧梭状回（lateral fusiform gyri），颞下回（inferior temporal gyri）；腹枕皮质的后梭状回（posterior fusiform gyri），枕下回（inferior occipital gyri），枕中回（mid-occipital gyri）。面部表情识别则明显包括两大区域，颞下皮质与杏仁核。这种广泛的皮层区域激活用面孔识别特异区的观点难以解释。

Ganel等[60]最近设计的fMRI研究也表明，FFA区域并不是过去所认为的那样只是面孔身份识别的专门区域而不是表情识别的相应区域。当给被试看同一系列表情图片时，两组被试一组要求注意面孔身份识别，另一组要求注意表情，结果是要求注意表情的那一组FFA高度激活。可见，面部表情刺激可以激活面孔身份识别对应的脑区，支持面孔识别的多区域协同工作观。

面孔识别的脑皮层区域相对性在临床病人的研究中也得到验证。Marotta等[61]使用fMRI技术对两个失认症病人进行研究发现：相对于正常组，病人组在面孔身份识别时出现很强烈的梭状回尾端激活，而梭状回一直被认为是面孔身份识别的特异大脑区域，研究者因此认为，这种尾端激活可能就是正常梭状回受损伤后的一种补偿。这一研究结果也说明，面孔识别的皮层区域并不是绝对不变的，当所谓的特定区域受损伤后，其它区域仍然可以形成相应的机能补偿，支持多区域协同工作的观点。

Hadjikhani等[62]利用fMRI技术对三个失认症病人的研究发现，虽然病人组在实验中并没有显示出梭状回中部（mid-fusiform gyrus）与枕下回对面孔的激活高于对房子的

第12卷第4期面部表情识别与面孔身份识别的独立加工与交互作用机制-507-

激活，但是三名被试在面孔侦察任务中却表现正常，这说明，公认的梭状回面孔区可能只是对应于面孔身份识别的部分认知加工过程，面孔身份识别整个过程涉及的可能是多个皮层区域。同样的结论也得到Adolphs 等[42]的研究支持。

从上面的这些研究可以看出，面孔身份与面部表情识别的特异区只是相对的，面孔身份识别涉及多个皮层区域，即使是普遍认同的梭状回面孔区也会在面部表情识别中被激活，而面部表情识别更是明显地涉及颞下皮质与杏仁核两大区域。单一的皮层特异区似乎很难解释已有的实验结果，多皮层区域的协同工作更符合实际情况。

2.2 人脸知觉的分布式神经模型

Gauthier等与Kanwisher等的研究得出相反的结论，面孔身份与面部表情识别的特异性脑区假说难以解释这种不一致的结果。越来越多的实验证明，面孔身份与面部表情识别是多皮层区域共同完成。Haxby等[63～65]在总结相关脑成像及脑诱发电位研究的基础上，提出人脸知觉的分布式神经模型。如图3所示，该模型把面部信息明确地分为两大类：可变的与不变的。面孔身份信息属于不变信息，面部表情信息属于可变信息。有关该模型的详细介绍请参阅徐岩等[46]以及张伟伟等[47]的综述。

该模型的最大的一个特点是协同分布加工，所以模型中的各不同区域在功能上的分离是不确定的。例如，梭状回面孔区就可能会在表情的识别中起作用，因为某个个体可能就会出现独特的表情特征；扩展系统中的杏仁核同样也可能会参与面部的视觉分析。这种分布式特征在模型上已经直接体现出来，就表情识别来看，从核心系统到扩展系统涉及多个皮层区域的参与，以完成表情的视觉分析，表征及意义的提取。

与经典功能模型相比，分布式神经模型强调功能完成过程中神经系统的协同工作，因而面部表情与面孔身份识别在这一模型

图 3 面孔识别的分布式神经模型

来源：Haxby J V, Hoffman E A, Gobbini M I. The distributed human neural system for face perception. Trends in Cognitive Sciences,

2000, 4(6): 223~233

-508- 心理科学进展2005年

的解释中就不像经典功能模型那样强调并行独立加工。分布式神经模型认为，表情与身份的识别加工在表征上有信息的交流，在进一步的加工中也会有信息上的交互。虽然模型认为表情识别与身份识别都是多区域协同完成，但总体上两者在主要脑皮层加工区域上是有区分的。就认知过程的分析上看，分布式神经模型继承了经典功能模型中关于分类信息与身份信息的区分加工而提出不变与可变信息的区分。实际上，这种两类信息的区分也是经典功能模型中得到最多支持的部分[66]。

分布式神经模型的这种协同加工观点在解释神经心理学的研究结果上也很有用。本文前面在介绍Capgras错觉症研究时曾提出过一个问题，即面孔身份识别中的情绪性反应与面部表情识别中情绪性反应涉及的情绪性知识是否同源。根据分布式观点，这两种情绪性反应都是由同一个情绪反应机制来调节，这种调节表现为一种分布式机制。

分布式神经模型虽然有很多的优点，但它也仍然不是完美的。就像Haxby自己所指出的，它仍然不能令人满意地回答下述一些基本问题：枕下回到底在面孔识别表征中扮演什么样的角色？颞上沟中注视、表情与唇部动作诱发的神经模式是否相同？面部的可变与不可变信息加工的时间进程到底是怎样的？而且，分布式观点在模型中体现得不是很明确，面孔的可变与不变信息的划分也相对简单，难以解释面孔身份与面部表情识别之间的分布式交互。

3 多级知觉整合模型

虽然人脸知觉的分布式神经模型能较好地解释面孔身份识别与面部表情识别的脑皮层区域特异性，但它对一些基本问题仍然难以回答：面孔身份识别与面部表情识别在信息表征上如何区分？面孔身份与面部表情加工的时间进程如何？

3.1 面部表情识别与面孔身份识别在信息表征上的区分

面孔身份与面部表情识别在信息表征上的区分对理解两者之间的关系颇为重要，为此，不少的研究者进行了富有创见的探讨。Vuilleumier等[67]使用两种不同空间频率的面孔图片（中性图片与恐惧表情图片）设计了性别判断任务，结果从脑成像的数据中发现：杏仁核在高空间频率条件下对恐惧的面部表情没有反应，而梭状区在高空间频率下对表情面孔或中性面孔的反应都显著地高于在低空间频率下的反应，但低空间频率下的恐惧表情图片对梭状区也在显著地激活。考虑到不同的空间频率过滤本身可能导致恐惧程度的主观评价改变，实验者请了另外一组被试评定两种条件下使用的恐惧图片的恐惧水平，结果发现，高空间频率下的恐惧程度甚至还高于低空间频率下的恐惧程度。这一结果说明，低空间频率与表情识别有关，而高空间频率与面孔身份的识别有关。此外，梭状区似乎是不仅对高频率空间信息作反应而且对低空间频率也会做出反应。从结论可以看出，在视觉的信息表征上，表情识别与面孔身份识别之间相互区分，当然这种区分只是相对的，它们之间也可能大量地相互重叠，尤其是面孔身份识别在低频率空间信息上也能进行。信息表征上的这种区分与关联使得交互分布的加工机制成为可能：表情信息的传递主要依赖于低频空间

第12卷第4期面部表情识别与面孔身份识别的独立加工与交互作用机制-509-

信息，而面孔身份信息的传递则主要依赖于高频信息，两者在进一步的加工中相互有着信息的交流。

在另一个研究中，White等[68]用原始面孔图片(positive picture)与该图片相应的底片（negative picture）进行面孔身份或表情识别实验，结果发现，身份识别上的底片效应（反色显示对识别的影响）明显大于表情识别上的底片效应。后来，White等[69]用轮廓（configural）改变（图片中的双眼上移）与范畴（categorical）改变（图片中一只眼睛上移）范式研究了面孔身份识别与表情识别，结果发现，在面孔匹配反应时上轮廓改变比范畴改变大，但在表情匹配反应上正好相反。这说明面孔身份识别更多受轮廓改变影响，而表情识别更多受范畴改变影响。

在White的第一个研究中，研究者们认为，面孔身份识别主要利用基于表面的信息(surface-based information)，而面部表情识别则主要利用基于边缘的信息(edge-based information)，使用图片底片技术改变的更多的是基于表面的信息，因而对身份识别影响较大。结合White的第二个研究以及vuilleumier的研究可以发现，低空间频率似乎更多地传递的是范畴信息而高空间频率更多地传递的是轮廓信息，轮廓信息更多地与身份识别相关而范畴信息更多地与表情识别相关。轮廓信息主要是基于表面的描述，而范畴信息则主要是基于边缘的描述。实际上，在高空间频率图片中，边缘对比增强使得无关的噪音信息相对增加，而低空间频率图片中，基于表面描述的信息很多丧失但主要范畴的信息相对较少丧失，所以，高空间频率图片较少影响身份识别，而低空间频率图片较少影响表情识别。最近，Goffaux 等[70]也用高、低空间频率的面孔图片进行了面孔匹配实验，先给被试呈现一个靶面孔图片，然后呈现两个备选的探测项：一个匹配项和一个干扰项。干扰项包括轮廓改变的面孔与特征改变的面孔，轮廓改变的面孔（configural difference face）是由原来面孔中的两眼移近或移离鼻子做成，特征变化面孔（featural difference face）是由原来面孔中的某一只眼睛被换成另外一个人的眼睛做成。实验结果发现，在低空间频率条件下，干扰项是轮廓变化脸的那一组成绩好；而在高空间频率条件下，干扰项是特征变化脸的那一组成绩好，这里的特征改变与轮廓改变与White实验中的范畴改变与轮廓改变相对应。综合以上4个研究可以发现，高空间频率与轮廓信息相关，对面孔身份识别重要；低空间频率与范畴信息相关，对面部表情识别重要。

以上的这些研究足以说明身份识别与表情识别在信息表征上的区分，这种区分是后来两类信息（面孔身份与面部表情）区分加工的基础。当然，这种表征上的区分只是相对的，就像Vuilleumier等[65]发现的那样，低频空间信息在面孔身份识别中也起到重要作用。面孔信息的表征既是区分的又是相对连续的，正如Marr和Nishihara（1978，1982）（转引自Young, 1998）[5]所言：识别物体的表征系统必然是基于一个交互的系列描述，这种描述是对应于不同的精细水平的（the representational system used for recognizing objects must be based on an interlinked set of descriptions at different levels of detail）。

3.2 多级整合模型

关于第二个问题的回答涉及基本的知

-510- 心理科学进展2005年

觉加工阶段，尤其是知觉的早期阶段。面孔识别加工是否一开始就进行身份与表情区分的表征加工呢？身份与表情信息在后续的加工中是否会有顺序选择呢？为此，研究者们一直想从高时间分辨的脑电成分上寻找答案。Bentin等[30,32]进行了一系列面孔识别的脑电研究，结果认为，面孔身份识别加工集中体现在N170成分上，而有关表情等分类信息的加工则体现在N400附近的成分上。

Liu等[71]用MEG技术研究了人脸的早期知觉加工，结果发现M100是早期反映分类识别的信号（是不是人脸），而不是过去认为的M170是反映早期识别的信号。并且，进一步研究表明，当要求进行身份识别时，出现M170。可见，M100是更为早期的分类识别（what）而M170才是身份识别。至于N400成分与表情之间的关系，相关研究结论一致性较低，成分划分范围从N400~N600[30,32,53]。

早期知觉加工与后来的面孔身份或面部表情信息加工在阶段上的区分也得到动物实验结果的支持。Sugase等[72]在短尾猴颞下皮质，包括STS区，记录了单个神经元对猴和人的不同面部表情图片的反应，发现同一神经元以点火模式（潜伏期）区分出两种信息传递，一是整体信息传递（即区分是什么，猴脸/人脸/几何图形），另一是精细信息（晚于第一信息51ms，主要涉及面孔身份及表情的识别）传递，有理由认为整体信息可能是一个导航信息，为特定区域来识别更为精细的信息做准备。从这个实验结果可以看出，在面孔身份与表情信息加工之前确实存在一个早期加工阶段。另外，STS细胞以两种不同的点火模式对面孔识别的不同阶段信息作反应，形成单个神经元的多路信息（multiplexing information）编码，这表明认知加工阶段与神经机制之间不是一种简单的对应关系，Ellis提出的分布式神经模型能很好地说明这一点。

总体上，脑诱发电位研究确认了在面孔身份识别与面部表情识别之前存在一个早期识别阶段（what），同时，研究结果也表明，面孔身份信息的加工快于面部表情信息的加工。然而，这并不能说明面孔身份识别与面部表情识别的先后顺序问题。加工面孔身份信息还是加工面部表情信息的选择是通过启动不同的神经模式来完成。那么到底如何选择，从理论上看，相应的加工控制必不可少。关于这种加工控制，Schyns等[73]基于实验任务本身进行了研究，考察了面部识别的分类任务本身对后续空间尺度信息选择的影响，结果发现，不同的分类任务本身（身份/表情）直接决定着对不同信息加工的选择（身份/表情）。

在早期知觉加工之后，加工系统开始对相关的面部信息进行表征，然后提取这些视觉表征的意义信息。这种加工过程的划分在经典功能模型与分布式神经模型中都有所体现。经典功能模型以结构编码与观察者为中心的描述作为表征阶段，早期知觉阶段尚未能被肯定，意义提取阶段则在各个独立的信息加工路径中得到体现。分布式神经模型对这三个过程的划分稍微明确些，开始是早期知觉加工阶段与表征阶段（核心系统），然后是意义提取与分析阶段（扩展系统）。

这种阶段性的划分是正确理解面孔身份识别与面部表情识别的重要途径。Maurer 等[74]用行为标记的方法研究区分出面孔识别的整体加工三阶段：初级关系侦察

第12卷第4期面部表情识别与面孔身份识别的独立加工与交互作用机制-511-

（detecting the first-order relations: two eyes above a mouth），整体加工（holistic processing: gluing the features together into a Gestalt），二级关系加工（processing second-order relations: the spacing among features）。虽然具体阶段的划分还有待进一步的实验考察，但这种阶段性加工的思想被很多研究者所接受。其实，如前所述，这种加工阶段思想最早来源于Marr等（1978，1982）[8]在物体识别研究中提出的三阶段理论。分布式神经模型在表征区分及阶段划分上有了很大的突破，但是仅仅基于神经基础来描述认知加工的过程难以表达表征及意义加工阶段的区分与交互。

本研究在经典功能模型及分布式神经模型基础上，综合近来神经心理学及知觉的空间尺度信息（轮廓的与范畴的信息）研究，同时也参照Martinez[75]的研究，仅仅针对面孔身份识别与面部表情识别之间的加工机制，提出面孔身份识别与面部表情识别的多级整合模型（Multi-Stages Integrative Model），如图4所示。

图4 多级整合模型

多级整合模型强调人脸知觉加工中的阶段性。模型总体上把面孔身份与表情的知觉划分为三个阶段：早期知觉阶段，表征阶段，分析识别阶段。早期知觉阶段是一种基于自上而下加工的目标确认阶段（what），在这一阶段里主要是形成面孔格式塔，这一面孔格式塔形成后又作为后续加工的信息输入而启动更为精细的信息描述。在模型的表征阶段，选择性注意起到重要作用，通过它的选择，加工系统启动不同的后续神经模式（表情的或是身份的）。当然，这种选择可以是意识层面的也可以是无意识层面的，这由任务情境的特性来确定。在模型的分析识别阶段，模型在表情与身份识别之间提出了情绪与认知的整合机制，这一机制在分析识别阶段为身份及表情的识别提供一种反

-512- 心理科学进展2005年

馈回路，这一点与Ellis的研究有很大关系。总体上，对身份与表情加工体现出不同的信息分类启动不同的神经模式，但反馈回路会产生一种多通道的整合评价。

多级整合模型继承了分布式神经模型的分布式加工观。模型通过重叠表征与反馈确认而体现这种分布式加工的特征。重叠表征的实现保证了信息加工的充分性，同时有效地减弱了新异信息的干扰。此外，随着任务与情境的变化，重叠表征还能为加工过程提供一个可选择的加工模式（进一步加工表情或进一步加工身份），因为重叠表征提供的信息不是分离独立的信息而是有所偏重的双重信息。这种重复表征与后面的反馈确认之间的关系恰好体现了信息加工的连续性。所以我们认为，重叠表征与反馈确认是分布式认知的两个非常重要的特征。

当然，作为表情与身份信息的识别模型，对熟悉与不熟悉面孔加工上的区分仅仅通过最后一个阶段的情绪与认知调节来说明，更具体的加工过程仍然有待确定。此外，表征分类的验证尚需进一步的研究。

4 研究展望

总结自比较功能模型提出之后的90年代以及近几年来有关面孔身份识别与面部表情识别的研究文献可以发现，经典的功能模型把表情放在一个孤立的位置上来进行研究，所以更多的是验证面孔身份识别与表情识别的双分离特征，而没有更清楚地去认识表情识别与面孔身份识别之间的交互。同时，这种分离的研究模式也导致表情识别研究对情绪自身属性关注不够。而实际上，表情特征的提取、加工与匹配本身就是多通道的，具有生物适应功能的，所以将表情识别与面孔身份识别并行为两个独立路径无疑会遇到很多的障碍。

忽略情绪的一些基本属性似乎也是已有研究的一个重要不足，比如情绪的适应性，尽管近来有所考察[76]，但系统研究尚显不足。另外，正性情绪与负性情绪在识别中是否相同？前面的神经心理学研究就已经发现，基本上没有病人表现出快乐表情识别的困难。而且对于熟悉面孔而言，快乐表情识别比中性的情绪识别得更快也是事实。因此，未来的面部表情识别研究中有关这些情绪属性的考察颇为重要。

除此之外，在已有研究的实验任务设计中，对与情绪相关的影响因素的考虑也显不足。如Stone和Valentine[77]研究表明，对名人面孔图片的熟悉度反应与被试对名人的态度有关。人们完成行为任务的表现也会在很大程度上受到情绪的影响。例如，Rojahn 等[78]研究了面孔表情识别中的区分任务的信度与效度，认为负性情绪具有错误反应偏向。情绪导致注意选择上的偏向也一直是面孔身份识别与面部表情识别的一个重要影响因素。关于选择性注意在面孔身份识别与表情识别中的作用的研究目前已有不少，本文鉴于篇幅所限，没有去分析选择性注意在面部识别模型中的作用。

除了上述情绪任务设计中的不足外，以往情绪识别研究的指标也比较单一。行为研究多采用反应时，而神经生理上的研究多采用中枢神经系统的指标。事实上，外周神经反应的指标在情绪研究中特别值得重视。文章前面提到过，失认症病人与Capagras错觉症病人识别情绪的内隐与外显反应分离，这就提示情绪识别可能从外周反应上进行检测，这种分离也可能在正常人身上表现出来。

第12卷第4期面部表情识别与面孔身份识别的独立加工与交互作用机制-513-

最后需要指出的是，本文提出的多级知

觉整合的交互模型尚不成熟，有必要基于该

模型进行分级探讨，以进一步阐释面孔身份

识别与面部表情识别之间的关系；对不同的

表情的识别将是未来理论与应用研究中的

热点；而更新更精确的脑认知研究技术将不

断地推进该领域研究的发展。

参考文献

[1] Ekman P, Friesen W V. Unmasking the Face. Englewood

Cliffs (NJ): Prentice Hall, 1975

[2] Bruce V, Young A W. Understanding face recognition.

British journal of psychology, 1986,77: 305～327

[3] Bruce V. Influences of familiarity on the processing of

faces. Perception 1986, 15: 387～397 (abstract)

[4] Farah M J. Visual Agnosia. The Massachusetts Institute of

Technology Press, 1990

[5] Young A W. Face and Mind. New York: Oxford

University Press, 1998

[6] Calder A J, Young A W. Configural information in

expression perception. Journal of Experiment Psychology:

Human Perception and Performance, 2000, 26(2): 527～551 [7] Calder A J, Burton A M, Miller P, Young A W, Akamatsu

S. A principal component analysis of facial expressions.

Vision Research, 2001, 41: 1179～1208

[8] Marr D著，姚国正，刘磊，汪云九译，视觉计算理论

（Vision）. 北京：科学出版社，1986

[9] Ellis A W, Young A W, Flude B M. Repetition priming

and face processing: Priming occurs within the system that

responds to the identity of a face. Quarterly Journal of

Experimental Psychology: Human Experimental Psychology, 1990, 42(A): 495～512

[10] Deruelle C, Fagot J. Categorizing facial identities,

emotions, and genders: Attention to high- and low-spatial

frequencies by children and adults. Journal of Experimental

Child Psychology, 2005, 90(2): 172～184

[11] Endo N, Endo M, Kirita T, Maruyama K. The effects of

expression on face recognition. Tohoku Psychologica Folia.

1992, 51: 37-44 (in Japanese) (English abstract)

[12] Sansone S, Tiberghien G. Traitement de l'expression

faciale et reconnaissance des visages:indépendance ou

interaction? Psychologie Fran?aise, 1994, 39: 327～343 (in

French) (English abstract)

[13] Kaufmann J M, Schweinberger S R. Expression influences

the recognition of familiar faces. Perception, 2004, 33:

399～408

[14] Baudouin J Y, Gilibert D, Sansone S, Tiberghien G. When

the smile is a cue to familiarity. Memory, 2000, 8(5):

285～292

[15] Baudouin J Y, Martin F, Tiberghien G, Verlut I, Franck N.

Selective attention to facial emotion and identity in

schizophrenia. Neuropsychologia. 2002, 40: 503～551 [16] Schweinberger S R, Soukup G R. Asymmetric

Relationships Among Perceptions of Facial Identity,

Emotion, and Facial Speech. Journal of Experimental

Psychology: Human Perception and Performance, 1998,

24(6): 1748～1765

[17] Schweinberger S R, Burton A M, Kelly S W. Asymmetric

dependencies in perceiving identity and emotion: experiments with morphed faces. Perception and Psychophysics. 1999，61(6): 1102～1115

[18] Watson D, Tellegen A. Toward a consensual structure of

mood. Psychological Bulletin, 1985, 98: 219～235

[19] LeDoux JE. Emotion circuits in the brain. Annual Review

of Neuroscience, 2000, 23: 155～184

[20] Ganel T, Goshen-Gottstein Y. Effects of Familiarity on the

Perceptual Integrality of the Identity and Expression of

Faces: The Parallel-Route Hypothesis Revisited. Journal of

Experimental Psychology: Human Perception and Performance, 2004, 30(3): 583～597

[21] Garner W R. Interaction of stimulus dimensions in concept

and choice processes. Cognitive Psychology, 1976, 8:

89～123

[22] Garner W R, Felfoldy G L. Integrality of stimulus

dimensions in various types of information processing.

Cognitive Psychology, 1970, 1: 225～241

[23] Ganel T, Goshen-Gottstein Y. The perceptual integrality of

sex and identity of faces: Further evidence for the

single-route hypothesis. Journal of Experimental Psychology: Human Perception and Performance, 2002, 28:

854～867

[24] Barton J J S, Cherkasova M V, Press D Z, Intriligator J M,

Connor M O. Developmental prosopagnosia: A study of

three patients. Brain and Cognition, 2003, 51: 12～30

[25] McMullen P A, Fisk J D, Phillips S J, Maloney W J.

-514- 心理科学进展2005年

Apperceptive Agnosia and Face Recognition. Neurocase,

2000, 6(5): 403～414

[26] Delvenne J F, Seron X, Coyette F, Rossion B. Evidence for

perceptual deficits in associative visual (prosop)agnosia: a

single-case study. Neuropsychologia, 2004, 42: 597～612 [27] Sala S D, Young A W. Quaglino’s 1867 case of

prosopagnosia. Cortex, 2003，39: 533～540

[28] Eimer M. Event-related brain potentials distinguish

processing stages involved in face perception and

recognition. Clinical Neurophysiology, 2000, 111: 694～705

[29] Allison T, Puce A, Spencer D D, McCarthy G.

Electrophysiological studies of human face perception I:

Potentials generated in occipitotemporal cortex by face and

non-face stimuli. Cerebral Cortex, 1999, 9(5): 415～430 [30] Bentin S, Carmel D. Accounts for the N170 face-effect: a

reply to Rossion, Curran, & Gauthier. Cognition, 2002, 85:

197～202

[31] Rossion B, Curran T, Gauthier I. A defense of the

subordinate-level expertise account for the N170 component. Cognition, 2002, 85: 189～196

[32] Bentin S, Deouell L Y, Soroker N. Selective visual

streaming in face recognition: Evidence from developmental prosopagnosia. Neuroreport, 1999, 10:

823～827

[33] Ellis H D, Lewis M B. Capgras delusion: a window on face

recognition. TRENDS in Cognitive Sciences, 2001, 5(4):

149～156

[34] Posamentier M T, Abdi H. Processing Faces and Facial

Expressions. Neuropsychology Review, 2003, 13(3):

113～143

[35] Adolphs R, Tranel D, Damasio H, Damasio A R. Impaired

recognition of emotion in facial expressions following

bilateral damage to the human amygdala. Nature, 1994,

372: 613～614

[36] Adolphs R, Tranel D, Damasio H, Damasio A R. Fear and

the human amygdala. Journal of Neuroscience, 1995, 15:

5879～5891

[37] Adolphs R, Gosselin F, Buchanan T W, Tranel D, Schyns

P, Damasio A R. A mechanism for impaired fear

recognition after amygdala damage. Nature, 2005, 433(6):

68～72

[38] Young A W, Aggleton J P, Hellawell D J, Johnson M,

Broks P, Hanley R J. Face processing impairments after

amygdalotomy. Brain, 1995, 118(1): 15～24

[39] Anderson A K, Phelps E A. Expression without recognition:

Contributions of the human amygdala to emotional communication. Psychological Science, 2000, 11: 106～111 [40] Sprengelmeyer R, Young A W, Calder A J, Karnat A,

Lange H, Homberg V, Perrett D I, Rowland D. Loss of

disgust: Perception of faces and emotions in Huntington’s

disease. Brain, 1996, 119: 1647～1665

[41] Hamann S F, Stefanacci L, Squire L, Adolphs R, Tranel D,

Damasio H, Damasio A. Recognizing facial emotion.

Nature, 1996, 379: 497

[42] Adolphs R, Tranel D, Hamann S, Young A W, Calder A J,

Phelps E A, Anderson A, Lee G P, Damasio A R.

Recognition of facial emotion in nine individuals with

bilateral amygdale damage. Neuropsychologia, 1999, 37:

1111～1117

[43] Gauthier I, Anderson A W, Tarr M J, Skudlarski P, Gore J

C Levels of categorization in visual recognition studied

with functional MRI. Curruent. Biology, 1997, 7: 645～651

[44] Gauthier I, Tarr M J, Anderson A W, Skudlarski P, Gore J

C. Activation of the middle fusiform ‘face area’ increases

with expertise in recognizing novel objects. Nature Neuroscience, 1999, 2(6): 568～573

[45] Gauthier I, Skudlarski P, Gore J C, Anderson A W.

Expertise for cars and birds recruits brain areas involved in

face recognition. Nature Neuroscience, 2000, 3(2): 191～197

[46] 徐岩, 张亚旭, 周晓林. 面孔加工的认知神经科学研究：

回顾与展望. 心理科学进展, 2003, 11(1): 35～43

[47] 张伟伟, 陈玉翠, 沈政. 从面孔模块到马赛克——视觉

特异加工的脑机制. 心理学报, 2001, 33(2): 182～188 [48] Hasselmo M E, Rolls E T, Baylis G C. The role of

expression and identity in the face-selective responses of

neurons in the temporal visual cortex of the monkey.

Behavioral Brain Research, 1989, 32: 203～218

[49] Kanwisher N, McDermott J, Chun M M. The fusiform face

area: A module in human extrastriate cortex specialized for

face perception. Journal of Neuroscience, 1997, 17(11):

4302～4311

[50] Kanwisher N, Tong F, Nakayama K. The effect of face

inversion on the human fusiform face area. Cognition,

1998, 68: B1～B11

第12卷第4期面部表情识别与面孔身份识别的独立加工与交互作用机制-515-

[51] Kanwisher N. Domain specificity in face perception.

Nature Neuroscience, 2000, 3(8): 759～763

[52] Critchley H D, Daly E M, Phillips M, Brammer M J,

Bullmore E T, Williams S C R, Amelsvoort T V,

Robertson D, David A, Murphy D. Explicit and implicit

neural mechanisms for processing of social information

from facial expressions: A functional magnetic resonance

imaging study. Human Brain Mapping, 2000，9: 93～105 [53] Carmel D, Bentin S. Domain specificity versus expertise

factors influencing distinct processing of faces. Cognition,

2002, 83: 1～29

[54] Kreiman G, Koch C, Fried I. Category-specific visual

responses of single neurons in the human medial temporal

lobe. Nature Neuroscience, 2000, 3(9): 946～953

[55] Pierce K, Muller R A, Ambrose J, Allen G, Courchesne E.

Face processing occurs outside the fusiform `face area' in

autism evidence from functional MRI. Brain, 2001, 124(10): 2059～2073

[56] Grelotti D J, Klin A J, Gauthier I, Skudlarski P, Cohen D J,

Gore J C, Volkmar F R, Schultz R T. fMRI activation of

the fusiform gyrus and amygdala to cartoon characters but

not to faces in a boy with autism. Neuropsychologia, 2005,

43: 373～385

[57] Rossion B, Curran T, Gauthier I. A defense of the

subordinate-level expertise account for the N170 component. Cognition, 2002, 85: 189～196

[58] Grand R L, Mondloch C J, Maurer D, Brent H P. Early

visual experience and face processing. Nature, 2001, 410:

890.

[59] Ishai, A., Ungerleider, L G., Martin A, Haxby J V. The

representation of objects in the human occipital and

temporal cortex. Journal of Cognitive Neuroscience, 2000,

12: 35～51

[60] Ganel T, Valyear K F, Goshen-Gottstein Y, Goodale M A.

The involvement of the “fusiform face area” in processing

facial expression. Neuropsychologia, 2005 (in press) [61] Marotta J J, Genovese C R, Behrmann M. A functional

MRI study of face recognition in patients with prosopagnosia. Neuroreport, 2001，12: 1581～1587

[62] Hadjikhani N, Gelder B. Neural Basis of Prosopagnosia:

An fMRI Study. Human Brain Mapping, 2002, 16:

176～182

[63] Haxby J V, Gobbini M I, Furey M L, Ishai A, Schouten J L,

Pletrini P. Distributed and overlapping representations of

faces and objects in ventral temporal cortex. Science, 2001,

293(5539): 2425～2430

[64] Haxby J V, Hoffman E A, Gobbini M I. Human Neural

Systems for Face Recognition and Social Communication.

Biology Psychiatry, 2002, 51: 59～67

[65] Haxby J V, Hoffman E A, Gobbini M I. The distributed

human neural system for face perception. Trends in Cognitive Sciences, 2000, 4(6): 223～233

[66] Andrews T J, Ewbank M P. Distinct representations for

facial identity and changeable aspects of faces in the human temporal lobe. NeuroImage, 2004, 23: 905～913 [67] Vuilleumier P, Armony J L, Driver J, Dolan R. Distinct

spatial frequency sensitive for processing facial and emotion expression. Nature Neuroscience, 2003, 6(6): 624～631

[68] White M. Effect of photographic negation on matching the

expressions and identities of faces. Perception, 2001, 30:

969～981

[69] White M. Different spatial-relational information is used to

recognize faces and emotional expressions. Perception, 2002, 31: 675 ～682

[70] Goffaux V, Hault B, Michel C, Vuong? Q, Rossion B. The

respective role of low and high spatial frequencies in supporting configural and featural processing of faces.

Perception, 2005, 34: 77～86

[71] Liu J, Harris A, kanwisher N. Stages of processing in face

perception: A MEG Study. Nature Neuroscience, 2002, 5(9): 910～916

[72] Sugase Y, Yamane S, Ueno S, Kawano K. Global and fine

information coded by single neurons in the temporal visual

cortex. Nature, 1999, 400: 869～873

[73] Schyns P G, Oliva A. Dr. Angry and Mr. Smile: when

categorization flexibly modifies the perception of faces in

rapid visual presentations. Cognition, 1999, 69: 243～265 [74] Maurer D, Grand R L, Mondloch C J. The many faces of

configural processing. Trends in Cognitive Sciences, 2002,

6(6): 255～260

[75] Martinez A M. Matching expression variant faces. Vision

Research, 2003, 43: 1047～1060

[76] Webster M A, Kaping D, Misokaml Y, Duhamel P.

Adaptation to natural facial categories. Nature, 2004, 428:

557～561

-516- 心理科学进展2005年

[77] Stone A, Valentine T. Accuracy of familiarity decisions to

famous faces perceived without awareness depends on attitude to the target person and on response latency.

Consciousness and Cognition (in press)

[78] Rojahna J, Gerhardsb F, Matlocka S T, Kroegera T L. Reliability and validity studies of the Facial Discrimination Task for emotion research. Psychiatry Research, 2000, 95: 169～181

Recognizing Facial Expression and Facial Identity:

Parallel Processing or Interactive Processing

Wang Yamin 1,2Fu Xiaolan 1

(1 State Key Laboratory of Brain and Cognitive Science, Institute of Psychology, Chinese Academy of Sciences, Beijing, 100101, China)

(2 Graduate School of the Chinese Academy of Sciences，Beijing 100049, China)

Abstract: The model that facial expression and facial identity was traditionally viewed as parallel processing is now dubious. More and more evidences tend to establish an interactive model to illustrate the relationship between the processing of facial expression and the processing of facial identity. The article reviewed the literatures on the issue after Face Recognition Functional Model (Bruce & Young, 1986) was proposed, and focused on the debates about parallel or interactive processing between facial expression recognition and facial identity recognition. The distributed neural system was discussed as a recent model, and then an idea of integrative model was proposed based on visual representation and stages of faces perception to illustrate mechanism of facial identity and facial expression recognition.

Key words: facial identity recognition, facial expression recognition, functional model for face recognition, distributed neural system for face recognition, multi-stages integrative model.

人脸识别文献综述

文献综述 1 引言 在计算机视觉和模式识别领域，人脸识别技术（Face Recognition Technology，简称FRT）是极具挑战性的课题之一。近年来，随着相关技术的飞速发展和实际需求的日益增长，它已逐渐引起越来越多研究人员的关注。人脸识别在许多领域有实际的和潜在的应用，在诸如证件检验、银行系统、军队安全、安全检查等方面都有相当广阔的应用前景。人脸识别技术用于司法领域，作为辅助手段，进行身份验证，罪犯识别等;用于商业领域，如银行信用卡的身份识别、安全识别系统等等。正是由于人脸识别有着广阔的应用前景，它才越来越成为当前模式识别和人工智能领域的一个研究热点。 虽然人类能够毫不费力的识别出人脸及其表情，但是人脸的机器自动识别仍然是一个高难度的课题。它牵涉到模式识别、图像处理及生理、心理等方面的诸多知识。与指纹、视网膜、虹膜、基因、声音等其他人体生物特征识别系统相比，人脸识别系统更加友好、直接，使用者也没有心理障碍。并且通过人脸的表情/姿态分析，还能获得其他识别系统难以获得的一些信息。 自动人脸识别可以表述为：对给定场景的静态或视频序列图像，利用人脸数据库验证、比对或指认校验场景中存在的人像，同时可以利用其他的间接信息，比如人种、年龄、性别、面部表情、语音等，以减小搜索范围提高识别效率。自上世纪90年代以来，人脸识别研究得到了长足发展，国内外许多知名的理工大学及TT公司都成立了专门的人脸识别研究组，相关的研究综述见文献[1-3]。 本文对近年来自动人脸识别研究进行了综述，分别从人脸识别涉及的理论，人脸检测与定位相关算法及人脸识别核心算法等方面进行了分类整理，并对具有典型意义的方法进行了较为详尽的分析对比。此外，本文还分析介绍了当前人脸识别的优势与困难。 2 人脸识别相关理论 图像是人们出生以来体验最丰富最重要的部分，图像可以以各种各样的形式出现，我们只有意识到不同种类图像的区别，才能更好的理解图像。要建立一套完整的人脸识别系统(Face Recognetion System，简称FRS)，必然要综合运用以下几大学科领域的知识： 2.1 数字图像处理技术 数字图像处理又称为计算机图像处理，它是指将图像信号转换成数字信号并利用计算机

人脸识别技术的应用背景及研究现状

1．人脸识别技术的应用 随着社会的不断进步以及各方面对于快速有效的自动身份验证的迫切要求，生物特征识别技术在近几十年中得到了飞速的发展。作为人的一种内在属性，并且具有很强的自身稳定性及个体差异性，生物特征成为了自动身份验证的最理想依据。当前的生物特征识别技术主要包括有：指纹识别，视网膜识别，虹膜识别，步态识别，静脉识别，人脸识别等。与其他识别方法相比，人脸识别由于具有直接，友好，方便的特点，使用者无任何心理障碍，易于为用户所接受，从而得到了广泛的研究与应用。除此之外，我们还能够对人脸识别的结果作进一步的分析，得到有关人的性别，表情，年龄等诸多额外的丰富信息，扩展了人脸识别的应用前景。当前的人脸识别技术主要被应用到了以下几个方面：（1）刑侦破案公安部门在档案系统里存储有嫌疑犯的照片，当作案现场或通过其他途径获得某一嫌疑犯的照片或其面部特征的描述之后，可以从数据库中迅速查找确认，大大提高了刑侦破案的准确性和效率。 （2）证件验证在许多场合（如海口，机场，机密部门等）证件验证是检验某人身份的一种常用手段，而身份证，驾驶证等很多其他证件上都有照片，使用人脸识别技术，就可以由机器完成验证识别工作，从而实现自动化智能管理。 （3）视频监控在许多银行，公司，公共场所等处都设有24小时的视频监控。当有异常情况或有陌生人闯入时，需要实时跟踪，监控，识别和报警等。这需要对采集到的图像进行具体分析，且要用到人脸的检测，跟踪和识别技术。 （4）入口控制入口控制的范围很广，既包括了在楼宇，住宅等入口处的安全检查，也包括了在进入计算机系统或情报系统前的身份验证。 （5）表情分析根据人脸图像中的面部变化特征，识别和分析人的情感状态，如高兴，生气等。此外，人脸识别技术还在医学，档案管理，人脸动画，人脸建模，视频会议等方面也有着巨大的应用前景。 2．人脸识别技术在国外的研究现状 当前很多国家展开了有关人脸识别的研究，主要有美国，欧洲国家，日本等，著名的研究机构有美国MIT的Media lab,AI lab,CMU的Human-Computer I nterface Institute，Microsoft Research,英国的Department of Engineerin g in University of Cambridge等。综合有关文献，目前的方法主要集中在以下几个方面： （1）模板匹配 主要有两种方法，固定模板和变形模板。固定模板的方法是首先设计一个或几个参考模板，然后计算测试样本与参考模板之间的某种度量，以是否大于阈值来判断测试样本是否人脸。这种方法比较简单，在早期的系统中采用得比较

《微表情识别读脸读心》2019期末考试题与答案

《微表情识别读脸读心》2019期末考试题与答 案 一、单选题（题数：40，共40.0 分） 1安慰反应的形态意义哪一项描述是错误的?() A、视线转移,频繁眨眼,闭眼(视觉安慰);轻哼,吹口哨,吁气(听觉安慰) B、舔嘴唇,磨牙,咀嚼,吞咽,吸烟; (口部安慰) C、挠头皮,玩头发,搓脖子;摸脸、额头、鼻子、耳朵、嘴、下巴;捂住锁骨,拍胸口,按摩腹部; 松领带、领口,玩项链、耳环等;搓手,玩手指; 抖腿等(肌肤安慰) D、身体约束僵住 答案：D 2关于这场猜测锁匙位置的测试哪一项描述是错误的?() A、李博士将锁匙放在6墙-8行-8列却在卡片上写6墙-8行-9列是动用了反测试策略 B、这种反测试策略的核心就就是强化不真实遗忘真实

C、这种反测试策略属于意识转移类的精神反测试 D、李博士反测试没有获得成功 答案：D 3关于辨析情绪的意义哪一项描述是错误的?() A、排除了干扰因素才能锁定刺激与情绪反应的因果联系 B、行为痕迹特征不能与说谎直接划等号 C、科学识别应该是找到差异点 D、回应刺激时视线向左表示回忆,视线向右表示编造 答案：D 4关于松明猜测硬币藏匿手的测试哪一项描述是错误的?() A、王力宏上台即双手叉腰或抱胸是紧张的对抗反应 B、询问喜欢的颜色及血型的用意是找回答真实的基线反应 C、一般而言人们习惯于多用或首先使用顺手 D、使用顺手是不自信的表现 答案：D

5逃离反应的形态意义哪一项描述是错误的?() A、吓了一跳、后退、头、身体、脚转向一边 B、深吸气,脸色发白,全身发冷,腿发颤 C、视线转移,坐姿、站姿角度扭转 D、面孔、肢体靠近刺激源 答案：D 6关于表达者表达解析哪一项描述是正确的?() A、疏忽几个表情动作的观察不影响准确判断其真实内心 B、是准确认识表达者内心的基础和前提 C、只要盯着其眼动反应就能准确判断其真实内心 D、只要关注其情绪与事件性质是否一致就能准确判断其真实内心 答案：B 7微表情是指持续时间多长的表情?() A、1/2秒 B、不足1/5秒

面部表情识别实验报告分析

面部表情识别实验 实验报告 小组成员： 面部表情识别实验 西南大学重庆 400715

摘要：情绪认知是一种复杂的过程，它包含观察、分析、判断、推理等，是借助于许多线索，特别是借助面部那些活动性更大的肌肉群的运动而实现的。所以，情绪认知的准确度受多种因素的影响。 当我们与他人相互交往的时候，不管是不是面对面。我们都正在不断的表达着情绪，同时又正在观察，解释着的对方做出的表情，在人际交往过程中，情绪的表达和认知是十分的迅速和及时，那么人是借助于哪些表情来认知他人的情绪的呢？情绪识别实际上并不是针对表情本身的，而是针对这它背后的意义。例如：皱眉可能是一种情绪的表现，我们见到这种面部表情就试图解释潜在于它背后的情绪。尖锐，短促，声音嘶哑可能是一种情绪表现，我们听到这种语言表情就试图解释潜在于它背后的情绪捶胸，顿足可能是一种情绪的表现，我们见到这种动作表情就是试图解释潜在于它背后的情绪。对于这个复杂的问题，心理学家曾经做过许多的研究。 面部表情认知的研究可分为两个步骤：第一步是面部表情刺激物的制作或选择，这可以用专门拍摄(录像)或图示来描画，也可以用完全装扮出的活生生的表情或自发的表情等。第二步时对表情进行识别评定。也可以用多种方法，如自由评定法，即让被试自由地对表情给出情绪词汇；或限制评定法，即向被试提供各种提供各种情绪词汇或情绪情境，要求被试只能根据所提供的情绪词汇或者情绪情境进行分类或者匹配等；或参照自由评定法，即向被试提供参考线索（如情境，人格特征等），让其说出所表达的情绪的词汇等。 关键词：情绪表情认知线索

1 前言 传统心理学把情绪列为心理现象的三大方面之一。情绪也是心理学理论体系中一个不可缺少的研究环节。情绪（emotion）是体验，又是反应；是冲动，又是行为；它是有机体的一种复合状态。情绪的表现有和缓的和激动的，细微的和强烈的，轻松的和紧张的等诸多形式，广泛地同其他心理过程相联系。自古以来，科学家们十分注意探讨情绪之奥妙，但与情绪的重要性不相适应的是，长期以来情绪研究一直是心理学尤其是实验心理学研究中的一个薄弱环节。造成这一现象的最主要原因是情绪所特有的复杂性以及由此衍生出来的情绪研究方法学上的困难。我国心理学家孟昭兰（1987）将理论认为面部表情是传递具体信息的外显行为面部表情是提供人们在感情上互相了解的鲜明标记。情绪过程既包括情绪体验，也包括情绪表现，而表情既是情绪的外部表现，也是情绪体验的发生机制；既是最敏锐的情绪发生器，也是最有效的情绪显示器。这就从机制上说明了以面部肌肉运动模式作为情绪标志的根据。 面部表情（facial expression_r）的发生是有其客观的物质基础的：表情按面部不同部位的肌肉运动而模式化，面部反应模式携带着心理学的意义，那就是或快乐、或悲伤等具体情绪。但是，对表情进行测量的原则在于：所要测量的是面孔各部位的肌肉运动本身，而不是面部所给予观察者的情绪信息。该实验将14名被试分为两组进行表情认知的实验，实验目的在于通过实验了解面部表情认知的基本

人脸检测和识别技术的文献综述

人脸识别技术综述 摘要：在阅读关于人脸检测识别技术方面文献后，本文主要讨论了人脸识别技术的基本介绍、研究历史,人脸检测和人脸识别的主要研究方法，人脸识别技术的应用前景，并且总结了人脸识别技术的优越性和当下研究存在的困难。 关键词：人脸识别;人脸检测；几何特征方法;模板匹配方法;神经网络方法;统计方法;模板匹配;基于外观方法; 随着社会的发展，信息化程度的不断提高，人们对身份鉴别的准确性和实用性提出了更高的要求，传统的身份识别方式已经不能满足这些要求。人脸识别技术(FRT)是当今模式识别和人工智能领域的一个重要研究方向.虽然人脸识别的研究已有很长的历史,各种人脸识别的技术也很多,但由于人脸属于复杂模式而且容易受表情、肤色和衣着的影响,目前还没有一种人脸识别技术是公认快速有效的[1]基于生物特征的身份认证技术是一项新兴的安全技术，也是本世纪最有发展潜力的技术之一[2]。 1. 人脸识别技术基本介绍 人脸识别技术是基于人的脸部特征，一个完整的人脸识别过程一般包括人脸检测和人脸识别两大部分，人脸检测是指计算机在包含有人脸的图像中检测出人脸，并给出人脸所在区域的位置和大小等信息的过程[3]，人脸识别就是将待识别的人脸与已知人脸进行比较，得

出相似程度的相关信息。 计算机人脸识别技术也就是利用计算机分析人脸图象, 进而从中出有效的识别信息, 用来“辨认”身份的一门技术.人脸自动识别系统包括三个主要技术环节[4]。首先是图像预处理，由于实际成像系统多少存在不完善的地方以及外界光照条件等因素的影响，在一定程度上增加了图像的噪声，使图像变得模糊、对比度低、区域灰度不平衡等。为了提高图像的质量，保证提取特征的有有效性，进而提高识别系统的识别率，在提取特征之前，有必要对图像进行预处理操作；人脸的检测和定位，即从输入图像中找出人脸及人脸所在的位置，并将人脸从背景中分割出来，对库中所有的人脸图像大小和各器官的位置归一化；最后是对归一化的人脸图像应用人脸识别技术进行特征提取与识别。 2. 人脸识别技术的研究历史 国内关于人脸自动识别的研究始于二十世纪80年代，由于人脸识别系统和视频解码的大量运用，人脸检测的研究才得到了新的发展利用运动、颜色和综合信息等更具有鲁棒性的方法被提出来变形模板，弹性曲线等在特征提取方面的许多进展使得人脸特征的定位变得更为准确。 人脸识别的研究大致可分为四个阶段。第一个阶段以Bertillon，Allen和Parke为代表，主要研究人脸识别所需要的面部特征；第二个阶段是人机交互识别阶段；第三个阶段是真正的机器自动识别阶段；第四个阶段是鲁棒的人脸识别技术的研究阶段。目前，国外多所

人脸识别技术的应用背景及研究现状

人脸识别技术的应用背景及研究现状 1．人脸识别技术的应用 随着社会的不断进步以及各方面对于快速有效的自动身份验证的迫切要求，生物特征识别技术在近几十年中得到了飞速的发展。作为人的一种内在属性，并且具有很强的自身稳定性及个体差异性，生物特征成为了自动身份验证的最理想依据。当前的生物特征识别技术主要包括有：指纹识别，视网膜识别，虹膜识别，步态识别，静脉识别，人脸识别等。与其他识别方法相比，人脸识别由于具有直接，友好，方便的特点，使用者无任何心理障碍，易于为用户所接受，从而得到了广泛的研究与应用。除此之外，我们还能够对人脸识别的结果作进一步的分析，得到有关人的性别，表情，年龄等诸多额外的丰富信息，扩展了人脸识别的应用前景。当前的人脸识别技术主要被应用到了以下几个方面：（1）刑侦破案公安部门在档案系统里存储有嫌疑犯的照片，当作案现场或通过其他途径获得某一嫌疑犯的照片或其面部特征的描述之后，可以从数据库中迅速查找确认，大大提高了刑侦破案的准确性和效率。 （2）证件验证在许多场合（如海口，机场，机密部门等）证件验证是检验某人身份的一种常用手段，而身份证，驾驶证等很多其他证件上都有照片，使用人脸识别技术，就可以由机器完成验证识别工作，从而实现自动化智能管理。 （3）视频监控在许多银行，公司，公共场所等处都设有24小时的视频监控。当有异常情况或有陌生人闯入时，需要实时跟踪，监控，识别和报警等。这需要对采集到的图像进行具体分析，且要用到人脸的检测，跟踪和识别技术。 （4）入口控制入口控制的范围很广，既包括了在楼宇，住宅等入口处的安全检查，也包括了在进入计算机系统或情报系统前的身份验证。 （5）表情分析根据人脸图像中的面部变化特征，识别和分析人的情感状态，如高兴，生气等。此外，人脸识别技术还在医学，档案管理，人脸动画，人脸建模，视频会议等方面也有着巨大的应用前景。 2．人脸识别技术在国外的研究现状 当前很多国家展开了有关人脸识别的研究，主要有美国，欧洲国家，日本等，著名的研究机构有美国MIT的Media lab,AI lab,CMU的Human-Computer I nterface Institute，Microsoft Research,英国的Department of Engineerin g in University of Cambridge等。综合有关文献，目前的方法主要集中在以下几个方面：

人脸表情识别

图像处理与模式识别 ------人脸表情识别介绍摘要：人脸表情是我们进行交往和表达情绪的一种重要手段，不经过特殊训练，人类对其面部表情往往很难掩饰，所以，通过对人脸表情进行分析，可以获得重要的信息。人脸表情识别是人机交互的智能化实现的一个重要组成部分，也是模式识别、图像处理领域的一个重要研究课题，近几年来，受到了越来越多的科研人员的关注。 本文综述了国内外近年来人脸表情识别技术的最新发展状况，对人脸表情识别系统所涉及到的关键技术: 人脸表情特征提取，做了详细分析和归纳。 关键词：人脸定位；积分投影；人脸表情识别；流形学习；局部切空间排列Abstract:Facial expression is a kind of important means that we communicate and express the special training, People often difficult to conceal their facial , by the analyzing facial expression, we can obtain important information. Facial expression recognition is an important component that the implementation of human-computer interaction, and an important research topic in the field of pattern recognition, image processing, in recent years, more and more researchers focus on this topic. In this paper,we present the latest development of this area,and give a detailed analysisand summary for facial

面部表情识别与面孔身份识别的独立加工与交互作用机制_汪亚珉

心理科学进展 2005，13（4）：497~516 Advances in Psychological Science 面部表情识别与面孔身份识别的 独立加工与交互作用机制* 汪亚珉1，2 傅小兰1 （1中国科学院心理研究所，脑与认知国家重点实验室，北京 100101）（2中国科学院研究生院，北京 100039） 摘 要面孔识别功能模型认为，面部表情识别与面孔身份识别是两条独立的并行路径。以往诸多研究者都认可并遵循二者分离的原则。但近期研究表明，面部表情识别与面孔身份识别存在交互作用。首先总结和分析已有的面部表情识别的研究成果，评述神经心理学与认知神经科学研究中的论争，然后介绍人脸知觉的分布式神经机制以及相关的实验证据，最后提出面部表情识别与面孔身份识别的多级整合模型，并展望研究前景。 关键词面孔身份识别，面部表情识别，面孔识别功能模型，人脸知觉的分布式神经模型，多级整合模型。分类号 B842 面孔识别一直备受研究者关注。20世纪70年代，Ekman和Frisen系统地研究了人脸基本表情的文化普遍性，并从解剖学角度提出了6种基本的面部表情[1]。20世纪80年代，Bruce和Young系统地研究了人对面孔的识别及其影响因素，提出了经典的面孔识别功能模型[2]。自此，面孔识别成为认知科学研究领域中的热点问题之一。 人能轻易地从不同表情中识别出同一个人的面孔（即面孔身份识别，facial identity recognition），也能从不同人的面孔上识别出同一种表情（即面部表情识别，facial expression recognition），识别得如此精巧，以至众多研究者相信，识别面孔与识别表情 收稿日期：2005-04-24 * 本研究得到中国科技部973项目（2002CB312103）、国家自然科学基金重点项目（60433030）和面上项目 （30270466）、中国科学院心理研究所创新重点项目 （0302037）经费支持。 通讯作者：傅小兰，E-mail: fuxl@https://www.docsj.com/doc/5c4561488.html, 两者相互独立，互不干扰[2～7]。那么，这种分离识别究竟是如何实现的？面孔身份识别与面部表情识别究竟是彼此独立的还是相互作用的？这已成为认知科学（尤其是计算机视觉）面孔识别研究领域中亟待解决的一个重要问题。 在过去开展的大量研究中，对面孔身份识别问题的探讨相对比较深入，而对面部表情识别的研究则囿于经典功能模型，并未能取得实质性进展。近年来随着脑认知研究技术的发展，面部表情识别的研究也在不断深入，研究者对面部表情识别与面孔身份识别间的关系也提出了新的阐释。本文在综述已有研究的基础上，试图进一步探讨面部表情识别与面孔身份识别之间的独立加工与交互作用机制。首先，基于经典面孔识别功能模型，分析传统的面孔身份识别与面部表情识别的并行分离加工观点，以及行为学、神经心理学与认知神经科学的研究发现；其

不同情绪面部表情的特征

不同情绪面部表情的特征 了解在不同情绪下人物面部表情的特征，对描绘动画人物的表情很有帮助，本教程将说明人的脸上不同部位是如何协调运动来传达不同情绪。一旦你掌握了各种面部表情的特征, 就可以随心所欲画出自己所想到的任何表情。 F面我们借助示例图来说明（图在上，文字描述在下） 首先，我们开始学习悲哀”表情的画法, 这是一种相当普通的情绪。本图是一个典型的 动画人物的脸，但是注意一下已产生的变化。在这种情况下，人物情绪的最明显特征是眉 毛。请注意眉毛内部的顶端是如何向上弯曲的。同时她的下眼框略微向上弯曲，而上眼皮呈 更明显的圆形曲线。弯曲下眼框能表现压迫，悲伤或忿怒的情绪状向我们说 明人物处于悲伤中 含蓄的悲哀 看看这幅图：他的悲哀就要含蓄些了。人物看起来很沮丧，但没有上图中那么忧伤。他 的眼睛比较小（也许因为是男的吧），嘴也比较大并且向下弯曲得也不是很明显。眉毛的角度 悲哀 ;而在这情况下，眉毛的形 以及呈拱形的下眼框仍然会让你觉得他正在为某事心烦（大男人不好做，再辛苦也不说…）O

介于悲、愤之间 这一张图里的人物表情介于悲、 愤之间。眉毛明显地弯下来， 嘴巴看起来像在喊叫，两 者都表明他处于疯狂状态， 不过他的眼珠还是画得非常大。 这使他看起来像是在生气， 或受 到了伤害或者在为谁谁谁心烦意乱。 这家伙明显是在斥责谁，即使他并没有大喊大叫。 现在你可以画出正在生闷气的人物了。 在本图中，眉毛贴着眼睛并且眉角画得很尖 （我也在眉间画些皱纹），嘴角也明显地向下弯。 双眼睛很窄，而且眼珠非常小， 这会让他的神情看起来更生气 有些困惑、不满 这幅的表情不确定，他既有些困惑又像是心里又对谁不快。 心里又乱又疑。为了增强表情，也可以把嘴的中间稍微留些空白斥责 （这种表情感觉比较蛮阴鸷）。 高低交错的眉角让人觉得他

2019最新版微表情识别·读脸读心答案

1.1 微表情涵义·由来 1 【单选题】微表情是指持续时间多长的表情?()B ?A、1/2秒 ?B、不足1/5秒 ?C、5秒 ?D、以上都不对 2 【多选题】下面哪些描述符合微表情的特征?()ABCD ?A、时间不足1/5秒 ?B、受到有效刺激后的反应 ?C、不由自主地表现出来 ?D、表达内心的真实情感 3 【判断题】表情是表现在面部或姿态上的情感信息。()正确 1.2 保罗·埃克曼的贡献 1 【单选题】保罗·埃克曼研究的微表情主要在哪个领域?()C ?A、身体动作 ?B、副语言 ?C、面部表情 ?D、以上都不对 2 【多选题】保罗·埃克曼研究微表情的主要贡献有哪些?()ABCD ?A、完成面部表情编码 ?B、编撰并发布FACS—AU教程 ?C、研发微表情训练工具(Meet) ?D、人际欺骗研究 3

【判断题】独立发现并深入研究微表情的学者是保罗·埃克曼。()错误 1.3 国内·应用研究概况 1 【单选题】 国内探索微表情应用研究的实战机构不包括哪些？（）D ?A、公安机构 ?B、检察机构 ?C、安全机构 ?D、环保机构 2 【判断题】 受到lie to me 传播的影响国内业界开始关注并研究微表情。()正确 3 【判断题】 国内研究微表情的专业团队主要有中科院心理研究所傅小兰团队、中国人民政法大学姜振宇团队和上海政法学院范海鹰团队。（）正确 1.4 教学模式·教学环节 1 【单选题】微表情识别读脸读心课程宜采用哪种教学模式?()D ?A、理论讲授式 ?B、实操训练式 ?C、案例观摩式 ?D、A+B+C 2 【多选题】微表情识别读脸读心课程的教学模式包括哪些教学环节?()ABC

自发表情识别方法综述

收稿日期：２０１５-０４-０３；修回日期：２０１５-０５-２６ 基金项目：国家自然科学基金资助项目（６１４６３０３４） 作者简介：何俊（１９６９-），男，江西东乡人，副教授，硕导，博士，主要研究方向为人机交互技术、模式识别等（ｂｏｘｈｅｊｕｎ＠ｔｏｍ．ｃｏｍ）；何忠文（１９８６-），男，江西九江人，硕士研究生，主要研究方向为人机交互技术、模式识别等；蔡建峰（１９９０-），男，河北人，硕士研究生，主要研究方向为人机交互；房灵芝（１９８８-），女，山东人，硕士研究生，主要研究方向为人机交互． 自发表情识别方法综述* 何 俊，何忠文，蔡建峰，房灵芝 （南昌大学信息工程学院，南昌３３００３１） 摘 要：介绍了目前自发表情识别研究的现状与发展水平，详细阐述了自发表情识别研究的内容和方法，以及自发表情识别研究的关键技术，旨在引起研究者对此新兴研究方向的关注与兴趣，从而积极参与对自发表情识别问题的研究，并推动与此相关问题的进展。关键词：表情识别；自发表情；特征提取 中图分类号：ＴＰ３９１．４１ 文献标志码：Ａ 文章编号：１００１-３６９５（２０１６）０１-００１２-０５ｄｏｉ：１０．３９６９／ｊ．ｉｓｓｎ．１００１-３６９５．２０１６．０１．００３ Ｓｕｒｖｅｙｏｆｓｐｏｎｔａｎｅｏｕｓｆａｃｉａｌｅｘｐｒｅｓｓｉｏｎｒｅｃｏｇｎｉｔｉｏｎ ＨｅＪｕｎ，ＨｅＺｈｏｎｇｗｅｎ，ＣａｉＪｉａｎｆｅｎｇ，ＦａｎｇＬｉｎｇｚｈｉ （Ｉｎｆｏｒｍａｔｉｏｎ＆ＥｎｇｉｎｅｅｒｉｎｇＣｏｌｌｅｇｅ，ＮａｎｃｈａｎｇＵｎｉｖｅｒｓｉｔｙ，Ｎａｎｃｈａｎｇ３３００３１，Ｃｈｉｎａ） Ａｂｓｔｒａｃｔ：Ｔｈｉｓｐａｐｅｒｉｎｔｒｏｄｕｃｅｄｔｈｅａｃｔｕａｌｉｔｙａｎｄｔｈｅｄｅｖｅｌｏｐｉｎｇｌｅｖｅｌｏｆｓｐｏｎｔａｎｅｏｕｓｆａｃｉａｌｅｘｐｒｅｓｓｉｏｎｒｅｃｏｇｎｉｔｉｏｎａｔｔｈｅ ｐｒｅｓｅｎｔｔｉｍｅ，ａｎｄｐａｉｄｐａｒｔｉｃｕｌａｒａｔｔｅｎｔｉｏｎｔｏｔｈｅｋｅｙｔｅｃｈｎｏｌｏｇｙｏｎｔｈｅｒｅｓｅａｒｃｈｏｆｓｐｏｎｔａｎｅｏｕｓｆａｃｉａｌｅｘｐｒｅｓｓｉｏｎｒｅｃｏｇｎｉｔｉｏｎ．Ｔｈｉｓｐａｐｅｒａｉｍｅｄｔｏａｒｏｕｓｅｒｅｓｅａｒｃｈｅｒｓ’ａｔｔｅｎｔｉｏｎａｎｄｉｎｔｅｒｅｓｔｓｉｎｔｏｔｈｉｓｎｅｗｆｉｅｌｄ，ｔｏｐａｒｔｉｃｉｐａｔｅｉｎｔｈｅｓｔｕｄｙｏｆｔｈｅｓｐｏｎｔａｎｅ-ｏｕｓｆａｃｉａｌｅｘｐｒｅｓｓｉｏｎｒｅｃｏｇｎｉｔｉｏｎｐｒｏｂｌｅｍｓａｃｔｉｖｅｌｙ，ａｎｄｔｏａｃｈｉｅｖｅｍｏｒｅｓｕｃｃｅｓｓｅｓｃｏｒｒｅｌａｔｅｄｔｏｔｈｉｓｐｒｏｂｌｅｍ．Ｋｅｙｗｏｒｄｓ：ｆａｃｉａｌｅｘｐｒｅｓｓｉｏｎｒｅｃｏｇｎｉｔｉｏｎ；ｓｐｏｎｔａｎｅｏｕｓｆａｃｉａｌｅｘｐｒｅｓｓｉｏｎ；ｆｅａｔｕｒｅｅｘｔｒａｃｔｉｏｎ 表情识别被视为未来情感人机交互的重要技术［１］ ，吸引了国内众多高校和科研机构的参与和研究［２～６］。但目前国内 外研究中比较常用的表情数据库中的人脸表情大都固定为正面，任务仅限于识别Ｅｋｍａ提出的六种基本表情（愤怒、高兴、悲伤、惊讶、厌恶和恐惧）。这不仅与实际表情不相符，而且忽视了真实表情中特有的脸部肌肉形变与头部运动之间的时空相关性。谷歌申请的新一代表情识别专利，挤眉弄眼方可解锁手机；荷兰开发的诺达斯（Ｎｏｌｄｕｓ）面部表情分析系统是世界上第一个商业化开发的面部表情自动分析工具，用户使用该系统能够客观地评估个人的情绪变化，可以跟踪人的表情变化。但二者均要求测试者的头姿基本保持不动，实时连续头姿估计阻碍了其在手机等智能终端领域的应用。因此，面向实际应用的 非正面表情识别研究在国内外日益受到重视［７，８］ 。 近十几年来，开展自发表情识别研究的机构主要有美国的加利福尼亚大学、卡耐基梅隆大学机器人研究所、匹兹堡大学心理学系，伊利诺伊大学、沃森研究中心、贝克曼研究所、伦斯勒理工学院、麻省理工大学媒体实验室、丹佛大学、德克萨斯大学计算机视觉研究中心、新泽西技术学院、芬兰的奥卢大学计算机科学与工程系机器视觉组、荷兰的阿姆斯特丹大学信息学院、澳大利亚的昆士兰科技大学科学与工程学院、加拿大的麦吉尔大学、日本的庆应义塾大学、爱尔兰的爱尔兰国立大学计算机视觉和成像实验室，中国的清华大学和中国科学技术大学等已经有人做了大量工作。目前该领域比较重要的国际会议包括计算机视觉与模式识别会议（ＩｎｔｅｒｎａｔｉｏｎａｌＣｏｎｆｅｒｅｎｃｅｏｎＣｏｍｐｕｔｅｒＶｉｓｉｏｎａｎｄＰａｔｔｅｒｎＲｅｃｏｇｎｉｔｉｏｎ，ＣＶＰＲ）、模式识别会议 （ＩｎｔｅｒｎａｔｉｏｎａｌＣｏｎｆｅｒｅｎｃｅｏｎＰａｔｔｅｒｎＲｅｃｏｇｎｉｔｉｏｎ，ＩＣＰＲ）、人脸与姿态自动识别会议（ＩｎｔｅｒｎａｔｉｏｎａｌＣｏｎｆｅｒｅｎｃｅｏｎＡｕｔｏｍａｔｉｃＦａｃｅＧｅｓｔｕｒｅＲｅｃｏｇｎｉｔｉｏｎ，ＦＧＲ）。关于非正面表情识别的研究文章 逐年增多，但国内还只是刚开始涉足该领域的研究［９］ ，一些非 正面表情识别中的关键技术尚有待突破。但总的来说，对目前自发表情识别的研究和探索还处于初级阶段，对自发表情识别的研究还需要研究人员共同的努力。本文介绍了常用的自发表情数据库以及自发表情识别关键技术研究进展。 １ 自发表情数据库 １）ＵＳＴＣ-ＮＶＩＥ数据库 ＵＳＴＣ-ＮＶＩＥ（ｎａｔｕｒａｌｖｉｓｉｂｌｅａｎｄｉｎｆｒａｒｅｄｆａｃｉａｌｅｘｐｒｅｓｓｉｏｎｓ） 数据库［１０］ 是由中国科学技术大学安徽省计算与通讯软件重点 实验室建立的一个大规模的视频诱发的集自发表情和人为表情的可见光和红外自发表情数据库。其中自发表情库由自发的表情序列和夸张帧组成，人为表情库仅由中性帧和夸张帧组成。该表情数据库包含年龄在１７～３１周岁的２１５名被试者的自发和人为的六种表情。 ２）ＶＡＭ数据库 ＶＡＭ数据库［１１］ 采用的是以参加电视访谈节目（ＴＶｔａｌｋ ｓｈｏｗ）的方式诱发的自发表情数据库，记录了节目中年龄在１６～６９周岁的６位男嘉宾和１４位女嘉宾总共２０位嘉宾的面部表情和语音信息。该数据集由８３４名评估者使用两种方式进行评估：ａ）采用Ｅｋｍａｎ的六种基本表情类别进行标注；ｂ） 第３３卷第１期２０１６年１月 计算机应用研究 ＡｐｐｌｉｃａｔｉｏｎＲｅｓｅａｒｃｈｏｆＣｏｍｐｕｔｅｒｓＶｏｌ．３３Ｎｏ．１Ｊａｎ．２０１６

表情识别技术综述

表情识别技术综述 摘要：表情识别作为一种人机交互的方式，成为研究的热点。基于对表情识别的基本分析，文章重点介绍了面部表情识别的国内外研究情况和面部表情特征的提取方法。 关键词：表情识别；特征提取；表情分类。 前言：进入21世纪，随着计算机技术和人工智能技术及其相关学科的迅猛发展，整个社会的自动化程度不断提高，人们对类似于人和人交流方式的人机交互的需求日益强烈。计算机和机器人如果能够像人类那样具有理解和表达情感的能力，将从根本上改变人与计算机之间的关系，使计算机能够更好地为人类服务。表情识别是情感理解的基础，是计算机理解人们情感的前提，也是人们探索和理解智能的有效途径。如果实现计算机对人脸表情的理解与识别将从根本上改变人与计算机的关系，这将对未来人机交互领域产生重大的意义。 正文：一、面部表情识别的国内外研究情况 面部表情识别技术是近几十年来才逐渐发展起来的，由于面部表情的多样性和复杂性，并且涉及生理学及心理学，表情识别具有较大的难度，因此，与其它生物识别技术如指纹识别、虹膜识别、人脸识别等相比，发展相对较慢，应用还不广泛。但是表情识别对于人机交互却有重要的价值，因此国内外很多研究机构及学者致力于这方面的研究，并己经取得了一定的成果。 进入90年代，对面部表情识别的研究变得非常活跃，吸引了大量的研究人员和基金支持。美国、日本、英国、德国、荷兰、法国等经济发达国家和印度、新加坡都有专门的研究组进行这方面的研究。其中MIT的多媒体实验室的感知计算组、CMu、Ma州大学的计算机视觉实验室、Standford大学、日本城蹊大学、大阪大学、ArR研究所的贡献尤为突出。 国内的清华大学、哈尔滨工业大学、中科院、中国科技大学、南京理工大学、北方交通大学等都有专业人员从事人脸表情识别的研究，并取得了一定的成绩。在1999年的国家自然科学基金中的“和谐人机环境中情感计算理论研究”被列为了重点项目。同时中国科学院自动化所、心理所以及国内众多高校也在这方面取得了一定的进展。2003年，在北京举行了第一届中国情感计算与智能交互学术会议，会议期间集中展示了国内各研究机构近几年来从认知、心理、模式识别、系统集成等多种角度在情感计算领域取得的研究成果，一定程度上弥补了我国这方面的空白。国家“863”计划、“973”项目、国家自然科学基金等也都对人脸表情识别技术的研究提供了项目资助。 二、面部表情特征的提取方法 表情特征提取是表情识别系统中最重要的部分，有效的表情特征提取工作将使识别的性能大大提高，当前的研究工作也大部分是针对表情特征的提取。 目前为止的人脸面部表情特征提取方法大都是从人脸识别的特征提取方法别演变而来，所用到的识别特征主要有:灰度特征、运动特征和频率特征三种阎。灰度特征是从表情图像的灰度值上来处理，利用不同表情有不同灰度值来得到识别的依据。运动特征利用了不同表情情况下人脸的主要表情点的运动信息来进行识别。频域特征主要是利用了表情图像在不同的频率分解下的差别，速度快是其显著特点。在具体的表情识别方法上，分类方向主要有三个:整体识别法和局部识别法、形变提取法和运动提取法、几何特征法和容貌特征法。 整体识别法中，无论是从脸部的变形出发还是从脸部的运动出发，都是将表情人脸作为一个整体来分析，找出各种表情下的图像差别。其中典型的方法有:基于特征脸的主成分分析(prineipalComponentAnalysis，pCA)法、独立分量分析法(Indendent ComPonent Analysis，ICA)、Fisher线性判别法(Fisher’s Linear Discriminants，FLD)、局部特征分析(LoealFeatureAnalysis，LFA)、Fishe诞动法(Fisher^ctions)、隐马尔科夫模型法(HideMarkovModel，HMM)和聚类分析法。

人脸表情识别综述

人脸表情识别综述 一、人脸表情识别技术目前主要的应用领域包括人机交互、安全、机器人制造、医疗、通信和汽车领域等 二、1971年，心理学家Ekman与Friesen的研究最早提出人类有六种主要情感，每种情感以唯一的表情来反映人的一种独特的心理活动。这六种情感被称为基本情感，由愤怒（anger）、高兴(happiness)、悲伤(sadness)、惊讶(surprise)、厌恶(disgust)和恐惧(fear)组成 人脸面部表情运动的描述方法---人脸运动编码系统FACS (Facial Action Coding System)，根据面部肌肉的类型和运动特征定义了基本形变单元AU（Action Unit），人脸面部的各种表情最终能分解对应到各个AU上来，分析表情特征信息，就是分析面部AU的变化情况 FACS有两个主要弱点：1.运动单元是纯粹的局部化的空间模板；2.没有时间描述信息，只是一个启发式信息 三、人脸表情识别的过程和方法 1、表情库的建立：目前，研究中比较常用的表情库主要有:美国CMU机器人研究所和心理学系共同建立的 Cohn-Kanade AU-Coded Facial Expression Image Database(简称CKACFEID)人脸表情数据库;日本ATR 建立的日本女性表情数据库(JAFFE)，它是研究亚洲人表情的重要测试库 2、表情识别: （1）图像获取:通过摄像头等图像捕捉工具获取静态图像或动态图像序列。 （2）图像预处理:图像的大小和灰度的归一化，头部姿态的矫正，图像分割等。 →目的:改善图像质量，消除噪声，统一图像灰度值及尺寸，为后序特征提取和分类识别打好基础 主要工作→人脸表情识别子区域的分割以及表情图像的归一化处理(尺度归一和灰度归一) （3）特征提取:将点阵转化成更高级别图像表述—如形状、运动、颜色、纹理、空间结构等,在尽可能保证稳定性和识别率的前提下，对庞大的图像数据进行降维处理。 →特征提取的主要方法有：提取几何特征、统计特征、频率域特征和运动特征等 1）采用几何特征进行特征提取主要是对人脸表情的显著特征,如眼睛、眉毛、嘴巴等的位置变化进行定位、测量,确定其大小、距离、形状及相互比例等特征,进行表情识别 优点：减少了输入数据量 缺点：丢失了一些重要的识别和分类信息，结果的精确性不高

实验心理学实验设计方案-表情识别

不同面部表情的识别速度与识别准确性差异研究 一、引言速度—准确性权衡是关系到一切反应时实验信度的基本问题，下面我们将尝试通过一个简单的生活化的实验来展示任务速度和任务准确性之间普遍的权衡关系。在反应时实验中，当被试追求较快的速度时，必然要以牺牲准确性为代价。同样，当被试力求高的准确性时，也必然要以放慢速度为代价。在具体的实验中，被试究竟会如何权衡二者的关系，取决于很多因素。本实验主要探讨不同面部表情（痛苦、微笑、悲哀、快乐）识别速度与准确率是否存在显著差异。 实验假设：不同面部表情的识别速度与识别准确性存在差异 二、实验目的通过实验证明不同面部表情（痛苦、微笑、悲哀、快乐）的识别速度与识别准确性存在差异，本实验旨在研究不同面部表情的识别速度与识别准确性存在差异，通过自编的e-prime 实验程序对四十名被试进行施测。 三、实验仪器与材料 痛苦、微笑、悲哀、快乐的图片（均选自于标准的实验图片库）、电脑、e-prime 程序 四、实验设计 采用单因素完全随机化设计

自变量为不同面部表情、区分为（痛苦、微笑、悲哀、快乐）四种。每个小组只接受一种实验处理，只对一种表情做出反应。 因变量为反应时、准确率，分别是识别的准确率、以及被试对不同面部表情识别的反应时。 五、实验程序 （一）被试构成 采用简单随机抽样，在弘德楼随机选取了几个自习室，共选取了 40 个被试。男女各半，年龄为18-23 岁，随机分为四个小组。 （二）研究工具 在计算机上自编好e-prime 实验程序 （三）实验过程 （1）正式实验前被试要先进行几次类似练习，以熟悉按键反应。 （2）被试坐在电脑前，接受相同的指导语。其指导语为：“在接下 来的一段时间里你将继续进行此类题目的正式作答，请用心作答”。被试按键确认后即开始正式实验、期间不再中断休息。 （3）使用主试自编计算机视觉搜索程序，每帧呈现一副面部表情图 片，每幅图片呈现的间隔时间一致，随机播放图片。每种表情的图片都有10 张，每张呈现2 次，共呈现20 次，所有表情图片共呈现80 次。痛苦按 “1 ”键、微笑按“2”键、悲哀按“3”键、快乐按“4 ”键。 其中第1 小组只对痛苦做反应、2 小组只对微笑做反应、3 小组只对悲哀做反应、4 小组只对快乐做反应。每出现一幅图要求被试按对应的反应键，计算机自动记录反应时间和正确率。

2019年微表情识别-读脸读心考试答案

2019年微表情识别-读脸读心最新满分考试答案 一、单选题（题数：40，共分） 1.愉悦的识别要点包括的表情形态和意义，以下错误的是（）A A.瞪眼 B.咧嘴 C.嘴角上扬 D.超乎预期的满足和开心 2. 微表情是指持续时间多长的表情() B A、1/2秒 B、不足1/5秒 C、5秒 D、以上都不对 3. 关于猜测选放的墙的测试哪一项描述是错误的()B A、李博士回应天蝎座,b型血、警号3867问题时目光低视,摇头说我不知道是控制的对抗反应 B、在听到十八岁那年考上了海洋大学出现快速眨眼,点头是思考比对时的真实反应 C、在听到这成为了您神探之路的起点时出现连连点头是高度认同的下意识反应 D、人在接受有效刺激时也能完全控制自己的情绪反应 4. 冻结反应的形态意义哪一项描述是错误的()D A、面部的惊讶 B、肢体的约束 C、呼吸的控制 D、肢体冰冷 5. 有意控制的动作的形态意义哪一项描述是错误的()D A、可以出现在面部表情 B、可以出现在身体动作 C、可以出现在站姿或坐姿 D、可以控制出汗或面部颜色 6. 国内探索微表情应用研究的实战机构不包括哪些（）D A、公安机构 B、检察机构 C、安全机构 D、环保机构 7. 反应性行为的形态意义哪一项描述是错误的() D

A、包括副语言行为 B、包括头部反应 C、是难以自主控制的生理反应 D、是可以自主控制的生理反应 8. 关于表达者表达解析哪一项描述是正确的() B A、疏忽几个表情动作的观察不影响准确判断其真实内心 B、是准确认识表达者内心的基础和前提 C、只要盯着其眼动反应就能准确判断其真实内心 D、只要关注其情绪与事件性质是否一致就能准确判断其真实内心 9. 爱恨反应的形态意义哪一项描述是错误的() D A、爱的时候会主动亲近对方 B、恨的时候会主动拉开距离 C、身体间的距离,可以体现出人和人之间的心理距离 D、人的内心的喜爱与厌恶是不能从表情动作中表达出来的 10. 保罗·埃克曼研究的微表情主要在哪个领域() C A、身体动作 B、副语言 C、面部表情 D、以上都不对 11. 仰视反应的形态意义哪一项描述是错误的() D A、头和肢体向上是正仰视反应 B、头和肢体向下是负仰视反应 C、有身份地位差异的握手是正或负仰视反应的体现 D、头和肢体远离刺激源 12. 关于松明猜测硬币藏匿手的测试哪一项描述是错误的()D A、王力宏上台即双手叉腰或抱胸是紧张的对抗反应 B、询问喜欢的颜色及血型的用意是找回答真实的基线反应 C、一般而言人们习惯于多用或首先使用顺手 D、使用顺手是不自信的表现 13. 关于这场猜测锁匙位置的测试哪一项描述是错误的() D A、李博士将锁匙放在6墙-8行-8列却在卡片上写6墙-8行-9列是动用了反测试策略 B、这种反测试策略的核心就就是强化不真实遗忘真实 C、这种反测试策略属于意识转移类的精神反测试 D、李博士反测试没有获得成功 14. 关于情绪“干扰点”哪一项描述是错误的() D A、有意控制行为 B、经历带入反应

幼儿表情识别实验报告

幼儿表情识别实验报告 摘要在情绪活动中，人的面部、姿态和语音、语调会发生一系列明显的变化，这些变化因为可被他人直接观察到，往往成为情绪活动的表征，所以统称为“表情”。它包括面部表情、姿态表情和语调表情。面部表情为人际交流提供了丰富的个人信息和社会交往信息。本实验采用了表情指认的范式，探讨学前儿童对于高兴、好奇、伤心、害怕、讨厌和愤怒等6种面部表情的识别特点。结果发现，大中小班的儿童均对于“高兴”和“好奇”等积极情绪的表情识别成绩最好，对于“愤怒”的识别成绩最差，其他消极情绪的识别成绩居于之间。随着年龄增长，儿童对于以上6种基本表情（特别是高兴、好奇和生气）的识别能力也逐渐增强。 关键词学前儿童面部表情识别 1 引言 在情绪活动中，人的面部、体姿和语音、语调会发生一系列明显的变化，例如：面红耳赤、目瞪口呆、手舞足蹈、语无伦次等等。这些变化因为可被他人直接观察到，往往成为情绪活动的表征，所以统称为“表情”。表情是情绪活动所特有的外显表现，是人际交往的重要工具，也是研究情绪的重要客观指标。它包括面部表情、姿态表情和语调表情。其中最引人关注，也是非常重要的表情就是面部表情。（邹巍,2007） 面部表情是指通过眼部肌肉、颜面肌肉和口部肌肉的变化来表现各种情绪状态。面部表情是情绪的发生机制，它是最敏感的情绪发生器，也是显示器。同时，面部表情也可以被定义成面部肌肉的特定运动模式。这些特殊的肌肉和其他肌肉组织不同，并不负责关节运动的功能，而仅仅用来专门承担面部表情的表达任务。表情的独特地位从其生理基础就可见一斑。 面部表情的重要性在于它是人类情绪最为明显的外显形式，是人际交往中传递情绪的主要媒介。面部表情为人际交流提供了一套快捷、有效的符号系统，使得个体情绪不需要依赖言语就能准确地被传递出来。它包含丰富的个人信息和社会交往信息，同时还传达出一些有关人的认知、行为、性情、个性、气质、真实性和心理的信息。当看到不同面孔时，人能轻易地识别同一种表情，这就是所谓的面部表情识别。这种机能，在人类的生存活动和种族演进中具有重要的生物适应价值和社会交际功能。 那么，人类从何时开始能够识别不同的面部表情呢？以往研究发现，婴儿早在3个月时就能区分通过图片呈现的一些基本面部表情的模式，如愉快、悲伤和惊奇等，到 7个月时已能对一些基本积极表情进行表情意义上的归类识别，即可以跨情境、跨面孔地抽取出它们的表情模式（梅冬梅等, 2013）。利用习惯化与去习惯化的实验范式，研究者还发现，10个月大的婴儿可以区分高级分组的积极情绪（快乐＋惊奇）与高级分组的消极情绪（愤怒＋恐惧）。 关于面部表情模式的研究，贡献较大的是Izard和P. Ekman。他们通过婴儿面部表情提出了特定的基本情绪的面部模式和标定的标准，并从而得出人类基本情绪的类别。Ekman制订了一个以面部肌肉运动成分为基础的情绪测量系统，称为“面部表情编码技术”(FAST)。FAST把面部分为：(1)额-眉区，(2)眼-睑区，(3)鼻颊-口唇区三个部位，以照片为标本确定每一部位的肌肉运动变化，从而提出愉快、惊奇、悲伤、厌恶、愤怒和惧怕六种情绪。Ekman和Frieser又把FAST修改为“面部运动编码系统”(FACS)。FACS是以解剖为基础，标定面部肌肉运动，分辨出和FAST相同的六种情绪。Izard和Dougherty提出了“最大限度辨别面部肌肉运动编码系统”(Max)，能辨认兴趣、愉快、惊奇、悲伤、愤怒、厌恶、轻蔑、惧怕和生理不适的痛苦9种基本情绪。