人脸识别综述
王军军
（西安交通大学，西安，710086）
摘要：人脸识别已成为多个学科领域的研究热点之一，本文对人脸识别的发展历史、研究现状进行了综述，系统地对目前主流人脸识别方法进行了分类针对人脸识别面临的挑战，着重对近几年来在光照和姿态变化处理方面的研究进展进行了详细沦述，并对未来人脸识别的发展方向进行了展望。
关键词：人脸识别，人脸检测，模式识别
一、引言
人脸识别是近年来模式识别、图像处理、机器视觉、神经网络以及认知科学等领域研究的热点课题之一。所谓人脸识别，是指给定一个场景的静态图像或动态视频，利用存储有若干已知身份的人脸图像的数据库验证和鉴别场景中单个或者多个人的身份[1]。人脸识别按照人脸信息的来源可以分为两类:基于静态人脸图像的识别和基于包含人脸的动态视频信息的识别。因为动态视频信息并不能明显提高人脸识别的性能，因此本文只研究基于静态人脸图像的识别[2]。
作为生物特征识别的一个重要方面，人脸识别在档案管理系统、安全验证系统、信用卡验证、公安系统的罪犯身份识别、银行和海关的监控、人机交互等领域具有广阔的应用前景。与指纹识别、视网膜识别、虹膜识别等[3]技术相比，人脸识别技术在数据采集方面手续比较简单，使用者更容易接受。人脸作为生物特征，虽然唯一性比指纹和虹膜要差[4]，在高安全性要求的系统中只能作为辅助手段。然而，对于一般安全性要求的身份验证和鉴别系统[5]，人脸识别技术已经足够应用了。
人脸识别研究在二十世纪六七十年代引起了诸多学科领域研究者的浓厚兴趣。进人九十年代后，随着各行业对人脸识别系统的迫切需求，人脸识别研究再次成为热门课题。当前世界各国有许多研究机构在从事这方面的研究，这些研究受到军方、警方以及大公司的高度重视和资助[6]。美国军方还专门组织了人脸识别竞赛以促进人脸识别研究的发展。经过三十多年的研究，人脸识别已经成为图像分析与图像理解领域最成功的应用之一研究人员提出了很多识别方法，建成了一些实验系统，也有一些成功的人脸识别商业软件投人市场。
人脸识别作为模式识别的一种，一般可以分为三个组成部分:从场景中检测并分割人脸;抽取人脸特征;匹配和识别人脸[7]。由于人脸检测已经发展成为一个独立的课题，具有特定的思想和方法，所以本文假定人脸已经被正确检测并从场景中分割出来。
二、人脸识别的方法
目前，人脸识别的方法大致可以分为以下几类：基于几何特征的方法、基于模型的方法、基于统计的方法、基于神经网络的方法和多分类器集成的方法[8]。目前主流的方法有基于几何特征的方法和基于模型的方法。
2.1基于几何特征的方法
文献中记载最早的人脸识别方法就是Bledsoe[9]提出的基于几何特征的方法。该方法以面部特征点之间的距离和比率作为特征，通过最近邻方法来识别人脸，以该方法建立的人脸识别系统是一个半自动系统，面部特征点必须由人手工定位。也正是由于人工的参与，该系统对光照变化和姿态变化不敏感[10]。
侧影[11](Profile)识别也是早期基于几何特征人脸识别的一个重要方法，其基本原理是从人脸的侧影轮廓线上提取特征点，将侧影转化为轮廓曲线，从中提取基准点，根据这些点之间的几何特征来进行识别，由于侧影识别相对较简单且应用面小，对侧影识别的研究较少。
基于几何特征的方法非常直观，识别速度快，内存要求较少，提取的特征在一定程度上对光照变化不太敏感[12]。但是，当人脸具有一定的表情或者姿态变化时，特征提取不精确，而且由于忽略了整个图像的很多细节信息，识别率较低，所以近年来已经很少有新的发展。
2.2基于模型的方法
隐马尔可夫模型[13]( Hidden Markov Model,HMM)是一种常用的模型，基于HMM的方法首先被用于声音识别等身份识别上，之后被Nefian和Hayes引人到人脸识别领域。它是用于描述信号统计特性的一组统计模型。HMM用马尔可夫链来模拟信号统计特性的变化，而这种变化又是间接通过观察序列来描述的，因此马尔可夫过程是一个双重的随机过程。在HMM中结点表示状态，有向边表示状态之间的转移，一个状态可以具有特征空间中的任意特征，对同一特征，不同形态表现出这一特征的概率不同[14]。在人脸识别过程中，Nefian首先采用两维离散余弦变换(Discrete Cosine Transform,DCT)抽取人脸特征，得到观察向量，构建HMM人脸模型，然后用EM ( Expectation Maximization)算法训练，利用该模型就可以算出每个待识别人脸。观察向量的概率，从而完成识别。HMM方法的鲁棒性较好，对表情、姿态变化不太敏感，识别率高[15]。
主动形状模型[16](Active Shape Model, ASM)方法由Cootes等人提出，Cootes对形状和局部灰度表象建模，用建立的ASM在新的图像中定位易变的物体。后来，Lanitis等将其应用于解释人脸图像，在使用ASM找出人脸的形状后，将人脸切割并归一到统一的框架，对这个与形状无关的人脸采用亮度模型来进行解释和识别，其鲁棒性和识别效率均较高，但需要手动标会人脸的特征点，算法的自动化程度有待加强。
主动表象模型[17]( Active Appearance Model, AAM)可以看成是对ASM的进一步扩展，是一种通用的非线性图像编码模式，通过变形处理将通用人脸模型与输人图像进行匹配，并将控制参数作为分类的特征向量。
2.3 基于统计的方法
基于统计的方法将人脸图像视为随机向量，从而用一些统计方法来分析人脸模式，这类方法有着完备的统计学理论支持;得到了较好地发展，出现了一些较成功的算法。
特征脸[18](Eigenface)方法由Turk和Pentland提出。对于每一幅人脸图像，按照从上到下、从左到右的顺序将所有像素的灰度值串成一个高维向量，然后通过主成分分析(Principal Component Analysis, PCA)将高维向量降低维数。用PCA[19]降维主要基于以下三点:(1)压缩功能，在低维空间内比较图像将提高计算效率;(2)人脸样本的分布近似正态分布，方差大的维可能与有用信号相关，而方差小的维可能对应噪声，因此去掉小方差对应的维将有利于提高识别精确率;(3)因为每幅图像都被减去均值，且被放缩成单位向量，两幅图像之间的相关性与特征空间中投影之间的距离成反比，因此特征空间中的最近邻匹配是图像相关性的有效近似。PCA技术首先由Kirby[20]和Sirovich引人到人脸识别领域，并且证明了PCA是使原始图像与重构图像之间的均方误差极小化的最佳压缩方式。一幅图像在各个特征脸上的投影组成了该图像的权值向量，将待识别图像的权值向量与人脸数据库中各图像的权值向量相比较，确定哪一幅图像与待识别图像的权值向量最接近。后来Pentland等人进一步扩展了特征脸方法，将类似的思想运用到面部特征上，分别得到了本征眼、本征鼻、本征嘴，并且将它们结合起来进行人脸识别。实验结果表明，这样比单独使用特征脸效果更好。特征脸方法计算量低，使用方便，并且效果良好，目前已经成为人脸识别的基准程序(Benchmark)和事实上的工业标准。但是它对于外界因素所带来的图像差异和人脸自身所造成的差异是不加区分的，因此外界因素(例如光照、姿态)变化会引起识别率的降低。
特征脸方法使用由各个特征脸扩展的空间来表示人脸，虽然可以有效地表示人脸信息，但是并不能有效鉴别和区分人脸。很多研究者提出了使用其他线性空间来代替特征脸空间以取得更好的识别效果。此中线性判别分析方法[21](也叫Fisher脸方法)，利用了类别归属信息，它选择类内散布正交的矢量作为特征脸空间，从而压制了图像之间与识别信息无关的差异，强调了不同人脸之间的差别，同时弱化了同一人脸由于光照、视角和表情而引起的变化，获得了比特征脸更好的识别效果。LDA[22]是一种监督学习方法，而PCA是非监督学习方法。Belhumeur对16个人的各10幅图像进行识别实验，PCA方法的识别率为81%，而Fisher脸方法的识别率为99.4%。
Moghaddam[23]等人提出了贝叶斯人脸识别方法。他们提出了一种基于概率的图像相似度度量方法，将人脸图像之间的差异分为类间差异和类内差异。其中类间差异表示不同对象之间的本质差异。类内差异为同一对象的不同图像之间的差异。而实际人脸图像之间的差异为两者之和。如果类内差异大于类间差异，则认为两人脸图像属于同一对象的可能性大，他们提出了类间差异和类内差异度量的概率模型和计算方法。由于贝叶斯相似度的计算涉及复杂的非线性计算。Moghaddam等人提出了一种线性的快速计算方法。这种人脸识别方法在1996年美国DAPAR组织的FERET人脸测试中是效果最好的方法之一特别是在克服光照和表情变化对识别的影响方面性能较好。
奇异值分解[24](Singular Valor Decomposition。SVD)是一种有效的代数特征提取方一法。奇异值特征具有良好的稳定性、转置不变性、旋转不变性、位移不变性以及镜像变换不变性等重要性质。因此奇异值分解技术也被应用到人脸识别领域。
独立成分分析[25]( Independent Component Anal-ysis,ICA)，可以看成是对PCA的推广，PCA利用二阶矩去掉输人数据的相关性。使得数据的协方差为零。而ICA使得输人数据的二阶和高阶矩依赖性最小，ICA首先被用于盲源分离(Blind Source Separation。 BSS)问题，用来将观察信号分解成一系列独立信号的线性组合。ICA用于人脸识别有两种结构(ICA Architecture I和ICA Architecture II)和多种算法(例如FastICA和InfoMax)，PCA和ICA Architecture II利用的是全局特征，而ICA Architecture I利用的是空间局部特征。B Draper等人详细比较了PCA和ICA在人脸验证和面部表情识别中的性能，人脸验证实验中，ICA Architecture II的性能最好。PCA的性能与距离度量标准有关。ICA Architecture I的性能较差，ICA用Fast I-CA算法较好;表情识别实验中，用InIoMax算法实现的ICA A rchitecture I性能最好。
3、人脸识别面临的挑战
当光照、姿态、表情变化时，人脸的表象会产生较大变化，从而造成人脸识别系统的性能下降。FE-RET测试川表明，光照和姿态变化问题是当前人脸识别系统面临的挑战。随着人脸识别研究的深人，很多研究者对光照和姿态变化进行了专门的研究，也取得了一定的进展。本节专门针对这两方面问题进行论述。
3.1 光照变化
因为光照会改变人脸图像灰度的相对分布，所以由光照引起的人脸图像变化甚至比因个体差异引起的变化还要大。因此，光照变化会造成人脸识别系统性能的严重下降。对光照变化的处理已经引起了很多研究者的重视，并且取得了较大进展。目前已经出现了很多光照处理方法，这些方法大致可以分为三类: 第一类方法的主要思想是寻找对于光照变化不敏感的人脸图像表示方法。第二类方法是对原来某些不存在光照变化时人脸识别算法的简单改进和推广。第三类方法的主要出发点是构建图像合成(Synthesize)模型[26]，这些模型可以合成与测试(Probe)图像具有相同或相似光照条件的新图像作为数据库(Gallery)中的图像。这类方法的关键是对光照进行建模。
3.2 姿态变化
视角的变化，即人脸姿态变化也会造成人脸识别系统性能的降低，因此对多视角人脸图像的处理是人脸识别面临的另一挑战。 Beymer[27]先对输人图像的视角进行估计，接着根据自动检测到的三个特征点进行二维仿射变换使之与原型(Prototype)的视角相同，然后直接使用模板匹配来实现多视角人脸识别。在一个62人的多视角人脸数据库上取得了较好的实验结果，但测试集和训练集的视角比较接近，因此识别难度较低。
Pentland[28]等人提出的基于视角的特征脸( View-based Eigenface)方法为每个视角构建一个
特征空间。取得了比标准特征脸方法更高的性能。Huang等人在基于视角的特征脸方法的基础上，采用神经网络集成(Neural Network Ensemble)的方法，实现多视角人脸的识别。这类方法的缺点是每人需要多张人脸图像作为训练集，而且将光照变化问题与视角变化问题分开来考虑，这些前提条件在很多场合不能满足。
3.3同时存在光照和姿态变化
上述的很多方法只是对光照或姿态变化中的一种进行了处理，但在现实情况下，光照和姿态变化会同时存在。因此，要使人脸识别技术真正实用，人脸识别系统必须能够处理同时存在两种甚至任意多种成像条件变化的情况。光场(Light Field)[29]方法是最新提出的较有效的方法，对各种外部成像条件的变化都能进行较好处理。由于人脸是三维的，因此利用三维模型(或者三维和两维相结合)可以显著地提高识别性能。
4总结与展望
本文对人脸识别的发展历史、研究现状进行了综述，尤其是对近几年来在光照和姿态变化处理方面的研究进展进行了详细论述。
经过几十年的研究，人脸识别已经取得了很大的进展，但现有的人脸识别方法一般都是针对某一类问题提出的，由于人脸识别问题的复杂性，实现一个通用的人脸识别系统目前还不现实。因此，解决特定条件或者特定应用领域的人脸识别问题仍然是目前人脸识别研究的重要课题。要构建一个稳健的人脸识别系统，以下是有待于解决的几个主要问题:
1、非线性建模问题。目前统计方法中的子空间方法有一个共同的特点，即都是线性方法。人脸图像显然是一种高度非线性的模式。也就是说，人脸图像的分布应该是位于某种高度非线性的流形[30](Mani-fold)上的，因此用非线性方法来进行人脸识别是一个必然的发展趋势。人脸识别技术由线性向非线性发展可能的现实途径有两条:一是利用核理论将现有的线性分析方法向非线性扩展，这是一种间接的方法。典型代表是核主成分分析(Kernel Principal Component Analysis, KPCA)，也就是利用核理论对PCA进行扩展;二是直接从数据分布本身出发，研究高效的非线性流形学习算法，从而将人脸图像投影到其实际分布所在的流形上进行识别，目前，已有研究人员将其应用到人脸识别领域，对人脸图像采用流型的方法来进行识别。
2、三维建模问题。目前只利用二维信息的人脸识别方法只能在特定环境下取得较好的性能，然而在处理光照、视角和表情等方面的变化时会遇到较大的困难。由于人脸是三维的，因此利用三维模型可以显著提高识别性能本文论述的三维可变型模型方法就是在这方面较好地尝试。但是目前三维人脸识别在识别算法、三维人脸库以及实验方法等方面还存在很多挑战。
3、三维模型计算开销问题。利用三维模型可以显著提高识别性能，然而，构造和存储完整的三维人脸模型需要的开销太大，因此如何通过二维图像对三维人脸参数进行建模将是未来人脸识别研究的一个热点。另外，利用2.5维信息进行识别也是减小存储和计算开销的一条可能途径。
4、算法的自动化与时间开销问题。本文所提到的算法中，基于几何特征的方法与基于模型的方法中的部分算法存在手工标定人脸特征点的问题，算法的自动化程度有待进一步加强。另外，算法中某些鲁棒性与准确率较高的算法，计算量巨大，运算时间比较长，人脸识别的实时性有待加强。 [1] 厉小润,赵光宙,赵辽英.改进的核直接Fisher描述分析与人脸识别[J].浙江大学学报:工学版, 2008,42(4): 583-589.[2] YU Hua, YANG Jie.A direct LDA algorithm for high-dimensionaldatawith application to face recognition [J].Pattern Recognition,2001,34(10): 2067-2070.[3] 周大可,杨新,彭宁嵩.改进的线性判别分析算法及其在人脸识别中的应用[J].上海交通大学学报, 2005,39(4): 527-530.[4] BARTLELLM S, MOVELLAN JR, SEJNOWSKIT J.Face recognition by independent component analysis [J].IEEE Trans on NeuralNetworks, 2002,13(6): 1450-1464.[5] 洪子泉,杨静宇.基于奇异值特征和统计模型的人像识别算法[J].计算机研究与发展, 1994,31(3): 60-65.[6] 杜干,朱雯君.基于局部奇异值分解和模糊决策的人脸识别方法[J].中国图象图形学报, 2006,11(10): 1456-1459.[7] 高全学,梁彦,潘泉,等.SVD用于人脸识别存在的问题及解决方法[J].中国图象图形学报, 2006,11(12): 1784-1791.[8] COOTES T F, EDWARDS G J, TAYLOR C J.Active appearance models: active appearance models [ J].IEEE Trans on Pattern Analysis and Machine Intelligence, 2001,23(6): 681-685.[9] WISKOTTL, FELLOUS JM, KRUGER N,et al.Face recognition by elastic bunch graphmatching [J].IEEE Trans on Pattern Analysis and Machine Intelligence, 1997,19(7): 775-779.[10] WURTZ R P.Object recognition robust under translations, deformations, and changes in background [ J].IEEE Trans on Pattern Analysis and Machine Intelligence, 1997,19(7): 769-775.[11] 孙大瑞,吴乐南.基于特征的弹性图匹配人脸识别算法[J].应用科学学报, 2002,20(4): 377-381.[12] 张海旸,马华东.基于网格的自适应弹性图人脸匹配方法[J].计算机辅助设计与图形学报, 2008,20(2): 253-258.[13] 刘小军,王东峰,张丽飞,等.一种基于奇异值分解和隐马尔可夫模型的人脸识别方法[J].计算机学报, 2003,26(3): 340-344.[14] 李耀东,崔霞,肖柏华,等.自动人脸识别技术综述[J].计算机科学, 2002,29(12): 1-11.[15] 邹志煌,孙鑫,程武山.人脸识别技术产品的发展概况[J].视频应用与工程, 2008,32(3): 91-93.[16] 刘瑾,徐可欣,陈小红,等.采用图像融合技术的多模式人脸识别[J].工程图学学报, 2007,28(6): 72-78.[17] 王耀明,王仲国,沈毅俊.基于图像集似然度的人脸识别[J].计算机工程, 2001, 27(7): 113-114.[18] 王宏勇，廖海斌，段新华，丁汨.基于奇异值与特征融合矩阵的自适应人脸识别[J].计算机工程与应用，2010，46（7）：162-174.[19] 斯华龄,张立明.智能视觉图像处理-多通道图像的无监督学习方法及其他方法[M].上海:上海科技教育出版社,2002.[20] 郭武,张鹏,王润生.独立分量分析及其在图像处理中的应用现状[J].计算机工程与应用，2008，44（23）：172-176.[21] 白晓明,王成章,石勤.基于二维线性判别分析的彩色人脸识别[J].北京工业大学学报.2010,12(36):1717-1721.[22] 王晓慧.线性判别分析与主成分分析及其相关研究评述[J].中山大学研究生学刊(自然科学、医学版).2007,4(28):50-59.[23] 聂会星,梁坤,徐枞巍.基于小波变换和支持向量机的人脸识别研究[J].合肥工业大学学报(自然科学版).2022，2（34）：208-211 [24] 段锦著.人脸自动机器识别[M].北京: 科学出版社, 2009．
[25] 吴巾一，周德龙.计算机应用研究[J].人脸识别方法综述，2009，9（26）: 3205-3209 [26] SIROVITCH L, KIRBYM.Low-dimensionalprocedure for the characterization of human face[ J].Journal of the Optical Society of America, 1987,4(3): 519-524.[27] KIRBYM, SIROVITCH L.Application ofKarhunen-Loeve procedure for the characterization ofhuman faces[J].IEEE Trans on Pattern Analysis and Machine Intelligence, 1990,12(1): 103-108.[28] 刘成明，张立明.一种改进的人脸特征点定位方法[J].复旦学报：自然科学版，2006,45(4)：452-463.[29] 杜春华.人脸特征点定位及识别的研究[D].上海：上海交通大学.2008.[30] 马艳妮，耿国华等.脸部特征点的定位与提取方法[J].计算机工程与应用，2009,45(18)：167-170.
读书的好处
1、行万里路，读万卷书。
2、书山有路勤为径，学海无涯苦作舟。
3、读书破万卷，下笔如有神。
4、我所学到的任何有价值的知识都是由自学中得来的。——达尔文
5、少壮不努力，老大徒悲伤。
6、黑发不知勤学早，白首方悔读书迟。——颜真卿
7、宝剑锋从磨砺出，梅花香自苦寒来。
8、读书要三到：心到、眼到、口到
9、玉不琢、不成器，人不学、不知义。
10、一日无书，百事荒废。——陈寿
11、书是人类进步的阶梯。
12、一日不读口生，一日不写手生。
13、我扑在书上，就像饥饿的人扑在面包上。——高尔基
14、书到用时方恨少、事非经过不知难。——陆游
15、读一本好书，就如同和一个高尚的人在交谈——歌德
16、读一切好书，就是和许多高尚的人谈话。——笛卡儿
17、学习永远不晚。——高尔基
18、少而好学，如日出之阳；壮而好学，如日中之光；志而好学，如炳烛之光。——刘向
19、学而不思则惘，思而不学则殆。——孔子
20、读书给人以快乐、给人以光彩、给人以才干。——培根
