近年来，随着“平安城市建设”的大力推进，越来越多的高清摄像头部署在各个重要场所，如机场、地铁、火车站、汽车站等。这些场所是人口流动必经之地，也是公安重点布控区域。很多地区提出的人脸识别需求，也是针对这些重要通道出入口场景，要求系统自动侦测视频画面中的人脸，并与数据库中的人脸数据进行一一比对，得到最有可能的身份信息。2012年上映的电影《碟中谍4》中，也有类似的人脸识别概念，相信看过此片的朋友对下面这个片段会有一定的印象。电影中，探员汉纳威在火车站利用同事传过来的目标人脸信息，配合人脸识别系统，快速检索比对过往人群，最终找到并抓捕嫌犯。事实上，这样的人脸识别系统已经从银幕走向现实。本文将首先对人脸识别技术原理进行介绍，然后介绍几种典型的系统应用，最后对人脸识别技术未来的发展方向进行分析。

　　人脸识别技术概述

　　广义的人脸识别主要分为人脸检测(face detection)、特征提取(feature extraction)和人脸识别(face recognition)三个过程，如图1所示。



　　图1 典型的人脸识别过程

　　其中，第三步提到的人脸识别是狭义的人脸识别，即将待识别人脸所提取的特征与数据库中人脸的特征进行对比，根据相似度判别分类。而人脸识别又可以分为两个大类：一类是确认(verification)，这是人脸图像与数据库中已存的该人图像比对的过程，回答你是不是你的问题;另一类是辨认(identification)，这是人脸图像与数据库中已存的所有图像匹配的过程，回答你是谁的问题。显然，人脸辨认要比人脸确认困难，因为辨认需要进行海量数据的匹配。在辨认过程中，海量数据的处理、特征提取和分类算法的选择变得非常重要。识别率和识别速度是人脸识别技术中主要的衡量算法性能的指标。本文后面提到的人脸识别，主要指的是人脸辨认。

　　人脸识别技术原理

　　人脸识别算法发展到今天，大致上可以分为两类：基于特征的人脸识别算法和基于外观的人脸识别算法。其中，多数基于特征的人脸识别算法属于早期的人脸识别算法，现在已经不再使用。不过近些年出现了一些新的基于特征的算法，并取得不错的效果。而基于外观的人脸识别算法是由于实现简单，受到广泛关注。接下来将分别介绍两类人脸识别算法。

　　基于特征的人脸识别算法：早期的人脸识别算法主要是基于特征模板和几何约束来实现的。这一类算法首先对输入图像进行处理，提取出如眼睛、鼻子和嘴等面部特征和外观轮廓。然后计算这些面部特征之间的几何关系，如距离、面积和角度等。这样将输入图像转换为几何特征向量后，使用标准的统计模式识别技术进行匹配分类。由于算法利用了一些直观的特征，计算量小。不过，由于其所需的特征点不能精确选择，限制了它的应用范围。另外，当光照变化、人脸有外物遮挡、面部表情变化时，特征变化较大。所以说，这类算法只适合于人脸图像的粗略识别，无法在实际中应用。


　　图2 一些典型的面部几何特征示意图

　　以上这些方法都是通过一些特征模板和几何约束来检测特定的面部特征，并计算特征之间的关系。还有一些方法使用了图像的局部表示来提取特征。其中最受关注的方法是局部二值模式(LBP)算法。LBP方法首先将图像分成若干区域，在每个区域的像素3x3邻域中用中心值作阈值化，将结果看成是二进制数。图3显示了一个LBP算子。LBP算子的特点是对单调灰度变化保持不变。每个区域通过这样的运算得到一组直方图，然后将所有的直方图连起来组成一个大的直方图并进行直方图匹配计算进行分类。


　　图3 LBP算子

　　基于特征的人脸识别算法主要的优势在于对姿态、尺度和光照等变化鲁棒。由于多数特征是基于手动选择和先验知识，受图像本身的成像质量影响较少。另外，提取出的面部特征往往维数较低，匹配速度快。这些方法的缺点是自动特征提取的难度较大。如果特征集的鉴别能力弱，再多的后续处理也无法补偿本身的不足。

　　基于外观的人脸识别算法：基于外观的人脸识别算法也称为整体方法。它们使用图像的全局信息来辨识人脸。最简单的整体方法是用二维数组来存放图像的灰度值，然后直接对输入图像和数据库中的所有图像进行相关性比较。这种方法的缺点非常多，如易受环境影响、计算耗时等。其中一个重要的问题是这样的分类是在一个非常高维的空间中进行的。为了克服维数问题，一些算法使用统计降维方法来获取和保留更有用的信息，最典型的算法就是主成分分析(PCA)算法和线性鉴别分析(LDA)算法。

　　PCA算法指出任何特定的人脸可以由一个低维的特征子空间表示，并可以用这个特征子空间近似地重建。将输入人脸图像投影到特征子空间上得到的特征与已知的数据库进行比对来确定身份。PCA算法选取的特征最大化了人脸样本间的差异，但也保留了一些由于光照和面部表情产生的不必要的变化。而同一个人由于光照产生的变化可能会大于不同人之间的变化，如图4所示。LDA算法在最大化不同个体之间的样本差异的同时，最小化同一个体内部的样本差异。这样达到了人脸特征子空间的划分。图5是PCA和LDA算法的示例。其中，PCA的特征脸是由组成PCA特征子空间的特征向量按二维图像来排列得到的类似人脸的图像。LDA的Fisher脸也是同样道理。经过特征脸和Fisher脸重构得到的人脸图像在第四行。可以看到，PCA重构脸与输入人脸差异较小，但LDA的Fisher脸很难辨认，但突出了该个体的显著特征。PCA和LDA方法都假设存在一个最优的投影子空间。这个子空间的每个区域对应唯一的一个人。然而，事实上在人脸空间中许多人经常会映射到相同的区域中，因此这种假设并不成立。


　　图4 同一个人在不同光照下的图片

　　整体方法主要的优点是它们没有丢弃图像中的任何信息。然而，这也是它们的缺点。整体方法一般假设图像中的所有像素是同等重要的。因此，这些技术不仅计算耗时，而且需要测试样本与训练样本高度相关。当人脸图像的姿态、尺度和光照发生较大变化时识别性能一般。


　　图5 PCA和LDA算法的示例

　　人脸识别系统应用

　　人脸识别的应用范围很广，从门禁、设备登录到机场、公共区域的监控。表1给出了一些人脸识别的应用领域。


　　表1 人脸识别的应用领域

　　类别应用领域

　　人脸验证驾照、签证、身份证、护照、投票选举等

　　接入控制设备存取、车辆访问、智能ATM、电脑接入、程序接入、网络接入等

　　安全反恐报警、登机、体育场观众扫描、计算机安全、网络安全等

　　监控公园监控、街道监控、电网监控、入口监控等

　　智能卡用户验证等

　　执法嫌疑犯识别、欺骗识别等

　　人脸数据库人脸检索、人脸标记、人脸分类等

　　多媒体管理人脸搜索、人脸视频分割和拼接等

　　人机交互交互式游戏、主动计算等

　　其他人脸重建、低比特率图片和视频传输等

　　以公安应用为例，公安部门在查办案、处理事务时常常会遇到一些不明身份的人员，比如走丢的老人、小孩，拒不交代身份的嫌疑犯，无人认领的尸体等。这时传统的方法往往不能解决问题。利用人脸检索系统，将目标人脸输入到系统中。系统自动在海量人口数据库中进行查找比对，列出前若干名相似的人员信息。然后再通过人工干预的方式，对系统结果进行筛选，得到目标的真实身份。

　　文章开头提到的是另外一种应用。即在一些重要的通道出入口，部署高清探头，专门用于抓拍经过的人脸并传送给后端系统。后端系统将人脸图片与所关注的人脸库(比如VIP客户，或者在逃嫌疑犯等)进行逐一比对。当发现有目标与库中人员相似度超过设定阈值时，系统自动提示相关人员采取措施。

　　人脸识别技术发展趋势

　　前面提到了人脸识别的一些典型算法和应用，但人脸识别技术发展到今天，还存在一定的局限性。图4是同一个人在不同光照下的图片，很直观地可以看出，即使是同一个人，在不同光照下用肉眼也很难辨别。除了光照，还有姿态、表情、年龄等因素限制了人脸识别的应用。目前的人脸识别系统只能在一些较规范的环境下进行，人脸需要正对着摄像机，并保证人脸在画面中有一定的像素宽度。但是在实际的安防监控场合中，这些限制条件很难一一满足。这就为人脸识别技术提出了更大的挑战。未来的人脸识别算法需要进一步提高精度，提高环境适应性，以满足实际的应用需求。

　　现在已经有一些机构、高校在进行人脸识别新领域、新技术的研究。比如远距离人脸识别技术，3D人脸识别技术等。远距离人脸识别系统面临两个主要困难。首先是如何从远距离获取人脸图像。其次，在得到的数据并不理想的情况下，如何识别身份。从某种意义上来看，远距离人脸识别并不是一个特定的关键技术或者基础研究问题。它可以看成是一个应用和系统设计问题。通常有两类解决方法用于获取人脸图片。一种是高清的固定式摄像机，另一种是使用PTZ控制系统多摄像机系统。后者更适合于一般情况，不过其结构更为复杂，造价也更贵。后者需要考虑如何协调多台摄像机的同步操作。一般地，系统由低分辨率广角摄像机和高分辨率长焦摄像机组成。前者用于检测和追踪目标，后者用于人脸图像采集和识别。目前远距离人脸识别技术还处于实验室阶段，未来如果能够解决上述问题，对人员布控这样的应用有着重要意义。


　　3D人脸识别能够很好地克服2D人脸识别遇到的姿态、光照、表情等问题。主要原因是2D图像无法很好地表示深度信息。通常，3D人脸识别方法使用3D扫描技术获取3D人脸，然后建立3D人脸模型并用于识别。不过，3D人脸识别技术的缺点也是很明显的。首先它需要额外的3D采集设备或双目立体视觉技术，其次，建模过程需要的计算量较大。相信随着未来芯片技术的发展，当计算能力不再受到制约，采集设备成本大幅下降的时候，3D人脸识别将会成为热门技术之一。

　　近年来，随着“平安城市建设”的大力推进，越来越多的高清摄像头部署在各个重要场所，如机场、地铁、火车站、汽车站等。这些场所是人口流动必经之地，也是公安重点布控区域。很多地区提出的人脸识别需求，也是针对这些重要通道出入口场景，要求系统自动侦测视频画面中的人脸，并与数据库中的人脸数据进行一一比对，得到最有可能的身份信息。2012年上映的电影《碟中谍4》中，也有类似的人脸识别概念，相信看过此片的朋友对下面这个片段会有一定的印象。电影中，探员汉纳威在火车站利用同事传过来的目标人脸信息，配合人脸识别系统，快速检索比对过往人群，最终找到并抓捕嫌犯。事实上，这样的人脸识别系统已经从银幕走向现实。本文将首先对人脸识别技术原理进行介绍，然后介绍几种典型的系统应用，最后对人脸识别技术未来的发展方向进行分析。

　　人脸识别技术概述

　　广义的人脸识别主要分为人脸检测(face detection)、特征提取(feature extraction)和人脸识别(face recognition)三个过程，如图1所示。



　　图1 典型的人脸识别过程

　　其中，第三步提到的人脸识别是狭义的人脸识别，即将待识别人脸所提取的特征与数据库中人脸的特征进行对比，根据相似度判别分类。而人脸识别又可以分为两个大类：一类是确认(verification)，这是人脸图像与数据库中已存的该人图像比对的过程，回答你是不是你的问题;另一类是辨认(identification)，这是人脸图像与数据库中已存的所有图像匹配的过程，回答你是谁的问题。显然，人脸辨认要比人脸确认困难，因为辨认需要进行海量数据的匹配。在辨认过程中，海量数据的处理、特征提取和分类算法的选择变得非常重要。识别率和识别速度是人脸识别技术中主要的衡量算法性能的指标。本文后面提到的人脸识别，主要指的是人脸辨认。

　　人脸识别技术原理

　　人脸识别算法发展到今天，大致上可以分为两类：基于特征的人脸识别算法和基于外观的人脸识别算法。其中，多数基于特征的人脸识别算法属于早期的人脸识别算法，现在已经不再使用。不过近些年出现了一些新的基于特征的算法，并取得不错的效果。而基于外观的人脸识别算法是由于实现简单，受到广泛关注。接下来将分别介绍两类人脸识别算法。

　　基于特征的人脸识别算法：早期的人脸识别算法主要是基于特征模板和几何约束来实现的。这一类算法首先对输入图像进行处理，提取出如眼睛、鼻子和嘴等面部特征和外观轮廓。然后计算这些面部特征之间的几何关系，如距离、面积和角度等。这样将输入图像转换为几何特征向量后，使用标准的统计模式识别技术进行匹配分类。由于算法利用了一些直观的特征，计算量小。不过，由于其所需的特征点不能精确选择，限制了它的应用范围。另外，当光照变化、人脸有外物遮挡、面部表情变化时，特征变化较大。所以说，这类算法只适合于人脸图像的粗略识别，无法在实际中应用。


　　图2 一些典型的面部几何特征示意图

　　以上这些方法都是通过一些特征模板和几何约束来检测特定的面部特征，并计算特征之间的关系。还有一些方法使用了图像的局部表示来提取特征。其中最受关注的方法是局部二值模式(LBP)算法。LBP方法首先将图像分成若干区域，在每个区域的像素3x3邻域中用中心值作阈值化，将结果看成是二进制数。图3显示了一个LBP算子。LBP算子的特点是对单调灰度变化保持不变。每个区域通过这样的运算得到一组直方图，然后将所有的直方图连起来组成一个大的直方图并进行直方图匹配计算进行分类。


　　图3 LBP算子

　　基于特征的人脸识别算法主要的优势在于对姿态、尺度和光照等变化鲁棒。由于多数特征是基于手动选择和先验知识，受图像本身的成像质量影响较少。另外，提取出的面部特征往往维数较低，匹配速度快。这些方法的缺点是自动特征提取的难度较大。如果特征集的鉴别能力弱，再多的后续处理也无法补偿本身的不足。

　　基于外观的人脸识别算法：基于外观的人脸识别算法也称为整体方法。它们使用图像的全局信息来辨识人脸。最简单的整体方法是用二维数组来存放图像的灰度值，然后直接对输入图像和数据库中的所有图像进行相关性比较。这种方法的缺点非常多，如易受环境影响、计算耗时等。其中一个重要的问题是这样的分类是在一个非常高维的空间中进行的。为了克服维数问题，一些算法使用统计降维方法来获取和保留更有用的信息，最典型的算法就是主成分分析(PCA)算法和线性鉴别分析(LDA)算法。

　　PCA算法指出任何特定的人脸可以由一个低维的特征子空间表示，并可以用这个特征子空间近似地重建。将输入人脸图像投影到特征子空间上得到的特征与已知的数据库进行比对来确定身份。PCA算法选取的特征最大化了人脸样本间的差异，但也保留了一些由于光照和面部表情产生的不必要的变化。而同一个人由于光照产生的变化可能会大于不同人之间的变化，如图4所示。LDA算法在最大化不同个体之间的样本差异的同时，最小化同一个体内部的样本差异。这样达到了人脸特征子空间的划分。图5是PCA和LDA算法的示例。其中，PCA的特征脸是由组成PCA特征子空间的特征向量按二维图像来排列得到的类似人脸的图像。LDA的Fisher脸也是同样道理。经过特征脸和Fisher脸重构得到的人脸图像在第四行。可以看到，PCA重构脸与输入人脸差异较小，但LDA的Fisher脸很难辨认，但突出了该个体的显著特征。PCA和LDA方法都假设存在一个最优的投影子空间。这个子空间的每个区域对应唯一的一个人。然而，事实上在人脸空间中许多人经常会映射到相同的区域中，因此这种假设并不成立。


　　图4 同一个人在不同光照下的图片

　　整体方法主要的优点是它们没有丢弃图像中的任何信息。然而，这也是它们的缺点。整体方法一般假设图像中的所有像素是同等重要的。因此，这些技术不仅计算耗时，而且需要测试样本与训练样本高度相关。当人脸图像的姿态、尺度和光照发生较大变化时识别性能一般。


　　图5 PCA和LDA算法的示例

　　人脸识别系统应用

　　人脸识别的应用范围很广，从门禁、设备登录到机场、公共区域的监控。表1给出了一些人脸识别的应用领域。


　　表1 人脸识别的应用领域

　　类别应用领域

　　人脸验证驾照、签证、身份证、护照、投票选举等

　　接入控制设备存取、车辆访问、智能ATM、电脑接入、程序接入、网络接入等

　　安全反恐报警、登机、体育场观众扫描、计算机安全、网络安全等

　　监控公园监控、街道监控、电网监控、入口监控等

　　智能卡用户验证等

　　执法嫌疑犯识别、欺骗识别等

　　人脸数据库人脸检索、人脸标记、人脸分类等

　　多媒体管理人脸搜索、人脸视频分割和拼接等

　　人机交互交互式游戏、主动计算等

　　其他人脸重建、低比特率图片和视频传输等

　　以公安应用为例，公安部门在查办案、处理事务时常常会遇到一些不明身份的人员，比如走丢的老人、小孩，拒不交代身份的嫌疑犯，无人认领的尸体等。这时传统的方法往往不能解决问题。利用人脸检索系统，将目标人脸输入到系统中。系统自动在海量人口数据库中进行查找比对，列出前若干名相似的人员信息。然后再通过人工干预的方式，对系统结果进行筛选，得到目标的真实身份。

　　文章开头提到的是另外一种应用。即在一些重要的通道出入口，部署高清探头，专门用于抓拍经过的人脸并传送给后端系统。后端系统将人脸图片与所关注的人脸库(比如VIP客户，或者在逃嫌疑犯等)进行逐一比对。当发现有目标与库中人员相似度超过设定阈值时，系统自动提示相关人员采取措施。

　　人脸识别技术发展趋势

　　前面提到了人脸识别的一些典型算法和应用，但人脸识别技术发展到今天，还存在一定的局限性。图4是同一个人在不同光照下的图片，很直观地可以看出，即使是同一个人，在不同光照下用肉眼也很难辨别。除了光照，还有姿态、表情、年龄等因素限制了人脸识别的应用。目前的人脸识别系统只能在一些较规范的环境下进行，人脸需要正对着摄像机，并保证人脸在画面中有一定的像素宽度。但是在实际的安防监控场合中，这些限制条件很难一一满足。这就为人脸识别技术提出了更大的挑战。未来的人脸识别算法需要进一步提高精度，提高环境适应性，以满足实际的应用需求。

　　现在已经有一些机构、高校在进行人脸识别新领域、新技术的研究。比如远距离人脸识别技术，3D人脸识别技术等。远距离人脸识别系统面临两个主要困难。首先是如何从远距离获取人脸图像。其次，在得到的数据并不理想的情况下，如何识别身份。从某种意义上来看，远距离人脸识别并不是一个特定的关键技术或者基础研究问题。它可以看成是一个应用和系统设计问题。通常有两类解决方法用于获取人脸图片。一种是高清的固定式摄像机，另一种是使用PTZ控制系统多摄像机系统。后者更适合于一般情况，不过其结构更为复杂，造价也更贵。后者需要考虑如何协调多台摄像机的同步操作。一般地，系统由低分辨率广角摄像机和高分辨率长焦摄像机组成。前者用于检测和追踪目标，后者用于人脸图像采集和识别。目前远距离人脸识别技术还处于实验室阶段，未来如果能够解决上述问题，对人员布控这样的应用有着重要意义。


　　3D人脸识别能够很好地克服2D人脸识别遇到的姿态、光照、表情等问题。主要原因是2D图像无法很好地表示深度信息。通常，3D人脸识别方法使用3D扫描技术获取3D人脸，然后建立3D人脸模型并用于识别。不过，3D人脸识别技术的缺点也是很明显的。首先它需要额外的3D采集设备或双目立体视觉技术，其次，建模过程需要的计算量较大。相信随着未来芯片技术的发展，当计算能力不再受到制约，采集设备成本大幅下降的时候，3D人脸识别将会成为热门技术之一。