作者：李思远
技术背景与意义 人脸识别是一种基于分析与比较人的面部特征信息来从数字图像或视频流中分辨人脸的技术，融合计算机视觉、模式识别、机器学习、数字图像处理、生物特征等多个学科的理论与 方法，在实际应用上有广泛前景。它起始于上世纪六十年代，在九十年代迅速发展，并不断 被深入研究至今。对人脸识别的研究正是当今热点之一。它是机器学习在现实生活中广泛应 用的一个例子。鉴于其操作简单、快捷方便、结果直观等特点，人脸识别现在已经被广泛应 用于众多领域，并取得了举足轻重的作用，如摄像监控、安保门检、手机解锁等，目前对其 研究依然兴盛不衰。人脸识别包括很多部分，如人脸探测、人脸对齐、人脸表征、人脸辨识、 人脸数据库建立等等。 图 1 人脸检测示例 人脸识别的研究在理论和实践上都有巨大的意义。人脸识别是一项交叉研究，涵盖了计算机 视觉，数字图像处理，模式识别，生物特征等各类学科，对人脸识别的研究可以促进这些学科的理论发展。同时人脸识别是一种非常直观的身份验证方式，具有鲁棒性，无需接触即可 验证，非常简单方便，因此其在实践上应用相当广泛，在商业，安保，身份认证等众多领域 均有成功的应用。 技术的当前发展水平与应用 人脸识别算法发展目前已相对成熟。根据今年美国国家标准与技术研究院(NIST)组织的全 球人脸识别算法测试(FRVT)排名的成绩，依图科技的人脸识别算法在千万分之一的误报 水平上的识别准确率超过 99%，是全球人脸识别业界的最佳水平。 图 2 FRVT 成绩排行榜[1] 人脸识别在现实中具有广泛的应用场景。例如在国家安全的领域上，人脸识别可以帮助进行 身份认证，海关，港口等重要地点就有应用，可以过滤间谍，恐怖分子等敏感人物。在公共 安全领域，公安系统可以在数据库中对比嫌疑人照片快速确定犯罪嫌疑人身份，缩短查证时 间，提高办案效率，还可以网上追逃，在各个终端进行监控，例如天眼系统。很多门禁系统 就包括人脸识别部分，防止可疑人员进入。一些企业会使用人脸识别的门禁作用在考勤上。 人脸识别也在人机交互领域有很多应用，例如目前很多相机会使用脸部探测来自动对焦，锁定人脸，一些手机自拍 APP 会对检测到的人脸自动做美化处理。目前很多智能手机都加入 了面部解锁功能，一些手机应用如支付宝也加入了人脸识别来辨明使用者身份，腾讯为防止 未成年人登陆游戏也预计在游戏中加入人脸识别模块检测使用者年龄。在一些电影特效中， 会使用人脸对齐算法进行五官定位、表情识别、面部动作捕捉等来做出相应的人物表情模型。 很多营销人员也对脸部探测技术感兴趣，一些营销人员将摄像头集成到广告显示屏上，检测 路人的信息，如性别、年龄等等，对该路段的路人身份进行预判，就可以对显示屏所在路段 针对性的播放广告。 技术的关键点 人脸识别的流程一般包括人脸探测(facedetection)，人脸对齐(face alignment)，人脸表 征(face representation)，人脸验证或辨识(face verification or face identification)。人 脸识别的技术关键也在于各个流程部分的精确度与算法结构。精确度的重要性自不必说，算 法结构可以影响运行速度，如何在降低算法复杂度，减小算法实施对高性能硬件的依赖，取 得实时运行人脸识别算法的效果，也是各大厂商研究的关键。 人脸探测比较经典传统的算法包括基于 Haar 特征[2]，基于 LBP 特征[3]，基于 HOG[4]等特征的算法，现在比较流行的有基于卷积神经网络的算法，如 RCNN[5]，RFCN[6]，目前工业界的实时人脸探测已取得良好效果。 图 3 Haar 特征[7] 人脸对齐可以被表达为在面部图像上搜索预定义的面部点(也称为面部形状)的问题，其通 常从粗略的初始形状开始，并且通过逐步细化形状估计直到收敛来进行，常用算法包括 ESR (基于弱回归器随机蕨组成的强阶段回归器)[8]，ERT(基于 GBDT)[9]，LBF(基于随机森林)[10]。人脸对齐的意义在于减小人脸不同的位姿对人脸识别效果的影响，得到人脸关 键点位置的坐标后，通过仿射变换将人脸变为适合识别的位姿以减小识别误差。由于人脸对 齐可以得到出五官位置与轮廓等信息，因此其对表情识别有很大影响。 图 4 ERT 人脸对齐过程示例[9] 人脸表征是一个特征提取建模的过程，也叫人脸特征提取，这部分将人脸特征用数学形式表 达出来(例如一个特征向量)，方便后续的人脸验证或辨识，好的人脸特征可以提升识别算 法精确度。常见方法包括基于面部器官的特征提取(如五官之间的欧氏距离，角度，曲率等量化参数)，基于模板的特征提取(待检测人脸图像与标准模板之间的差异)，基于代数方法 的特征提取(例如根据小波变换，主成分分析等方法将人脸图像变换到特征空间)，基于弹性匹配法(属性拓扑图等方法)的特征提取等方法。
人脸验证是解决 1 对 1 的匹配问题，比如说判断一张人脸图片是否属于我们指定的那个人， 或者判断两张人脸是否是同一个人等。而人脸辨识是 1 对 N 的问题，对于一张人脸图片， 我们不知道这个人脸的信息，需要从数据库中为他匹配，找出他是谁。现在也有算法不再使 用上述固定的流程，而是将探测与识别同时进行，例如 YOLO(you only look once)[11]， SSD(single shot detector)[12]等算法，这类算法的运行速度更快，但是性能有所下降。 技术的难点 1.不同光照可能会对人脸识别造成影响。人脸是立体的，不同光照造成的阴影可能会对识 别所依赖的脸部特征造成影响。
2.一些刑侦探测可能会需要调遣监控，由于距离或设备等原因，得到的人脸图像可能是包 含噪声的，低分辨率的。
图5 CRVIA 数据集的某监控视频帧中的低分辨率人脸[13]
3.遮挡物的影响。头部佩戴的帽子，墨镜，口罩等都可能会对人脸识别造成干扰。
4. 人脸的姿态，表情等影响。头部在三维坐标下的不同角度造成的不同姿态可能会对人脸 识别造成干扰，如正侧脸。人脸轻微的表情可能对识别没有太大的影响，但是大幅的表 情变化有可能对识别造成干扰。 可能的解决方案 1.对光照的影响，可以在进行分类前对数据进行图像预处理，例如使用幂律均衡，直方图 均衡等方法减小光照影响。还可以将多种特征融合，单一的特征对某种环境条件鲁棒性 较低，但是多种特征结合可以增强对这种条件的鲁棒性。
2.对于包含噪声的图像，可以根据噪声类型进行去噪。例如椒盐噪声可以使用中值滤波去 噪，周期性噪声可以使用带通带阻滤波器进行去噪等等。
3.对于低分辨率的图像，可以使用一些超分辨率算法，在预处理时将低分辨率图像转为高 分辨率图像并消除超低分辨率图像中的面部幻觉(face hallucination)。一些基于机器 学习的算法取得了良好的效果。
图6 CAS-PEAL 数据集的超分辨率结果. (a) 超低分辨率输入图像. (b) Bicubic. (c) HF (d) EF (e) KF. (f) PF(g) RLSR (h) 高清原图 [13]
4. 对于人脸的姿态问题，如果是二维的旋转，可以在人脸对齐后根据五官将其旋转为正脸 位置。如果是三维的位姿偏转，一种解决思路是在训练时就针对不同的姿态进行训练， 如加入侧脸数据;另一种是将非正脸的人脸位姿恢复为正脸位姿，如将侧脸恢复为正脸。 一些研究者们基于数据学习可以对人脸进行三维建模，将人脸恢复为适宜于识别的状态。 图 7 3D 人脸重建结果示例 (a)2D 人脸输入图像 (b)UH-E2FAR (c)RSNIEF (d)RSN (e)UH-2FCSL (f)UH-E2FARMod [14] 未来的发展方向 人脸识别未来的发展方向会紧跟目前的难点，继续突破。
1.实时人脸识别。实际应用中，实时人脸识别相对人脸图像识别具有更广泛的应用，因此研究实时人脸识别具有巨大的实际应用意义，是未来的重要发展方向之一。
2.三维人脸识别。三维人脸识别可以克服人脸的姿态，表情等影响。同时三维人脸识别对活体检测有帮助，例如在移动支付上，二维人脸识别可能被包含用户人脸的照片或视频欺骗，但是三维人脸识别可以抵挡这种攻击。因此三维人脸是一个非常有意义的研究方 向。 3.有遮挡的人脸识别。实际应用环境下，人脸被遮挡是一种常见场景。帽子，墨镜，口罩 等遮挡物对人脸识别效果有很大影响，如何降低这种影响是一个重要的研究方向。
4.跨年龄，跨人种的人脸识别。目前很多人脸数据集的人脸人种较为单一，研究发现从某
人种的数据集训练得到的模型效果在另一个人种上会出现大幅度的下降，同时年龄增长 对人脸造成的改变也会降低人脸识别的准确度。因此这方面的研究也是人脸识别未来的 发展方向之一。
Reference
[1] https://www.nist.gov/programs-pr ... r-test-frvt-ongoing
[2] Viola, Paul A. and Michael J. Jones.“Rapid Object Detection using a Boosted Cascade of Simple Features.” CVPR(2001).
[3] Ahonen T, Hadid A, Pietikainen M. “FaceDescription with Local Binary Patterns: Application to Face Recognition”. IEEETransactions on Pattern Analysis & Machine Intelligence, 2006,28(12):2037-2041.
[4] Dalal N, Triggs B. “Histograms oforiented gradients for human detection”, IEEE Computer Society Conference onComputer Vision & Pattern Recognition. IEEE Computer Society, 2005:886-893.
[5] Jiang, Huaizu and Erik G. Learned-Miller.“Face Detection with the Faster R-CNN.” 2017 12th IEEEInternational Conference on Automatic Face & Gesture Recognition (FG 2017)(2017): 650-657.
[6] Wang, Yitong et al. “Detecting FacesUsing Region-based Fully Convolutional Networks.” CoRR abs/1709.05256 (2017):n. pag. [7] Lienhart,Rainer and Jochen Maydt. “An extended set of Haar-like features for rapidobject detection.” ICIP (2002).
[8]Cao X, Wei Y, Wen F, et al. “Face alignment by Explicit Shape Regression”.International Journal of Computer Vision, 2014, 107(2):177-190. [9] Kazemi V,Sullivan J. “One millisecond face alignment with an ensemble of regressiontrees” IEEE Conference on Computer Vision and Pattern Recognition. IEEEComputer Society, 2014:1867-1874.
[10]Ren S, Cao X, Wei Y, et al. “Face Alignment at 3000 FPS via Regressing LocalBinary Features” IEEE Conference on Computer Vision and Pattern Recognition.IEEE Computer Society, 2014:1685-1692. [11] Redmon, Josephet al. “You Only Look Once: Unified, Real-Time Object Detection.” 2016 IEEEConference on Computer Vision and Pattern Recognition (CVPR) (2016): 779-788.
[12] Liu, Wei et al. “SSD: Single ShotMultiBox Detector.” ECCV (2016). [13] Zou, WilmanW. W. and Pong C. Yuen. “Very Low Resolution Face Recognition Problem.” IEEETransactions on Image Processing 21 (2010): 327-340.
[14] Dou, Pengfei et al. “End-to-End 3D Face Reconstruction with DeepNeural Networks.” 2017 IEEE Conference on Computer Vision and PatternRecognition (CVPR) (2017):1503-1512.
| 
发表于 2018-4-2 11:28:10
发表于 2018-4-6 13:22:28