李子青：解密刷脸与生物特征识别|CC讲坛|公益|TED

摆摊卖贞操

中国科学院自动化研究所研究员、生物识别与安全技术研究中心室主任李子青

中国科学院自动化研究所研究员、生物识别与安全技术研究中心室主任李子青
　　“CC讲坛”（第十三期）于2016年6月6日，在北京大学百周年纪念讲堂举行。中国科学院自动化研究所研究员、生物识别与安全技术研究中心室主任李子青出席并做了题为《解密刷脸与生物特征识别》的演讲。
　　以下为演讲实录：
　　人脸识别在最近一两年特别地火。有几个原因，第一是技术的进步所带来的发展；第二个是应用有强劲的需求；第三，是大佬们的推波助澜以及资本的热捧。
　　现在的人脸识别技术可以轻松地搞定普通的应用。比如，我们要用人脸识别来搜papi酱，那么它返回的结果，现在基本上可以做到都是papi酱本人。结果当中可能也会包含一些其他的不是papi酱本人的女孩子，但对这种人脸搜索的应用来说也无伤大雅。况且，人家可能也是集美貌与才华于一身，对吧？再高端的一些应用，比如说刷脸支付，现在还存在着一些技术和安全性上的问题。相信马云他本人会授权，他自己的账户用刷脸来转账，那就too young too simple（图样图森破），sometimes naive（有时天真）！
　　早在十多年以前，人脸识别就小火了一把。比尔?盖茨他本人非常看好生物特征识别技术的应用与未来。他在2001年就对外界媒体公开了自家的人脸识别技术。那是我研发的一个完整的、全自动的、实时的人脸识别系统。后面有一个人肉背景，带眼镜的，那就是我年轻的时候。因为我们这个演示很成功。这个记者最后说了一句，他说：“你们这帮人，这个星期的薪水，已经有着落了。”
　　早在那之前，比尔盖茨他发布一个Windows的新版本，在发布会上遇到了蓝屏死机，所以在接受CNN采访之前，我们做了各种各样的预案。包括精心部署这个灯光，并且请比尔?盖茨他老人家能够正面配合一下，看着摄像头，还有请您不要太得意，夸张的表情可能会对识别造成错误。
　　人脸识别，这样一个事情是我们一生下来就在做的。这是几百万年所进化的我们一个能力。自动的人脸识别算法，世界上第一个做这个事情的是一个英国人。他受一家政府机构的委托来开展研究。他当时所采用的方法是一种半自动的方法，就是用手工在图像上标定人脸上面的关键点，然后测量两眼之间的距离、嘴唇的厚度，以此作为特征来进行人脸的比对。其实我很多的朋友，当我告诉他我是做人脸识别的。他就会告诉我：“我知道怎么做，就是两眼之间的距离，眼睛大小、嘴唇大小。”但实际上，现在的技术不是这样的。在那之后，有非常多的重大的技术突破，比较关键的是2001年的一个叫AdaBoost，这样一个人脸检测技术，它很能快速地从照片当中、图片当中把人脸框出来。最近的10年，深度学习的研究与应用使得人脸识别和人工智能的核心技术得到了极大的提升。图像硬件的发展也有力地给这个人脸识别提供了很好的图像基础。
　　人脸识别的流程大概是这样的。首先我们在图像当中找到这个人脸，然后把每个人脸进行一种预处理，给它进行光照、姿态、表情等等一些校正。然后在这个基础之上，我们用算法对它这个人脸部分进行一个特征的提取，把图片变成一个二维码。在此基础上进行特征的对比，然后进行身份识别的判决。这里面遇到的技术难点，首先是要解决光照问题。比如说在全黑的条件下，我们连图像都采不到。怎么能进行人脸识别？像在左边这样一个条件下，一个极端的光照我们现在的算法还不能很好地去对它进行一个有效的、正确的比对。其他的包括姿态、表情、还有配饰。比如说戴个墨镜，还有头发的遮挡。经常女孩子会比较难以识别，因为她的头发遮挡住了。还有化妆，很多人会问我，“我到韩国去整个容，那么我进海关怎么办？”实际上我认为靠人脸识别的话如果你完全不一样了，应该是当成不同的人。还有人问我，“我双胞胎，长得一模一样，那你能区分出来吗？”我说：“NO！”因为靠长相、靠人脸的话，那双胞胎他就是同一张人脸。还有一些问题就是比如说年龄的跨度，我从小到大，我的面容变化非常地巨大，这也是一个问题。
　　前面提到就是为了给比尔?盖茨做演示，我们精心地布置了灯光。在那之后，我就在想如何解决这个光照问题，这是第一步要解决的。直接的一个解决方案就是说我们可以像数码相机那样在前面加个闪光灯。“啪”的一下，只要能采到正面的照片，那么我们就能以很高的准确率进行识别。但是如果说每次做人脸识别的时候，都要用闪光灯闪一下给人的体验是非常差的，那个是不太可行。但是我们有其它的方法，比如说，用近红外主动光源。大家可能看到聊天摄像头上面和那种监控视频上面，晚上都有一些肉眼看不见但是传感器、摄像头它能看得见的这样一种方式。所以，我发明了这样一个近红外人脸识别的这样一个方法。这样一个产品长相是这样的，是不是大家看着非常的土？这是第二代的样品。第一代的样品更土，是装在一个蒙牛牛奶的包装盒里边的，所有的电路、包括二极管、包括一些传感器什么东西都包在里面。但是它work，它解决了问题。使得2004年，当时的这样一个人脸识别率得到了极大的提升。现在这个产品是长成是这样的。比以前要高大上多了，这样一个产品的话在全世界各地每年销售有几十万台。
　　大数据和深度学习极大地推进了人脸识别和人工智能，包括AlphaGO。这样一个技术的发展这里面有三个要素，第一个是大数据。要学习到这个模型的这样一个数据，它要能囊括能够概括我们大多数场景下能够看到的这样一些数据。第二个就是深度网络的结构。它层数很深，并且它是一个非线性变换，使得这样一个函数它能处理像人脸识别、语音识别和机器下棋，这样一些非常复杂的问题。第三个要素就是深度学习的运算量非常的大，我们希望能在有限的、可以等待的时间内，把这个模型训练学习完成，这就需要有GPU的加速。这三个要素缺一不可！
　　在很多情况下，人脸的姿态和表情是不受控制的。那么如何去解决这个问题？我们为此研发了三维可形变的模型。它具体就是把输入图像往一个内部的、三维模型上面给它贴上去，然后根据关键点的位置用三维模型把这个姿态给它转过来。转到正面之后，我们再把这个表情再给它归一化，给它变成一个中性的表情，最后就得到这样一个输出。这样的话就能够提高在大姿态、大的表情条件下的人脸识别的准确率。最新的进展就是我们把前面所说的，三维可形变模型与深度学习处理进一步结合，使得它更加强悍，能够解决更加困难的问题。
　　各种各样的生物特征识别，包括人脸、指纹、虹膜、眼睛等等一些，它都存在着一些问题。首先就是识别错误的问题。因为没有哪一个算法，哪一个人工智能的技术能够保证百分之百。第二个就是这个系统会受到各种各样的假体的攻击。关于识别率错误的问题，一个很典型的案例，就是赵薇的司机把赵薇老公的房子给卖了。可能这个新闻大家都知道，原因是赵薇的司机骗过了人脸识别系统。这司机得长成啥样？他才能够骗过这个人脸识别系统，并且准确率、相似度高达98.3%，所以说我就在网上搜了一下，这是赵薇老公，我也曾经试图去搜索那个司机的人脸，但是没搜到。但是很机智的我，搜出了一个老司机的表情包。大家仔细看一下是不是挺像的，所以说我们应该为那套人脸识别系统点赞，很智能、很准确！
　　各种各样的假体攻击，人脸识别的话包括照片的打印、视频的播放，比如说安卓4.0，它推出了人脸解锁。马上就有人说，“我拿这个手机拍一张照片，对着这个手机就能解锁了。”还有就是人脸的面具。对付照片打印还是比较简单的，我们可以采取人机交互的方法。比如说我可以下指令，你给我眨个眼睛，那我就看你是不是眨了眼睛。你给我张张嘴，你给我摇摇头。当这个防假体攻击的技术出现之后，又出现了另外一种攻击形态。他把这个照片打印出来，然后把眼睛和嘴巴的地方给它抠出来，你让我眨眼我就眨眼，你要我张嘴我就张嘴，你让我摇头我就摇头，所以说这个技术就是有矛又有盾，我们是螺旋式的上升和技术进步。网上可以买卖到的仿人皮的这样一个人脸。除了这个人脸之外，指纹这个假体是更加普遍。你在百度上面去搜一下，就能搜出各种各样的仿制的指纹的方法。它可以代打卡嘛！我可以不用去上班了。我也是非常希望我们每一个中国人都能在一个良好的环境当中去生存，就是能够活得有尊严，所以说这种骗术我们一定要给它铲除。
　　为了解决生物识别防假体攻击这样一个问题，欧盟组织了12个团队来开展系统性的、合作研究，其中11个团队是欧盟成员国的团队，我们作为唯一的一个非欧团队受邀参加这样一个项目。我们在这个项目当中提出了，用多光谱的方法。就是多光谱，包括紫外、近红外、热红外成像，这是我们肉眼不可见，但是在各种光谱情况下的成像，它可能能分辨出。这个真人和假体的区别这样一种技术它是需要一种特殊的硬件的。
　　下面我来比较一下机器的识别与人工的这样一个识别。这是一个招商银行提供的一个图片，那么在柜台我们都要出示我们的身份证，柜员来核验。招商银行统计是人工核验的错误率大概是百分之五，而机器自动识别的错误率大概在千分之一到万分之一之间，所以说这个机器已经远远超过了人工的这样一个识别，但是这是有条件的。
　　这个案例是在深圳罗湖海关抓有案底的这样一些水客。因为人能够识别的面孔大概只有几千张，特别是对不熟悉的人，我很难去给他识别出来。像我本人的话，我是特别的脸盲，我觉得我顶多只能识别不到一千张脸，远远低于这个平均水平。这个系统在头三天的启用就成功地识别两百多个水客。
　　那比较一下机器识别与人工识别在正常的条件下，机器人脸识别的成功率、准确率是远远高于人工识别的，但是机器它做人脸识别的时候，它只看人脸这样一部分。它没有用到一些外部的一些信息、线索，比如说什么发型，高矮胖瘦啊。它是不看的，而人可以看这个。另外，机器的话，刚才我说了，我可以在大数据当中去搜索人脸。比如说，我们做的一个案例，搜索一千万张只需要不到一秒的时间，而刚才我说了人他一生当中只能认识几千个人，但是机器呢比较容易受到这种伪造的攻击，用一张照片或者一段视频，或者拿个手机，但是人能够比较容易地去识别这样一个假体攻击。
　　除了人脸之外，还有各种各样的生物特征。我们比较熟悉的就是指纹、虹膜，像那些大片里面掌纹、掌静脉、步态、签名、指静脉。那么我们把不同的多种的生物特征给它结合起来，这样的话有可能提升它的准确性与安全性。比如说我拍脸的时候，我同样把这个瞳孔，这个虹膜给它拍出来。这样既不影响你使用的便捷性，又能提升你的识别率；指纹的话，我既采指纹又采指静脉，那这样的话其实也是不会影响它使用的便捷性，但是可以提高它的准确性和安全性。
　　最后谈一下技术发展。深度学习已经是目前人脸识别、物体识别、语音识别和人工智能的一种核心的这样一个方法。大家有个感觉，深度学习在最近几年其实没有什么太多发展，它之所以应用成功是因为我们在做很多工程上面的收集数据。然后进行训练，然后调参数、调应用，我不认为把这个技术的提升可以归结为一个工程化的成果，我认为深度学习理论本身，还是有很大的潜力可以挖出来。很多的工程应用问题都可以归结成一个优化的问题，那么在定义了目标函数之后，我们要去寻优要去求解一个最优解，这里面就涉及到一个全局优化的问题。比如说我知道，全球的最高峰是珠穆朗玛峰，但是如果说我顺着爬上去任何一座山的话，也许我就爬到香山上面了，那就不是珠穆朗玛峰了。所以说要如何能跳出，要避免这样一个不太好的局部极值，能够找到全局的最优点。其实这个已经是在数学界、理论界是一个还是没有很好解决的问题。
　　那么进一步要把这个人工智能提升到更高的一个台阶，需要我们进行一个跨界的努力，需要我们对自己的大脑进行这样一个更加深刻的认识。那么现在已经知道，人的大脑里面有不同的区域是执行不同的功能的。这部分是识别人脸的，这部分是识别猫的，那这部分识别人脸里面是不是有张三李四。也在不同的一个细胞，这就是所谓稀疏表达问题，或者在脑科学里面叫祖母细胞的问题。
　　深度学习有赖于大数据，没有大数据的话，你这个深度学习还是没有什么用的，但是我们人在学习一个新概念的时候，我们并没有用大数据。比如说，我们在中国长大的，我过去从来没有见过榴莲这样的一种热带水果，还有其他的一些热带水果。我只需要看见一次，我今后就认识它了，我并不需要拿一大堆榴莲来我看来看去。对吧？所以说这个就是人的认知跟我们现在做的机器智能的很大的区别。所以说我们需要跨界的合作，需要做脑科学的、需要做生物、物理、化学的、需要我们做人工智能的，大家一起来进行合作探讨。
　　总而言之，技术的进步和应用需求使我们进入了刷脸的时代，而进一步上一个台阶需要我们在科学与技术上进一步探索与突破。除此之外，人脸识别的应用还存在着一些安全和隐私的问题，除了技术需要进一步提升，要制订相关的一些标准、法律、法规，以规避可能存在的风险，让我们努力，让我们期待，谢谢大家！
　　新浪声明：所有会议实录均为现场速记整理，未经演讲者审阅，新浪网登载此文出于传递更多信息之目的，并不意味着赞同其观点或证实其描述。
进入【新浪财经股吧】讨论