一种人脸活体检测的方法、相关装置、设备及存储介质制造方法及图纸

本申请公开了一种人脸活体检测的方法，该方法应用于人工智能领域，本申请提供的包括获取初始人脸图像以及N个光照方向所对应的人脸图像集合；根据初始人脸图像以及人脸图像集合，获取N个差分图像；根据N个差分图像以及所述N个光照方向生成法线图以及反射率图；根据N个差分图像、法线图以及反射率图确定人脸活体检测结果。本申请还公开了一种相关装置、设备及存储介质。本申请由于同时考虑人脸图像的三维几何信息和表面材质信息，从而能够辨识出人脸图像的真实性，有效地抵御不同的人脸活体攻击方式。

A method, related device, device and storage medium of human face living detection

【技术实现步骤摘要】
一种人脸活体检测的方法、相关装置、设备及存储介质
本申请涉及人工智能领域，尤其涉及一种人脸活体检测的方法、相关装置、设备及存储介质。
技术介绍
人脸活体检测的主要目的是判断当前的人脸是否为真实活人，以抵挡假人脸的攻击。人脸活体检测是进行人脸识别之前的重要步骤。随着人脸识别在人脸支付以及人脸门禁等诸多重要领域的应用，采用仿冒人脸来攻击人脸识别的问题日益凸显，人脸活体检测是抵挡仿冒人脸攻击的主要技术路径。目前，主要多张人脸图像作为人脸活体检测的依据，例如，人脸图像中的人脸满足眨眼或者张嘴等动作特征，则判定该图像中的人脸为活体人脸。然而，对于高清打印的人脸图像或高分辨率的人脸照片，则难以区分是否为活体人脸，例如，使用一张睁眼的高分辨率的人脸照片以及一张闭眼的高分辨率的人脸照片作为人脸活体检测，也可能会被误认为是活体人脸。由此可见，采用目前的方案进行人脸活体检测，缺乏鲁棒性，且难以抵御仿冒人脸的攻击。
技术实现思路
本申请实施例提供了一种人脸活体检测的方法、相关装置、设备及存储介质，可以利用不同方向的入射光照射人脸，计算出人脸图像的法线图和反射图，同时考虑人脸图像的三维几何信息和表面材质信息，从而能够辨识出人脸图像的真实性，有效地抵御不同的人脸活体攻击方式。有鉴于此，本申请第一方面提供一种人脸活体检测的方法，包括：获取初始人脸图像以及N个光照方向所对应的人脸图像集合，其中，人脸图像集合包括N个人脸图像，且每个人脸图像对应于一个光照方向，N个光照方向为互不相同的光照方向，且N个光照方向对应于N个光源位置，N个光源位置不在同一直线上，N为大于或等于3的整数；根据初始人脸图像以及人脸图像集合，获取N个差分图像；根据N个差分图像以及N个光照方向生成法线图以及反射率图，其中，法线图是基于每个像素点对应的法线所构成的图像，反射率图是基于每个像素点所对应的反射率所构成的图像；根据N个差分图像、法线图以及反射率图确定人脸活体检测结果。本申请第二方面提供一种人脸活体检测装置，包括：获取模块，用于获取初始人脸图像以及N个光照方向所对应的人脸图像集合，其中，人脸图像集合包括N个人脸图像，且每个人脸图像对应于一个光照方向，N个光照方向为互不相同的光照方向，且N个光照方向对应于N个光源位置，N个光源位置不在同一直线上，N为大于或等于3的整数；获取模块，还用于根据初始人脸图像以及人脸图像集合，获取N个差分图像，其中，N个差分图像中的每个差分图像为基于初始人脸图像与人脸图像获取到的；生成模块，用于根据获取模块获取的N个差分图像生成法线图以及反射率图，其中，法线图为每个像素点所对应的法线表示为不同通道的图像，反射率图为每个像素点所对应的发射率表示为不同通道的图像；确定模块，用于根据获取模块获取的N个差分图像、生成模块生成的法线图以及反射率图确定人脸活体检测结果。在一种可能的设计中，在本申请实施例的第二方面的第一种实现方式中，获取模块，具体用于获取初始人脸图像；在目标时长内的第一时刻下，获取第一光照方向下所对应的第一人脸图像；在目标时长内的第二时刻下，获取第二光照方向下所对应的第二人脸图像，其中，第二时刻与第一时刻为不同时刻；在目标时长内的第三时刻下，获取第三光照方向下所对应的第三人脸图像，其中，第三时刻与第一时刻为不同时刻，且第三时刻与第二时刻为不同时刻。在一种可能的设计中，在本申请实施例的第二方面的第二种实现方式中，人脸图像集合至少包括第一人脸图像、第二人脸图像以及第三人脸图像；N个光照方向至少包括第一光照方向、第二光照方向以及第三光照方向，且第一光照方向、第二光照方向以及第三光照方向为不同方向上的光照；获取模块，具体用于获取初始人脸图像；在第一光照方向下获取第一人脸图像；在第二光照方向下获取第二人脸图像；在第三光照方向下获取第三人脸图像。在一种可能的设计中，在本申请实施例的第二方面的第三种实现方式中，N个光源位置至少包括第一光源位置、第二光源位置以及第三光源位置，且第一光源位置、第二光源位置以及第三光源位置不在同一直线上；获取模块，具体用于当终端设备的第一屏幕区域点亮时，在第一光照方向下采集第一人脸图像，其中，第一屏幕区域位于第一光源位置，第一光照方向为第一屏幕区域在点亮时照射待识别人脸所对应的方向；当终端设备的第二屏幕区域点亮时，在第二光照方向下采集第二人脸图像，其中，第二屏幕区域位于第二光源位置，第二光照方向为第二屏幕区域在点亮时照射待识别人脸所对应的方向；当终端设备的第三屏幕区域点亮时，在第三光照方向下采集第三人脸图像，其中，第三屏幕区域位于第三光源位置，第三光照方向为第三屏幕区域在点亮时照射待识别人脸所对应的方向。在一种可能的设计中，在本申请实施例的第二方面的第四种实现方式中，N个光源位置至少包括第一光源位置、第二光源位置以及第三光源位置，且第一光源位置、第二光源位置以及第三光源位置不在同一直线上；获取模块，具体用于当第一发光二极管发光区域点亮时，在第一光照方向下采集第一人脸图像，其中，第一发光区域位于第一光源位置，第一光照方向为第一发光区域在点亮时照射待识别人脸所对应的方向；当第二发光区域点亮时，在第二照方向下采集第二人脸图像，其中，第二发光区域位于第二光源位置，第二光照方向为第二发光区域在点亮时照射待识别人脸所对应的方向；当第三发光区域点亮时，在第三照方向下采集第三人脸图像，其中，第三发光区域位于第三光源位置，第三光照方向为第三发光区域在点亮时照射待识别人脸所对应的方向。在一种可能的设计中，在本申请实施例的第二方面的第五种实现方式中，人脸图像集合至少包括第一人脸图像、第二人脸图像以及第三人脸图像；获取模块，具体用于对初始人脸图像进行人脸关键点检测，得到初始人脸关键点集合，其中，初始人脸关键点集合包括多个初始人脸关键点；对第一人脸图像进行人脸关键点检测，得到第一人脸关键点集合，其中，初始人脸关键点集合包括多个第一人脸关键点；对第二人脸图像进行人脸关键点检测，得到第二人脸关键点集合，其中，初始人脸关键点集合包括多个第二人脸关键点；对第三人脸图像进行人脸关键点检测，得到第三人脸关键点集合，其中，初始人脸关键点集合包括多个第三人脸关键点；根据初始人脸关键点集合以及第一人脸关键点集合，生成第一差分图像，其中，第一差分图像为N个差分图像中的一个差分图像；根据初始人脸关键点集合以及第二人脸关键点集合，生成第二差分图像，其中，第二差分图像为N个差分图像中不同于第一差分图像的一个差分图像；根据初始人脸关键点集合以及第三人脸关键点集合，生成第三差分图像，其中，第二差分图像为N个差分图像中不同于第一差分图像以及第二差分图像的一个差分图像。在一种可能的设计中，在本申请实施例的第二方面的第六种实现方式中，人脸活体检测装置还包括计算模块、展示模块以及执行模块；...

【技术保护点】
1.一种人脸活体检测的方法，其特征在于，包括：/n获取初始人脸图像以及N个光照方向所对应的人脸图像集合，其中，所述人脸图像集合包括N个人脸图像，且每个人脸图像对应于一个光照方向，所述N个光照方向为互不相同的光照方向，且所述N个光照方向对应于N个光源位置，所述N个光源位置不在同一直线上，所述N为大于或等于3的整数；/n根据所述初始人脸图像以及所述人脸图像集合，获取N个差分图像；/n根据所述N个差分图像以及所述N个光照方向生成法线图以及反射率图，其中，所述法线图是基于每个像素点对应的法线所构成的图像，所述反射率图是基于每个像素点所对应的反射率所构成的图像；/n根据所述N个差分图像、所述法线图以及所述反射率图确定人脸活体检测结果。/n

【技术特征摘要】
1.一种人脸活体检测的方法，其特征在于，包括：
获取初始人脸图像以及N个光照方向所对应的人脸图像集合，其中，所述人脸图像集合包括N个人脸图像，且每个人脸图像对应于一个光照方向，所述N个光照方向为互不相同的光照方向，且所述N个光照方向对应于N个光源位置，所述N个光源位置不在同一直线上，所述N为大于或等于3的整数；
根据所述初始人脸图像以及所述人脸图像集合，获取N个差分图像；
根据所述N个差分图像以及所述N个光照方向生成法线图以及反射率图，其中，所述法线图是基于每个像素点对应的法线所构成的图像，所述反射率图是基于每个像素点所对应的反射率所构成的图像；
根据所述N个差分图像、所述法线图以及所述反射率图确定人脸活体检测结果。


2.根据权利要求1所述的方法，其特征在于，所述获取初始人脸图像以及N个光照方向所对应的人脸图像集合，包括：
获取所述初始人脸图像；
在目标时长内的第一时刻下，获取所述第一光照方向下所对应的所述第一人脸图像；
在所述目标时长内的第二时刻下，获取所述第二光照方向下所对应的所述第二人脸图像，其中，所述第二时刻与所述第一时刻为不同时刻；
在所述目标时长内的第三时刻下，获取所述第三光照方向下所对应的所述第三人脸图像，其中，所述第三时刻与所述第一时刻为不同时刻，且所述第三时刻与所述第二时刻为不同时刻。


3.根据权利要求1所述的方法，其特征在于，所述人脸图像集合至少包括第一人脸图像、第二人脸图像以及第三人脸图像；
所述N个光照方向至少包括第一光照方向、第二光照方向以及第三光照方向，且所述第一光照方向、所述第二光照方向以及所述第三光照方向为不同方向上的光照；
所述获取初始人脸图像以及N个光照方向所对应的人脸图像集合，包括：
获取所述初始人脸图像；
在所述第一光照方向下获取所述第一人脸图像；
在所述第二光照方向下获取所述第二人脸图像；
在所述第三光照方向下获取所述第三人脸图像。


4.根据权利要求3所述的方法，其特征在于，所述N个光源位置至少包括第一光源位置、第二光源位置以及第三光源位置，且所述第一光源位置、所述第二光源位置以及所述第三光源位置不在同一直线上；
所述在所述第一光照方向下获取所述第一人脸图像，包括：
当终端设备的第一屏幕区域点亮时，在所述第一光照方向下采集所述第一人脸图像，其中，所述第一屏幕区域位于所述第一光源位置，所述第一光照方向为所述第一屏幕区域在点亮时照射待识别人脸所对应的方向；
所述在所述第二光照方向下获取所述第二人脸图像，包括：
当所述终端设备的第二屏幕区域点亮时，在所述第二光照方向下采集所述第二人脸图像，其中，所述第二屏幕区域位于所述第二光源位置，所述第二光照方向为所述第二屏幕区域在点亮时照射所述待识别人脸所对应的方向；
所述在所述第三光照方向下获取所述第三人脸图像，包括：
当所述终端设备的第三屏幕区域点亮时，在所述第三光照方向下采集所述第三人脸图像，其中，所述第三屏幕区域位于所述第三光源位置，所述第三光照方向为所述第三屏幕区域在点亮时照射所述待识别人脸所对应的方向。


5.根据权利要求3所述的方法，其特征在于，所述N个光源位置至少包括第一光源位置、第二光源位置以及第三光源位置，且所述第一光源位置、所述第二光源位置以及所述第三光源位置不在同一直线上；
所述在所述第一光照方向下获取所述第一人脸图像，包括：
当第一发光区域点亮时，在所述第一光照方向下采集所述第一人脸图像，其中，所述第一发光区域位于所述第一光源位置，所述第一光照方向为所述第一发光区域在点亮时照射待识别人脸所对应的方向；
所述在所述第二光照方向下获取所述第二人脸图像，包括：
当第二发光区域点亮时，在所述第二照方向下采集所述第二人脸图像，其中，所述第二发光区域位于所述第二光源位置，所述第二光照方向为所述第二发光区域在点亮时照射所述待识别人脸所对应的方向；
所述在所述第三光照方向下获取所述第三人脸图像，包括：
当第三发光区域点亮时，在所述第三照方向下采集所述第三人脸图像，其中，所述第三发光区域位于所述第三光源位置，所述第三光照方向为所述第三发光区域在点亮时照射所述待识别人脸所对应的方向。


6.根据权利要求1所述的方法，其特征在于，所述人脸图像集合至少包括第一人脸图像、第二人脸图像以及第三人脸图像；
所述根据所述初始人脸图像以及所述人脸图像集合，获取N个差分图像，包括：
对所述初始人脸图像进行人脸关键点检测，得到初始人脸关键点集合，其中，所述初始人脸关键点集合包括多个初始人脸关键点；
对所述第一人脸图像进行人脸关键点检测，得到第一人脸关键点集合，其中，所述初始人脸关键点集合包括多个第一人脸关键点；
对所述第二人脸图像进行人脸关键点检测，得到第二人脸关键点集合，其中，所述初始人脸关键点集合包括多个第二人脸关键点；
对所述第三人脸图像进行人脸关键点检测，得到第三人脸关键点集合，其中，所述初始人脸关键点集合包括多个第三人脸关键点；
根据所述初始人脸关键点集合以及所述第一人脸关键点集合，生成第一差分图像，其中，所述第一差分图像为所述N个差分图像中的一个差分图像；
根据所述初始人脸关键点集合以及所述第二人脸关键点集合，生成第二差分图像，其中，所述第二差分图像为所述N个差分图像中不同于所述第一差分图像的一个差分图像；
根据所述初始人脸关键点集合以及所述第三人脸关键点集合，生成第三差分图像，其中，所述第二差分图像为所述N个差分图像中不同于所述第一差分图像以及所述第二差分图像的一个差分图像。


7.根据权利要求6所述的方法，其特征在于，所述方法还包括：
根据所述初始人脸关键点集合以及所述第一人脸关键点集合，计算得到第一关键点偏移量；
根据所述初始人脸关键点集合以及所述第二人脸关键...

【专利技术属性】
技术研发人员：曹煊，丁守鸿，孟嘉，姚太平，葛彦昊，汪铖杰，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：广东;44