一种人脸检测模型生成和人脸检测方法、装置及设备制造方法及图纸

本申请实施例提供一种人脸检测方法、装置及设备，通过确定待进行人脸检测的图像组；合并提取到的各张目标图像的特征图得到第一目标特征图；对第一目标特征图进行特征提取得到第二目标特征图，第二特征图由多个预设维度的向量构成；确定预先设置的图像组中与向量关联的各个锚点区域，并根据向量分别计算每个锚点区域的信息组；根据第二特征图中各个向量关联的每个锚点区域的信息组确定图像组的候选人脸区域；基于第一特征图中匹配候选人脸区域的特征区域生成图像组的人脸检测结果(人脸检测结果包括图像组中的人脸区域和人脸区域的活体检测结果)的方式，达到了在实现人脸检测的同时实现对人脸的活体检测的目的。

【技术实现步骤摘要】
一种人脸检测模型生成和人脸检测方法、装置及设备
本专利技术涉及人脸检测
，更具体地说，涉及一种人脸检测模型生成和人脸检测方法、装置及设备。
技术介绍
自上个世纪以来，生物特征识别技术已经取得了长远的发展。指纹识别、虹膜识别、声纹识别以及人脸识别等技术正变得越来越成熟，并逐渐地应用到人们的生产和生活之中。其中，人脸识别技术由于其数据的直观性和易获取性，已经成为当下最流行的生物特征识别技术之一。长期以来，人们对于人脸识别技术所关心的主要是其识别的准确性问题，即它能否将处于不同拍摄环境下的同一张人脸识别出来，以及它能否区分开两个相似但并不相同的人脸。然而，在实际应用的过程中，人脸识别技术的安全性问题逐渐显露了出来，如何在进行人脸识别时滤除掉一些人为的欺骗性手段，成为了现在的一个热门研究方向。常见的人脸识别欺骗手段包括照片、视频、面具和头模等方式，前两种通常为二维平面，而后两种则会呈现出三维的立体展现形式。用于抵御那些出现在生物特征识别技术中的欺骗手段的方法通常被称为活体检测技术，其目的是判断获取到的生物特征是否属于一个真实的、有生命的个体。而对于人脸识别技术来说，如果想要将人脸识别技术其应用到手机解锁、门禁、刷脸支付等具有安全等级要求的使用场景中，应用于人脸识别的活体检测技术当然是必不可少的。
技术实现思路
有鉴于此，本申请提供一种人脸检测模型生成和人脸检测方法、装置及设备，以达到在实现人脸检测的同时实现对人脸的活体检测的目的。技术方案如下：一种人脸检测方法，包括：确定待进行人脸检测的图像组，所述图像组由同一帧下的多张目标图像构成，各张所述目标图像的数据模态互不相同；合并提取到的各张所述目标图像的特征图得到第一目标特征图；对所述第一目标特征图进行特征提取得到第二目标特征图，所述第二特征图由多个预设维度的向量构成；确定预先设置的所述图像组中与向量关联的各个锚点区域，并根据所述向量分别计算每个所述锚点区域的信息组，所述信息组包括第一信息、第二信息和第三信息，所述第一信息表征所述图像组在所述锚点区域中存在人脸的可能性，所述第二信息表征所述图像组中所述锚点区域和人脸区域之间的偏移量，所述第三信息表征所述图像组中所述锚点区域和人脸区域中人脸关键点之间的偏移量；根据所述第二特征图中各个所述向量关联的每个所述锚点区域的信息组确定所述图像组的候选人脸区域；对所述候选人脸区域进行处理生成所述图像组的人脸检测结果，所述人脸检测结果包括所述图像组中的人脸区域和所述人脸区域的活体检测结果。优选的，所述确定待进行人脸检测的图像组，包括：获取待进行人脸检测的原始图像组，所述原始图像组由同一帧下的多张第一图像构成，所述多张第一图像包括彩色图像、红外图像和深度图像中的至少两种图像；对所述第一图像进行预处理得到所述第一图像对应第二图像；对所有所述第二图像的像素值进行归一化处理得到每张所述第二图像对应的目标图像。优选的，所述第一图像为彩色图像，所述对所述第一图像进行预处理得到所述第一图像对应第二图像，包括：确定所述第一图像中的第一像素点集合和第二像素点集合，所述第一像素点集合包括所述第一图像中在YCbCr空间的Y通道上的值最大的预设数量个像素点，所述第二像素点集合包括所述第一图像中在YCbCr空间的Cb通道上的值位于第一数值范围且在Cr通道上的值位于第二数值范围的各个像素点；计算所述第一像素点集合中的所有像素点分别在RGB图像的每个通道的平均值；针对所述第一图像中的每个像素点，根据该像素点是否属于所述第二像素点集合的结果以及该像素点在所述通道的平均值，计算该像素点在所述通道的目标通道值得到所述第一图像对应的第二图像。优选的，所述合并提取到的各张所述目标图像的特征图得到第一目标特征图，包括：将所述目标图像输入至与其数据模态对应的初级特征提取层得到所述目标图像的特征图，不同数据模态对应不同的初级特征提取层，所述初级特征提取层由两个卷积层构成，所述初级特征提取层用于提取图像的初级特征；对各个所述目标图像的特征图在通道维度上进行合并得到第一目标特征图。优选的，所述对所述第一目标特征图进行特征提取得到第二目标特征图，包括：将所述第一目标特征图输入至主干网络得到深层次特征图，所述主干网络用于提取深层特征，所述主干网络由5个连续的残差模块和2个最大池化层构成，每个所述残差模块包含两个堆叠的卷积层以及附带的BatchNorm层和ReLU层；将所述深层次特征图输入至RPN网络的第一卷积层得到第二目标特征图，所述第一卷积层用于将所述深层次特征图转换成由多个预设维度的向量构成的特征图。优选的，所述确定预先设置的所述图像组中与向量关联的各个锚点区域，并根据所述向量分别计算每个所述锚点区域的信息组，包括：将所述第二目标特征图输入所述RPN网络的的第二卷积层，得到所述第二目标特征图中每个所述向量的第一信息组，所述向量的第一信息组包括根据所述向量计算的预先设置的所述图像组中与所述向量关联的每个锚点区域的第一信息；将所述第二目标特征图输入所述RPN网络的的第三卷积层，得到所述第二目标特征图中每个所述向量的第二信息组，所述向量的第二信息组包括根据所述向量计算的预先设置的所述图像组中与所述向量关联的每个锚点区域的第二信息；将所述第二目标特征图输入所述RPN网络的的第三卷积层，得到所述第二目标特征图中每个所述向量的第三信息组，所述向量的第三信息组包括根据所述向量计算的预先设置的所述图像组中与所述向量关联的每个锚点区域的第三信息。优选的，所述根据所述第二特征图中各个所述向量关联的每个所述锚点区域的信息组确定所述图像组的候选人脸区域，包括：检测所述向量关联的所述锚点区域的第一信息是否超过第一预设值；如果所述向量关联的所述锚点区域的第一信息超过所述第一预设值，根据所述向量关联的所述锚点区域的第三信息检测根据所述向量关联的所述锚点区域预测的初始人脸区域的人脸头部转角是否超过第二预设值；若根据所述向量关联的所述锚点区域的第三信息检测根据所述向量关联的所述锚点区域预测的初始人脸区域的人脸头部转角未超过第二预设值，根据所述向量关联的所述锚点区域的第二信息检测根据所述向量关联的所述锚点区域预测的初始人脸区域中人脸图像是否满足预设条件；如果根据所述向量关联的所述锚点区域的第二信息检测根据所述向量关联的所述锚点区域预测的初始人脸区域中人脸图像满足所述预设条件，将根据所述向量关联的所述锚点区域预测的初始人脸区域确定为一个所述图像组的候选人脸区域。优选的，所述对所述候选人脸区域进行处理生成所述图像组的人脸检测结果，所述人脸检测结果包括所述图像组中的人脸区域和所述人脸区域的活体检测结果，包括：将各个所述候选人脸区域映射到所述深层次特征图得到每个所述候选人脸区域映射到所述深层次特征图的特征区域；分别将每个所述特征区域转换成一个预设长度的第一特征向量；本文档来自技高网...

【技术保护点】
1.一种人脸检测方法，其特征在于，包括：/n确定待进行人脸检测的图像组，所述图像组由同一帧下的多张目标图像构成，各张所述目标图像的数据模态互不相同；/n合并提取到的各张所述目标图像的特征图得到第一目标特征图；/n对所述第一目标特征图进行特征提取得到第二目标特征图，所述第二特征图由多个预设维度的向量构成；/n确定预先设置的所述图像组中与向量关联的各个锚点区域，并根据所述向量分别计算每个所述锚点区域的信息组，所述信息组包括第一信息、第二信息和第三信息，所述第一信息表征所述图像组在所述锚点区域中存在人脸的可能性，所述第二信息表征所述图像组中所述锚点区域和人脸区域之间的偏移量，所述第三信息表征所述图像组中所述锚点区域和人脸区域中人脸关键点之间的偏移量；/n根据所述第二特征图中各个所述向量关联的每个所述锚点区域的信息组确定所述图像组的候选人脸区域；/n对所述候选人脸区域进行处理生成所述图像组的人脸检测结果，所述人脸检测结果包括所述图像组中的人脸区域和所述人脸区域的活体检测结果。/n

【技术特征摘要】
1.一种人脸检测方法，其特征在于，包括：
确定待进行人脸检测的图像组，所述图像组由同一帧下的多张目标图像构成，各张所述目标图像的数据模态互不相同；
合并提取到的各张所述目标图像的特征图得到第一目标特征图；
对所述第一目标特征图进行特征提取得到第二目标特征图，所述第二特征图由多个预设维度的向量构成；
确定预先设置的所述图像组中与向量关联的各个锚点区域，并根据所述向量分别计算每个所述锚点区域的信息组，所述信息组包括第一信息、第二信息和第三信息，所述第一信息表征所述图像组在所述锚点区域中存在人脸的可能性，所述第二信息表征所述图像组中所述锚点区域和人脸区域之间的偏移量，所述第三信息表征所述图像组中所述锚点区域和人脸区域中人脸关键点之间的偏移量；
根据所述第二特征图中各个所述向量关联的每个所述锚点区域的信息组确定所述图像组的候选人脸区域；
对所述候选人脸区域进行处理生成所述图像组的人脸检测结果，所述人脸检测结果包括所述图像组中的人脸区域和所述人脸区域的活体检测结果。


2.根据权利要求1所述的方法，其特征在于，所述确定待进行人脸检测的图像组，包括：
获取待进行人脸检测的原始图像组，所述原始图像组由同一帧下的多张第一图像构成，所述多张第一图像包括彩色图像、红外图像和深度图像中的至少两种图像；
对所述第一图像进行预处理得到所述第一图像对应第二图像；
对所有所述第二图像的像素值进行归一化处理得到每张所述第二图像对应的目标图像。


3.根据权利要求2所述的方法，其特征在于，所述第一图像为彩色图像，所述对所述第一图像进行预处理得到所述第一图像对应第二图像，包括：
确定所述第一图像中的第一像素点集合和第二像素点集合，所述第一像素点集合包括所述第一图像中在YCbCr空间的Y通道上的值最大的预设数量个像素点，所述第二像素点集合包括所述第一图像中在YCbCr空间的Cb通道上的值位于第一数值范围且在Cr通道上的值位于第二数值范围的各个像素点；
计算所述第一像素点集合中的所有像素点分别在RGB图像的每个通道的平均值；
针对所述第一图像中的每个像素点，根据该像素点是否属于所述第二像素点集合的结果以及该像素点在所述通道的平均值，计算该像素点在所述通道的目标通道值得到所述第一图像对应的第二图像。


4.根据权利要求1所述的方法，其特征在于，所述合并提取到的各张所述目标图像的特征图得到第一目标特征图，包括：
将所述目标图像输入至与其数据模态对应的初级特征提取层得到所述目标图像的特征图，不同数据模态对应不同的初级特征提取层，所述初级特征提取层由两个卷积层构成，所述初级特征提取层用于提取图像的初级特征；
对各个所述目标图像的特征图在通道维度上进行合并得到第一目标特征图。


5.根据权利要求4所述的方法，其特征在于，所述对所述第一目标特征图进行特征提取得到第二目标特征图，包括：
将所述第一目标特征图输入至主干网络得到深层次特征图，所述主干网络用于提取深层特征，所述主干网络由5个连续的残差模块和2个最大池化层构成，每个所述残差模块包含两个堆叠的卷积层以及附带的BatchNorm层和ReLU层；
将所述深层次特征图输入至RPN网络的第一卷积层得到第二目标特征图，所述第一卷积层用于将所述深层次特征图转换成由多个预设维度的向量构成的特征图。


6.根据权利要求5所述的方法，其特征在于，所述确定预先设置的所述图像组中与向量关联的各个锚点区域，并根据所述向量分别计算每个所述锚点区域的信息组，包括：
将所述第二目标特征图输入所述RPN网络的的第二卷积层，得到所述第二目标特征图中每个所述向量的第一信息组，所述向量的第一信息组包括根据所述向量计算的预先设置的所述图像组中与所述向量关联的每个锚点区域的第一信息...

【专利技术属性】
技术研发人员：张玏，李骊，董晶，金博，王鹏，
申请(专利权)人：北京华捷艾米科技有限公司，加减信息科技深圳有限公司，
类型：发明
国别省市：北京;11