一种基于深度相机的人脸误检优化方法、系统及人脸检测设备技术方案

本发明专利技术公开了一种基于深度相机的人脸误检优化方法、系统及人脸检测设备，包括：S1、获取目标区域的彩色图像和深度图像；S2、对彩色图像进行人脸区域检测，得到初始人脸框和人脸关键点；S3、将初始人脸框与彩色图像结合并进行裁剪得到人脸图像，进行图像分类，得到第一人脸区域图像；S4、检测人脸关键点在深度图像上的深度值，获得第二人脸区域图像；S5、根据人脸关键点的位置信息，求取人脸的旋转角度并将人脸进行重投影，以对第二人脸区域图像进行筛选，剔除大角度偏向人脸以确认最终人脸区域。本发明专利技术提高了人脸关键点定位的准确率，且减少了每个关键特征点单独判断带来的误差累积，从而有效降低了人脸检测的误检率。

【技术实现步骤摘要】
一种基于深度相机的人脸误检优化方法、系统及人脸检测设备
本专利技术涉及数字图像处理
，尤其涉及一种基于深度相机的人脸误检优化方法、系统及人脸检测设备。
技术介绍
随着图像处理技术以及光学摄像技术等的发展，人脸检测技术已得到快速发展，并应用到各个领域中，如：在门禁、电子消费产品的开机以及使用过程中的身份验证等领域，通过人脸检测以进行身份验证；在安防监控等领域，通过人脸检测以搜索检测出目标物体并进行监控。人脸检测是指对于任意一幅指定的图像，采用一定的策略对其进行搜索以确定其中是否包含有人脸，如果有包含人脸，则返回该人脸的位置信息；人脸检测是人脸识别、安防监控领域中一个重要的组成部分。误检率作为为评价人脸检测的一个重要的指标，如果误检率越低，则检测的精度就越高，漏检错检就越少，所以人脸检测中都希望尽量能降低误检率。当前的人脸检测方法中，一般是采用单个模型输出人脸检测的结果和人脸关键点的信息，然而，使用单个模型的缺点是容易把非人脸的区域认为是人脸区域或者将大角度的测量也引入其中，导致误检率较高，影响后续的人脸比对和人脸识别，为后续的执行带来很大的干扰和增加人工甄别的成本。因此，有必要提供一种技术方案，以对人脸误检进行优化，提升检测的准确率。上述
技术介绍
内容的公开仅用于辅助理解本专利技术的专利技术构思及技术方案，其并不必然属于本专利申请的现有技术，在没有明确的证据表明上述内容在本专利申请的申请日已经公开的情况下，上述
技术介绍
不应当用于评价本申请的新颖性和创造性。
技术实现思路
本专利技术的目的在于提供一种基于深度相机的人脸误检优化方法、系统及人脸检测设备，以解决上述
技术介绍
问题中的至少一种问题。为达到上述目的，本专利技术实施例的技术方案是这样实现的：一种基于深度相机的人脸误检优化方法，包括如下步骤：S1、获取目标区域的彩色图像和深度图像；S2、对所述彩色图像进行人脸区域检测，得到初始人脸框和人脸关键点；S3、将所述初始人脸框与所述彩色图像结合并进行裁剪得到人脸图像，对所述人脸图像进行图像分类，得到第一人脸区域图像；S4、结合所述人脸关键点与所述第一人脸区域图像，进一步检测所述人脸关键点在所述深度图像上的深度值，获得第二人脸区域图像；S5、根据所述人脸关键点在所述第二人脸区域图像的位置信息，求取人脸的旋转角度并将所述人脸进行重投影，以对所述第二人脸区域图像进行筛选，剔除大角度偏向人脸以确认最终人脸区域。进一步地，步骤S1中，通过控制采集设备采集目标区域的所述彩色图像和所述深度图像；其中，所述采集设备为深度相机。进一步地，步骤S1中，还包括：对所采集到的所述深度图像与所述彩色图像进行配准，以确定所述深度图像与所述彩色图像中的像素之间的对应关系。进一步地，步骤S2包括：S20、将所述彩色图像传输至主干特征提取网络，输出第一有效特征层；S21、利用所述第一有效特征层进行特征图金字塔网络结构的构建，获取有效特征融合层；S22、对获取的所述有效特征融合层进行加强特征提取，输出第二有效特征层；S23、利用所述第二有效特征层进行人脸预测，得到所述初始人脸框。进一步地，步骤S22中，利用SSH结构对三个不同尺寸的所述有效特征融合层进行加强特征提取；其中，所述SSH结构包括三个并行卷积层结构，所述有效特征融合层经过所述三个并行卷积层结构后通过合并，得到所述第二有效特征层。进一步地，步骤S3中，根据所述初始人脸框的位置信息对所述彩色图像进行裁剪，得到所述人脸图像，对所述人脸图像进行二分类，得到所述第一人脸区域图像。进一步地，步骤S4中，基于步骤S2得到的所述人脸关键点的坐标和基于步骤S1获得的所述深度图像，通过判断所述第一人脸区域图像上的人脸关键点对应在所述深度图像上的所述人脸关键点的深度是否符合人脸的深度分布，进而判断该区域是否为人脸区域。进一步地，步骤S5包括：S50、计算所述人脸关键点的旋转角度，判断所述旋转角度是否在预设阈值范围之内；S51、计算所述重投影人脸关键点的二维坐标，并与原始的人脸关键点坐标进行误差分析，确定人脸区域是否存在大角度偏向人脸。本专利技术另一实施例技术方案为：一种基于深度相机的人脸误检优化系统，包括：采集设备、人脸检测模块、人脸二分类模块、深度筛选模块、以及关键点相对位置筛选模块；其中，所述采集设备用于采集目标区域的彩色图像和深度图像；所述人脸检测模块用于对所采集得到的所述彩色图像进行人脸检测，获得初始人脸框和人脸关键点，并将所述初始人脸框和所述人脸关键点分别传输至所述人脸二分类模块与所述深度筛选模块；所述人脸二分类模块用于根据所述人脸初始框的位置信息在所述彩色图像对应位置上裁剪得到人脸图像，并对所述人脸图像进行二分类，获取第一人脸区域图像；所述深度筛选模块用于根据所述人脸检测模块获取的所述人脸关键点的坐标信息，筛选所述第一人脸区域图像相对位置的深度值，获得第二人脸区域图像；所述关键点相对位置筛选模块通过求取所述人脸关键点的相对位置分布，并判断其是否满足预设的人脸关键点位置相对分布，以确认最终人脸区域。本专利技术实施例又一技术方案为：一种人脸检测设备，包括前述实施例技术方案所述的基于深度相机的人脸误检优化系统、处理与控制电路、以及输出单元；其中，所述处理与控制电路与所述人脸误检优化系统和所述输出单元连接，以对所述人脸误检优化系统与所述输出单元进行控制；所述输出单元用于对检测结果进行输出。本专利技术技术方案的有益效果是：相较于现有技术，本专利技术基于深度相机采集到的深度图像和彩色图像，根据图像上的人脸图像和人脸关键点，通过多个人脸检测模块判断人脸图像中的初始人脸区域是否为误检人脸，从而加快了检测效率，提高了人脸关键点定位的准确率，且避免了每个关键特征点单独判断带来的误差累积，从而有效降低了人脸检测的误检率。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。图1是根据本专利技术一个实施例基于深度相机的人脸误检优化方法的流程图。图2是根据本专利技术另一个实施例基于深度相机的人脸误检优化系统的示意图。图3是根据本专利技术又一个实施例人脸检测设备的示意图。具体实施方式为了使本专利技术实施例所要解决的技术问题、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本专利技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本专利技术，并不用于限定本专利技术。需要说明的是，术语“第一”、“第二”“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”、“第本文档来自技高网...

【技术保护点】
1.一种基于深度相机的人脸误检优化方法，其特征在于，包括如下步骤：/nS1、获取目标区域的彩色图像和深度图像；/nS2、对所述彩色图像进行人脸区域检测，得到初始人脸框和人脸关键点；/nS3、将所述初始人脸框与所述彩色图像结合并进行裁剪得到人脸图像，对所述人脸图像进行图像分类，得到第一人脸区域图像；/nS4、结合所述人脸关键点与所述第一人脸区域图像，检测所述人脸关键点在所述深度图像上的深度值，获得第二人脸区域图像；/nS5、根据所述人脸关键点在所述第二人脸区域图像的位置信息，求取人脸的旋转角度并将所述人脸进行重投影，以对所述第二人脸区域图像进行筛选，剔除大角度偏向人脸以确认最终人脸区域。/n

【技术特征摘要】
1.一种基于深度相机的人脸误检优化方法，其特征在于，包括如下步骤：
S1、获取目标区域的彩色图像和深度图像；
S2、对所述彩色图像进行人脸区域检测，得到初始人脸框和人脸关键点；
S3、将所述初始人脸框与所述彩色图像结合并进行裁剪得到人脸图像，对所述人脸图像进行图像分类，得到第一人脸区域图像；
S4、结合所述人脸关键点与所述第一人脸区域图像，检测所述人脸关键点在所述深度图像上的深度值，获得第二人脸区域图像；
S5、根据所述人脸关键点在所述第二人脸区域图像的位置信息，求取人脸的旋转角度并将所述人脸进行重投影，以对所述第二人脸区域图像进行筛选，剔除大角度偏向人脸以确认最终人脸区域。


2.如权利要求1所述基于深度相机的人脸误检优化方法，其特征在于：步骤S1中，通过控制采集设备采集目标区域的所述彩色图像和所述深度图像；其中，所述采集设备为深度相机。


3.如权利要求1所述基于深度相机的人脸误检优化方法，其特征在于，步骤S1中，还包括：对所采集到的所述深度图像与所述彩色图像进行配准，以确定所述深度图像与所述彩色图像中的像素之间的对应关系。


4.如权利要求1所述基于深度相机的人脸误检优化方法，其特征在于：步骤S2包括：
S20、将所述彩色图像传输至主干特征提取网络，输出第一有效特征层；
S21、利用所述第一有效特征层进行特征图金字塔网络结构的构建，获取有效特征融合层；
S22、对获取的所述有效特征融合层进行加强特征提取，输出第二有效特征层；
S23、利用所述第二有效特征层进行人脸预测，得到所述初始人脸框。


5.如权利要求4所述基于深度相机的人脸误检优化方法，其特征在于：步骤S22中，利用SSH结构对三个不同尺寸的所述有效特征融合层进行加强特征提取；其中，所述SSH结构包括三个并行卷积层结构，所述有效特征融合层经过所述三个并行卷积层结构后通过合并，得到所述第二有效特征层。


6.如权利要求1所述基于深度相机的人脸误检优化方法，其特征在于：步骤S3中，根据所述初始人脸框的...

【专利技术属性】
技术研发人员：辛冠希，高通，陈碧辉，钱贝贝，黄源浩，肖振中，
申请(专利权)人：奥比中光科技集团股份有限公司，
类型：发明
国别省市：广东;44