基于多任务深度学习的人脸及人脸遮挡物检测方法技术

本发明专利技术公开了基于多任务深度学习的人脸及人脸遮挡物检测方法包括：步骤1：建立多任务人脸细节检测网络，多任务人脸细节检测网络由三个级联的子网络组成，分别为：F‑Net，O‑Net和C‑Net；F‑Net用于检测出人脸的大致位置，为后两级网络提供人脸位置的候选区域；O‑Net用于基于F‑Net的检测结果进一步判别候选区域可信程度并对人脸bbox进行修正，并用于检测人脸图像中否存在遮挡物以及遮挡物的位置；C‑Net用于进一步对F‑Net、O‑Net的检测结果进行校正；步骤2：基于建立的多任务人脸细节检测网络，对图片中人脸细节进行检测，获得人脸是否有遮挡物检测结果和遮挡物的类型和位置检测结果，能够检测遮挡物的位置，能进一步在遮挡物替换、AR等场景中应用的技术效果。

【技术实现步骤摘要】
基于多任务深度学习的人脸及人脸遮挡物检测方法
本专利技术涉及人脸遮挡检测领域，具体地，涉及一种基于多任务深度学习的人脸及人脸遮挡物检测方法。
技术介绍
多任务学习是一种归纳迁移机制，基本目标是提高泛化性能。多任务学习通过相关任务训练信号中的领域特定信息来提高泛化能力，利用共享表示采用并行训练的方法学习多个任务。图1展示了4个独立的神经网络，每个网络是一个针对同样输入的仅有一个输出的函数。误差后向传播被应用于这些网络来单独训练每个网络，由于这些网络相互之间没有任何连接，因此其中一个网络学习到的特征并不能帮助另一个网络的学习，可称之为单任务学习(STL，SingleTaskLearning)。图2展示了一个输入与图1中的四个网络一致的单一网络，但该网络有四个输出，每个输出对应图1中的一个任务。这些输出可以连接他们共享的一个隐含层的所有神经元，也可以如图2顶部所示，在共享的一个隐含层后形成独立的子网络，训练与其他任务不共享的参数，即多任务学习(MTL，MultiTaskLearning)，在多任务学习网络中，后向传播并行地作用于4个输出。由于4个输出共享底部的隐含层，这些隐含层中用于某个任本文档来自技高网...

【技术保护点】
基于多任务深度学习的人脸及人脸遮挡物检测方法，其特征在于，所述方法包括：步骤1：建立多任务人脸细节检测网络，多任务人脸细节检测网络由三个级联的子网络组成，分别为：F‑Net，O‑Net和C‑Net；F‑Net用于检测出人脸的大致位置，为后两级网络提供人脸位置的候选区域；O‑Net用于基于F‑Net的检测结果进一步判别候选区域可信程度并对人脸bbox进行修正，并用于检测人脸图像中否存在遮挡物以及遮挡物的位置；C‑Net用于进一步对F‑Net、O‑Net的检测结果进行校正；步骤2：基于建立的多任务人脸细节检测网络，对图片中人脸细节进行检测，获得人脸是否有遮挡物检测结果和遮挡物的类型和位置检测结果。

【技术特征摘要】
1.基于多任务深度学习的人脸及人脸遮挡物检测方法，其特征在于，所述方法包括：步骤1：建立多任务人脸细节检测网络，多任务人脸细节检测网络由三个级联的子网络组成，分别为：F-Net，O-Net和C-Net；F-Net用于检测出人脸的大致位置，为后两级网络提供人脸位置的候选区域；O-Net用于基于F-Net的检测结果进一步判别候选区域可信程度并对人脸bbox进行修正，并用于检测人脸图像中否存在遮挡物以及遮挡物的位置；C-Net用于进一步对F-Net、O-Net的检测结果进行校正；步骤2：基于建立的多任务人脸细节检测网络，对图片中人脸细节进行检测，获得人脸是否有遮挡物检测结果和遮挡物的类型和位置检测结果。2.根据权利要求1所述的基于多任务深度学习的人脸及人脸遮挡物检测方法，其特征在于，所述方法还包括：根据人脸候选窗口与真实的人脸标定框之间的IoU标定候选窗口中的正负样本；基于获得的样本对多任务人脸细节检测网络进行训练。3.根据权利要求1所述的基于多任务深度学习的人脸及人脸遮挡物检测方法，其特征在于，所述基于建立的多任务人脸细节检测网络，对图片中人脸细节进行检测，具体包括：将原始图像进行缩放处理，得到初步调整后统一大小的图像，将初步调整后的图像按照4个不同的比例进行缩小，分别为：第一比例、第二比例、第三比例、第四比例，其中：第一比例<第二比例<第三比例<第四比例；将第一比例、第二比例、第三比例缩放后的图片输入F-Net，获得人脸候选框；将人脸候选框对应到第四比例缩放后的图片上，输入O-Net，获得人脸遮挡物检测结果和人脸检测区域的修正；将O-Net输出结果标记在与初步调整后图像相同大小的图片上对应区域，然后将标记后的图片作为C-Net输入，经过C-Net计算得到最终的人脸检测结果和遮挡物检测结果。4.根据权利要求2所述的基于多任务深度学习的人脸及人脸遮挡物检测方法，其特征在于，利用两类任务对多任务人脸细节检测网络进行训练：分类任务和bbox回归任务；分类任务具体为：对于每个样本xi，采用交叉熵损失函数：其中，pi表示样本xi是否存在某物体的概率，表示真实类别标签，cls＝{face，hat，glasses，mask}。bbox回归任务具体为：对于每个由多任务人脸细节检测网络产生的bbox预测结果，根据真实类别标签计算L2损失；每个类别的定位损失为：其中，为真实标定数据groundtruth，为网络输出bbox结果；网络最终目标为：min(La+Lb)在F-Net中：

【专利技术属性】
技术研发人员：段翰聪，赵子天，文慧，张帆，
申请(专利权)人：电子科技大学，
类型：发明
国别省市：四川,51