一种面部遮挡物的检测方法、装置、电子设备及存储介质制造方法及图纸

本申请涉及图像处理技术领域，尤其涉及一种面部遮挡物的检测方法、装置、电子设备及存储介质。本申请将目标人脸图像输入人脸关键点检测模型中，可以得到位于目标敏感区域中的敏感人脸关键点，这里，目标敏感区域为佩戴面部遮挡物时对应的人脸区域，进而，根据每个敏感人脸关键点的位置信息，从目标人脸图像中，截取出多个子敏感区域，进一步地，分别将每个子敏感区域输入到面部遮挡物判别模型中，可以确定每个子敏感区域的遮挡概率，并根据截取出的每个子敏感区域的遮挡概率，可以确定目标人脸图像中的待检测人员是否佩戴面部遮挡物，这样，不仅可以实现通过机器对待检测人员是否佩戴面部遮挡物的自动检测，还可以提升检测结果的准确率。

【技术实现步骤摘要】
一种面部遮挡物的检测方法、装置、电子设备及存储介质
本申请涉及图像处理
，尤其涉及一种面部遮挡物的检测方法、装置、电子设备及存储介质。
技术介绍
面部遮挡物比如口罩、眼镜、面罩等，在一些场景下，佩戴面部遮挡物可以对人们的人脸部位进行保护，比如，在呼吸道传染病流行时，在粉尘等污染的环境中作业时，由于口罩对进入肺部的空气有一定的过滤作用，所以戴口罩具有非常好的作用。因此，在一些需要佩戴面部遮挡物的场景下，需要确认人们是否佩戴面部遮挡物，以确保人们的健康安全。通常，采用的检测方式为安检人员人工对人们是否佩戴面部遮挡物进行检查，但采用这种方式需要大量的人力物力，还可能对安检人员的健康安全造成威胁。所以，如何通过机器自动检测出人们是否佩戴面部遮挡物是目前亟待解决的技术问题。
技术实现思路
有鉴于此，本申请实施例至少提供一种面部遮挡物的检测方法、装置、电子设备及存储介质，不仅可以实现通过机器对待检测人员是否佩戴面部遮挡物的自动检测，还可以提升检测结果的准确率。本申请主要包括以下几个方面：第一方面，本申请实施例提供一种面部遮挡物的检测方法，所述检测方法包括：将目标人脸图像输入训练好的人脸关键点检测模型中，得到所述目标人脸图像中位于目标敏感区域中的敏感人脸关键点；根据每个敏感人脸关键点的位置信息，从所述目标人脸图像中，截取出多个子敏感区域；每个子敏感区域的位置与至少一个敏感人脸关键点的位置相重合；分别将每个子敏感区域输入到训练好的面部遮挡物判别模型中，以确定每个子敏感区域的遮挡概率；根据截取出的每个子敏感区域的遮挡概率，确定所述目标人脸图像中的待检测人员是否佩戴面部遮挡物。在一种可能的实施方式中，所述将目标人脸图像输入训练好的人脸关键点检测模型中，得到所述目标人脸图像中位于目标敏感区域中的敏感人脸关键点，包括：将所述目标人脸图像输入训练好的人脸关键点检测模型中，得到所述目标人脸图像中的人脸关键点；根据每个人脸关键点的类型信息和目标敏感区域的位置信息，从得到的人脸关键点中选择出位于目标敏感区域中的敏感人脸关键点。在一种可能的实施方式中，所述人脸关键点检测模型包括人脸特征提取网络、关键点特征提取网络和关键点输出网络；所述将所述目标人脸图像输入训练好的人脸关键点检测模型中，得到所述目标人脸图像中的人脸关键点，包括：将所述目标人脸图像输入所述人脸特征提取网络，提取出表征人脸特征的初始特征图像；将所述初始特征图像输入所述关键点特征提取网络，得到目标特征图像；将所述目标特征图像输入所述关键点输出网络，得到所述目标人脸图像中的人脸关键点。在一种可能的实施方式中，所述关键点特征提取网络由顺序连接的至少两个子关键点特征提取网络组成；将所述初始特征图像输入所述关键点特征提取网络，得到目标特征图像，包括：将所述初始特征图像输入到首个子关键点特征提取网络，得到当前特征图像；将当前特征图像输入到下一个子关键点特征提取网络，得到第一中间特征图像；若还存在下一个子关键点特征提取网络，则将第一中间特征图像作为当前特征图像，并重新执行步骤将当前特征图像输入到下一个子关键点特征提取网络，得到第一中间特征图像；若不存在下一个子关键点特征提取网络，则将最后一次得到的第一中间特征图像作为目标特征图像输出。在一种可能的实施方式中，每个子关键点特征提取网络均包括沙漏层和点线传播层；针对任一子关键点特征提取网络，将当前特征图像输入该子关键点特征提取网络，得到第一中间特征图像，包括：将所述当前特征图像输入该子关键点特征提取网络中的沙漏层，得到第二中间特征图像和中间关键点热图；将所述第二中间特征图像和所述中间关键点热图输入该子关键点特征提取网络中的点线传播层，得到所述第一中间特征图像。在一种可能的实施方式中，所述将所述第二中间特征图像和所述中间关键点热图输入该子关键点特征提取网络中的点线传播层，得到所述第一中间特征图像，包括：基于所述中间关键点热图，确定每个人脸部位对应的人脸部位边界热图；基于得到的人脸部位边界热图和所述第二中间特征图像，得到所述第一中间特征图像。在一种可能的实施方式中，所述基于所述中间关键点热图，确定每个人脸部位对应的人脸部位边界热图，包括：从所述中间关键点热图中，提取出每个人脸部位对应的部位关键点热图；按照每个人脸部位的轮廓，将该人脸部位对应的部位关键点热图中的关键点用线段连接，得到每个人脸部位对应的人脸部位边界热图。在一种可能的实施方式中，所述基于得到的人脸部位边界热图和所述第二中间特征图像，得到所述第一中间特征图像，包括：将得到的各个人脸部位边界热图，以及所述第二中间特征图像按照图像深度进行连接，得到第三中间特征图像；对所述第三中间特征图像进行特征聚焦处理，得到注意力图像；通过所述注意力图像对所述第二中间特征图像进行注意力机制处理，得到所述第一中间特征图像。在一种可能的实施方式中，所述对所述第三中间特征图像进行特征聚焦处理，得到注意力图像，包括：对所述第三中间特征图像的图像深度进行缩放，得到第四中间特征图像；所述第四中间特征图像的图像深度和所述第二中间特征图像的图像深度相同；通过激活函数对所述第四中间特征图像进行归一化处理，得到所述注意力图像。在一种可能的实施方式中，所述根据截取出的每个子敏感区域的遮挡概率，确定所述目标人脸图像中的待检测人员是否佩戴面部遮挡物，包括：统计出遮挡概率大于或等于预设概率的子敏感区域的目标数量，以及截取出的子敏感区域的总数量；若所述目标数量与所述总数量之间的比值大于或等于预设阈值，则确定所述待检测人员佩戴面部遮挡物；若所述比值小于所述预设阈值，则确定所述待检测人员未佩戴面部遮挡物。在一种可能的实施方式中，根据以下步骤生成训练好的人脸关键点检测模型：获取多个人脸样本图像，以及每个人脸样本图像中人脸关键点的位置信息；根据所述多个人脸样本图像，以及每个人脸样本图像中人脸关键点的位置信息，对初始的人脸关键点检测模型进行训练，生成训练好的人脸关键点检测模型。在一种可能的实施方式中，根据以下步骤生成训练好的面部遮挡物判别模型：获取多个子敏感区域样本图像；将包含遮挡物的子敏感区域样本图像作为正样本图像，以及将不包含遮挡物的子敏感区域样本图像作为负样本图像；根据所述正样本图像和负样本图像，对初始的面部遮挡物判别模型进行训练，生成训练好的面部遮挡物判别模型。第二方面，本申请实施例还提供一种面部遮挡物的检测装置，所述检测装置包括：第一确定模块，用于将目标人脸图像输入训练好的人脸关键点检测模型中，得到所述目标人脸图像中位于目标敏感区域中的敏感人脸关键点；截取模块，用于根据每个敏感人脸关键点的位置信息，从所述目标人脸图像中，截取出多个子敏感区域；每个子敏感区域的位置与至少一个敏感人脸关键点的位本文档来自技高网...

【技术保护点】
1.一种面部遮挡物的检测方法，其特征在于，所述检测方法包括：/n将目标人脸图像输入训练好的人脸关键点检测模型中，得到所述目标人脸图像中位于目标敏感区域中的敏感人脸关键点；/n根据每个敏感人脸关键点的位置信息，从所述目标人脸图像中，截取出多个子敏感区域；每个子敏感区域的位置与至少一个敏感人脸关键点的位置相重合；/n分别将每个子敏感区域输入到训练好的面部遮挡物判别模型中，以确定每个子敏感区域的遮挡概率；/n根据截取出的每个子敏感区域的遮挡概率，确定所述目标人脸图像中的待检测人员是否佩戴面部遮挡物。/n

【技术特征摘要】
1.一种面部遮挡物的检测方法，其特征在于，所述检测方法包括：
将目标人脸图像输入训练好的人脸关键点检测模型中，得到所述目标人脸图像中位于目标敏感区域中的敏感人脸关键点；
根据每个敏感人脸关键点的位置信息，从所述目标人脸图像中，截取出多个子敏感区域；每个子敏感区域的位置与至少一个敏感人脸关键点的位置相重合；
分别将每个子敏感区域输入到训练好的面部遮挡物判别模型中，以确定每个子敏感区域的遮挡概率；
根据截取出的每个子敏感区域的遮挡概率，确定所述目标人脸图像中的待检测人员是否佩戴面部遮挡物。


2.根据权利要求1所述的检测方法，其特征在于，所述将目标人脸图像输入训练好的人脸关键点检测模型中，得到所述目标人脸图像中位于目标敏感区域中的敏感人脸关键点，包括：
将所述目标人脸图像输入训练好的人脸关键点检测模型中，得到所述目标人脸图像中的人脸关键点；
根据每个人脸关键点的类型信息和目标敏感区域的位置信息，从得到的人脸关键点中选择出位于目标敏感区域中的敏感人脸关键点。


3.根据权利要求2所述的检测方法，其特征在于，所述人脸关键点检测模型包括人脸特征提取网络、关键点特征提取网络和关键点输出网络；所述将所述目标人脸图像输入训练好的人脸关键点检测模型中，得到所述目标人脸图像中的人脸关键点，包括：
将所述目标人脸图像输入所述人脸特征提取网络，提取出表征人脸特征的初始特征图像；
将所述初始特征图像输入所述关键点特征提取网络，得到目标特征图像；
将所述目标特征图像输入所述关键点输出网络，得到所述目标人脸图像中的人脸关键点。


4.根据权利要求3所述的检测方法，其特征在于，所述关键点特征提取网络由顺序连接的至少两个子关键点特征提取网络组成；将所述初始特征图像输入所述关键点特征提取网络，得到目标特征图像，包括：
将所述初始特征图像输入到首个子关键点特征提取网络，得到当前特征图像；
将当前特征图像输入到下一个子关键点特征提取网络，得到第一中间特征图像；若还存在下一个子关键点特征提取网络，则将第一中间特征图像作为当前特征图像，并重新执行步骤将当前特征图像输入到下一个子关键点特征提取网络，得到第一中间特征图像；若不存在下一个子关键点特征提取网络，则将最后一次得到的第一中间特征图像作为目标特征图像输出。


5.根据权利要求4所述的检测方法，其特征在于，每个子关键点特征提取网络均包括沙漏层和点线传播层；针对任一子关键点特征提取网络，将当前特征图像输入该子关键点特征提取网络，得到第一中间特征图像，包括：
将所述当前特征图像输入该子关键点特征提取网络中的沙漏层，得到第二中间特征图像和中间关键点热图；
将所述第二中间特征图像和所述中间关键点热图输入该子关键点特征提取网络中的点线传播层，得到所述第一中间特征图像。


6.根据权利要求5所述的检测方法，其特征在于，所述将所述第二中间特征图像和所述中间关键点热图输入该子关键点特征提取网络中的点线传播层，得到所述第一中间特征图像，包括：
基于所述中间关键点热图，确定每个人脸部位对应的人脸部位边界热图；
基于得到的人脸部位边界热图和所述第二中间特征图像，得到所述第一中间特征图像。


7.根据权利要求6所述的检测方法，其特征在于，所述基于所述中间关键点热图，确定每个人脸部位对应的人脸部位边界热图，包括：
从所述中间关键点热图中，提取出每个人脸部位对应的部位关键点热图；
按照每个人脸部位的轮廓，将该人脸部位对应的部位关键点热图中的关键点用线段连接，得到每个人脸部位对应的人脸部位边界热图。


8.根据权利要求6所述的检测方法，其特征在于，所述基于得到的人脸部位边界热图和所述第二中间特征图像，得到所述第一中间特征图像，包括：
将得到的各个人脸部位边界热图，以及所述第二中间特征图像按照图像深度进行连接，得到第三中间特征图像；
对所述第三中间特征图像进行特征聚焦处理，得到注意力图像；
通过所述注意力图像对所述第二中间特征图像进行注意力机制处理，得到所述第一中间特征图像。


9.根据权利要求8所述的检测方法，其特征在于，所述对所述第三中间特征图像进行特征聚焦处理，得到注意力图像，包括：
对所述第三中间特征图像的图像深度进行缩放，得到第四中间特征图像；所述第四中间特征图像的图像深度和所述第二中间特征图像的图像深度相同；
通过激活函数对所述第四中间特征图像进行归一化处理，得到所述注意力图像。


10.根据权利要求1所述的检测方法，其特征在于，所述根据截取出的每个子敏感区域的遮挡概率，确定所述目标人脸图像中的待检测人员是否佩戴面部遮挡物，包括：
统计出遮挡概率大于或等于预设概率的子敏感区域的目标数量，以及截取出的子敏感区域的总数量；
若所述目标数量与所述总数量之间的比值大于或等于预设阈值，则确定所述待检测人员佩戴面部遮挡物；
若所述比值小于所述预设阈值，则确定所述待检测人员未佩戴面部遮挡物。


11.根据权利要求1至10任一项所述的检测方法，其特征在于，根据以下步骤生成训练好的人脸关键点检测模型：
获取多个人脸样本图像，以及每个人脸样本图像中人脸关键点的位置信息；
根据所述多个人脸样本图像，以及每个人脸样本图像中人脸关键点的位置信息，对初始的人脸关键点检测模型进行训练，生成训练好的人脸关键点检测模型。


12.根据权利要求1至10任一项所述的检测方法，其特征在于，根据以下步骤生成训练好的面部遮挡物判别模型：
获取多个子敏感区域样本图像；
将包含遮挡物的子敏感区域样本图像作为正样本图像，以及将不包含遮挡物的子敏感区域样本图像作为负样本图像；
根据所述正样本图像和负样本图像，对初始的面部遮挡物判别模型进行训练，生成训练好的面部遮挡物判别模型。


13.一种面部遮挡物的检测装置，其特征在于，所述检测装置包括：
第一确定模块，用于将目标人脸图像输入训练好的人脸关键点检测模型中，得到所述目标人脸图像中位于目标敏感区域中的敏感人...

【专利技术属性】
技术研发人员：张修宝，黄泄合，沈海峰，
申请(专利权)人：北京嘀嘀无限科技发展有限公司，
类型：发明
国别省市：北京;11