遮挡物识别模型训练方法、识别方法、装置及存储介质制造方法及图纸

本申请提供了一种遮挡物识别模型训练方法、识别方法、装置及存储介质，涉及图像处理领域，其中，该方法包括：获取人脸样本集合、遮挡物负样本集合，其中，人脸样本集合包括：多个未遮挡人脸图像；遮挡物负样本集合包括：多种非目标遮挡物的图像以及非目标遮挡物的标签；根据人脸样本集合、遮挡物负样本集合以及预设组合方式，组合获取人脸遮挡样本，其中，人脸遮挡样本包括：不同非目标遮挡物遮挡后的人脸图像以及非目标遮挡物的标签；采用人脸遮挡样本和预设深度学习网络，训练获取遮挡物识别模型。本申请可以通过训练后的模型识别非目标遮挡物冒充口罩遮挡面部的情况，达到提高对非目标遮挡物识别能力的效果。

【技术实现步骤摘要】
遮挡物识别模型训练方法、识别方法、装置及存储介质
本申请涉及图像处理领域，具体而言，涉及一种遮挡物识别模型训练方法、识别方法、装置及存储介质。
技术介绍
人们日常生活中遇到突发疫情或者在厂矿生产过程中对尘土防护时，通常需要佩戴口罩，为了防止突发疫情传播蔓延、防止尘土通过呼吸进入人体等情况发生，需要监督人们佩戴口罩的情况。目前，在监督人们佩戴口罩的情况时，通常是通过人脸检测的方式进行识别，获取脸部是否存在遮挡物来判定人们是否佩戴口罩，而在实际的生活中，出于无意或特意逃避检测和监督等目的，还存在有人用手、臂、衣物或与口罩颜色相似的物体等遮挡口鼻的情况，这很容易造成误判，即将此类的情况误判成了佩戴口罩。
技术实现思路
有鉴于此，本申请的目的在于提供一种遮挡物识别模型训练方法、识别方法、装置及存储介质，可以通过使用人脸样本集合、遮挡物负样本集合以及预设组合方式组合得到大量的人脸遮挡样本，以获取可以识别目标遮挡物的模型来准确识别目标遮挡物，另外还可以解决模型训练过程中样本较少而导致的训练效果不佳的问题。本申请的第一方面，提供一种遮挡物识别模型训练方法，包括：获取人脸样本集合、遮挡物负样本集合，其中，人脸样本集合包括：多个未遮挡人脸图像；遮挡物负样本集合包括：多种非目标遮挡物的图像以及非目标遮挡物的标签；根据人脸样本集合、遮挡物负样本集合以及预设组合方式，组合获取人脸遮挡样本，其中，人脸遮挡样本包括：不同非目标遮挡物遮挡后的人脸图像以及非目标遮挡物的标签；采用人脸遮挡样本和预设深度学习网络，训练获取遮挡物识别模型。在一些实施例中，获取人脸样本集合，包括：获取包含未遮挡人脸的原始图像；采用人脸检测算法检测获取原始图像中的人脸；采用预设关键点检测算法检测并标注人脸的多个关键点坐标，将标注后的人脸图像加入人脸样本集合。在一些实施例中，根据人脸样本集合、遮挡物负样本集合以及预设组合方式，组合获取人脸遮挡样本，包括：在人脸样本集合中随机选取一个待组合人脸图像、在遮挡物负样本集合中随机选取一个待组合非目标遮挡物的图像；根据待组合人脸图像上的关键点坐标、以及预设组合方式，将待组合人脸图像与待组合非目标遮挡物的图像进行组合，获取非目标遮挡物遮挡后的人脸图像；将非目标遮挡物遮挡后的人脸图像加入人脸遮挡样本。在一些实施例中，预设组合方式包括多种组合方式，不同组合方式基于关键点坐标的遮挡位置、遮挡范围不同。在一些实施例中，根据待组合人脸图像上的关键点坐标、以及预设组合方式，将待组合人脸图像与待组合非目标遮挡物的图像进行组合，获取非目标遮挡物遮挡后的人脸图像，包括：在多种组合方式中随机选取一种目标组合方式；根据待组合人脸图像上的关键点坐标、以及目标组合方式，将待组合人脸图像与待组合非目标遮挡物的图像进行组合，获取非目标遮挡物遮挡后的人脸图像。在一些实施例中，根据待组合人脸图像上的关键点坐标、以及目标组合方式，将待组合人脸图像与待组合非目标遮挡物的图像进行组合，获取非目标遮挡物遮挡后的人脸图像，包括：根据待组合人脸图像上的关键点坐标、以及目标组合方式，确定待组合人脸图像中的遮挡区域；采用待组合非目标遮挡物的图像填充遮挡区域，获取非目标遮挡物遮挡后的人脸图像。在一些实施例中，采用待组合非目标遮挡物的图像填充遮挡区域，获取非目标遮挡物遮挡后的人脸图像，包括：采用图像处理方法，将待组合非目标遮挡物的图像中对应位置的像素值拷贝到遮挡区域的对应位置，获取非目标遮挡物遮挡后的人脸图像。本申请第二方面，提供一种遮挡物识别方法，包括：获取待识别图像，待识别图像包括含有遮挡物的人脸图像；采用遮挡物识别模型识别待识别图像中的遮挡物是否为目标遮挡物，其中，遮挡物识别模型由人脸遮挡样本训练获取，人脸遮挡样本包括：不同非目标遮挡物遮挡后的人脸图像以及非目标遮挡物的标签，人脸遮挡样本由人脸样本集合、遮挡物负样本集合以及预设组合方式组合获取，人脸样本集合包括：多个未遮挡人脸图像；遮挡物负样本集合包括：多种非目标遮挡物的图像以及非目标遮挡物的标签。本申请第三方面，提供一种遮挡物识别模型训练装置，包括：样本获取模块、样本训练模块；样本获取模块，用于获取人脸样本集合、遮挡物负样本集合，其中，人脸样本集合包括：多个未遮挡人脸图像；遮挡物负样本集合包括：多种非目标遮挡物的图像以及非目标遮挡物的标签；样本获取模块，还用于根据人脸样本集合、遮挡物负样本集合以及预设组合方式，组合获取人脸遮挡样本，其中，人脸遮挡样本包括：不同非目标遮挡物遮挡后的人脸图像以及非目标遮挡物的标签；样本训练模块，用于采用人脸遮挡样本和预设深度学习网络，训练获取遮挡物识别模型。在一些实施例中，样本获取模块，具体用于获取包含未遮挡人脸的原始图像；采用人脸检测算法检测获取原始图像中的人脸；采用预设关键点检测算法检测并标注人脸的多个关键点坐标，将标注后的人脸图像加入人脸样本集合。在一个实施例中，样本获取模块，具体用于在人脸样本集合中随机选取一个待组合人脸图像、在遮挡物负样本集合中随机选取一个待组合非目标遮挡物的图像；根据待组合人脸图像上的关键点坐标、以及预设组合方式，将待组合人脸图像与待组合非目标遮挡物的图像进行组合，获取非目标遮挡物遮挡后的人脸图像；将非目标遮挡物遮挡后的人脸图像加入人脸遮挡样本。在一些实施例中，该装置中的预设组合方式包括多种组合方式，不同组合方式基于关键点坐标的遮挡位置、遮挡范围不同。在一些实施例中，样本获取模块，具体用于在多种组合方式中随机选取一种目标组合方式；根据待组合人脸图像上的关键点坐标、以及目标组合方式，将待组合人脸图像与待组合非目标遮挡物的图像进行组合，获取非目标遮挡物遮挡后的人脸图像。在一些实施例中，样本获取模块，具体用于根据待组合人脸图像上的关键点坐标、以及目标组合方式，确定待组合人脸图像中的遮挡区域；采用待组合非目标遮挡物的图像填充遮挡区域，获取非目标遮挡物遮挡后的人脸图像。在一些实施例中，样本获取模块，具体用于采用图像处理方法，将待组合非目标遮挡物的图像中对应位置的像素值拷贝到遮挡区域的对应位置，获取非目标遮挡物遮挡后的人脸图像。本申请第四方面，提供一种遮挡物识别装置，包括：图像获取模块、图像识别模块；图像获取模块，用于获取待识别图像，待识别图像包括含有遮挡物的人脸图像；图像识别模块，用于采用遮挡物识别模型识别待识别图像中的遮挡物是否为目标遮挡物，其中，遮挡物识别模型由人脸遮挡样本训练获取，人脸遮挡样本包括：不同非目标遮挡物遮挡后的人脸图像以及非目标遮挡物的标签，人脸遮挡样本由人脸样本集合、遮挡物负样本集合以及预设组合方式组合获取，人脸样本集合包括：多个未遮挡人脸图像；遮挡物负样本集合包括：多种非目标遮挡物的图像以及非目标遮挡物的标签。本申请第五方面，提供一种电子设备，该电子设备包括：处理器、存储本文档来自技高网...

【技术保护点】
1.一种遮挡物识别模型训练方法，其特征在于，包括：/n获取人脸样本集合、遮挡物负样本集合，其中，所述人脸样本集合包括：多个未遮挡人脸图像；所述遮挡物负样本集合包括：多种非目标遮挡物的图像以及所述非目标遮挡物的标签；/n根据所述人脸样本集合、所述遮挡物负样本集合以及预设组合方式，组合获取人脸遮挡样本，其中，所述人脸遮挡样本包括：不同所述非目标遮挡物遮挡后的人脸图像以及所述非目标遮挡物的标签；/n采用所述人脸遮挡样本和预设深度学习网络，训练获取遮挡物识别模型。/n

【技术特征摘要】
1.一种遮挡物识别模型训练方法，其特征在于，包括：
获取人脸样本集合、遮挡物负样本集合，其中，所述人脸样本集合包括：多个未遮挡人脸图像；所述遮挡物负样本集合包括：多种非目标遮挡物的图像以及所述非目标遮挡物的标签；
根据所述人脸样本集合、所述遮挡物负样本集合以及预设组合方式，组合获取人脸遮挡样本，其中，所述人脸遮挡样本包括：不同所述非目标遮挡物遮挡后的人脸图像以及所述非目标遮挡物的标签；
采用所述人脸遮挡样本和预设深度学习网络，训练获取遮挡物识别模型。


2.根据权利要求1所述的方法，其特征在于，所述获取人脸样本集合，包括：
获取包含未遮挡人脸的原始图像；
采用人脸检测算法检测获取所述原始图像中的人脸；
采用预设关键点检测算法检测并标注所述人脸的多个关键点坐标，将标注后的人脸图像加入所述人脸样本集合。


3.根据权利要求2所述的方法，其特征在于，所述根据所述人脸样本集合、所述遮挡物负样本集合以及预设组合方式，组合获取人脸遮挡样本，包括：
在所述人脸样本集合中随机选取一个待组合人脸图像、在所述遮挡物负样本集合中随机选取一个待组合非目标遮挡物的图像；
根据所述待组合人脸图像上的关键点坐标、以及所述预设组合方式，将所述待组合人脸图像与所述待组合非目标遮挡物的图像进行组合，获取所述非目标遮挡物遮挡后的人脸图像；
将所述非目标遮挡物遮挡后的人脸图像加入所述人脸遮挡样本。


4.根据权利要求3所述的方法，其特征在于，所述预设组合方式包括多种组合方式，不同组合方式基于所述关键点坐标的遮挡位置、遮挡范围不同。


5.根据权利要求4所述的方法，其特征在于，所述根据所述待组合人脸图像上的关键点坐标、以及所述预设组合方式，将所述待组合人脸图像与所述待组合非目标遮挡物的图像进行组合，获取所述非目标遮挡物遮挡后的人脸图像，包括：
在多种所述组合方式中随机选取一种目标组合方式；
根据所述待组合人脸图像上的关键点坐标、以及所述目标组合方式，将所述待组合人脸图像与所述待组合非目标遮挡物的图像进行组合，获取所述非目标遮挡物遮挡后的人脸图像。


6.根据权利要求5所述的方法，其特征在于，所述根据所述待组合人脸图像上的关键点坐标、以及所述目标组合方式，将所述待组合人脸图像与所述待组合非目标遮挡物的图像进行组合，获取所述非目标遮挡物遮挡后的人脸图像，包括：
根据所述待组合人脸图像上的关键点坐标、以及所述目标组合方式，确定所述待组合人脸图像中的遮挡区域；
采用所述待组合非目标遮挡物的图像填充所述遮挡区域，获取所述非目标遮挡物遮挡后的人脸图像。


7.根据权利要求6所述的方法，其特征在于，所述采用所述待组合非目标遮挡物的图像填充所述遮挡区域，获取所述非目标遮挡物遮挡后的人脸图像，包括：
采用图像处理方法，将所述待组合非目标遮挡物的图像中对应位置的像素值拷贝到所述遮挡区域的对应位置，获取所述非目标遮挡物遮挡后的人脸图像。


8.一种遮挡物识别方法，其特征在于，包括：
获取待识别图像，所述待识别图像包括含有遮挡物的人脸图像；
采用遮挡物识别模型识别所述待识别图像中的遮挡物是否为目标遮挡物，其中，所述遮挡物识别模型由人脸遮挡样本训练获取，所述人脸遮挡样本包括：不同非目标遮挡物遮挡后的人脸图像以及所述非目标遮挡物的标签，所述人脸遮挡样本由人脸样本集合、遮挡物负样本集合以及预设组合方式组合获取，所述人脸样本集合包括：多个未遮挡人脸图像；所述遮挡物负样本集合包括：多种非目标遮挡物的图像以及所述非目标遮挡物的标签。


9.一种遮挡物识别模型训练装置，其特征在于，包括：样本获取模块、样本训练模块；
所述样本获取模块，用于获取人脸样本集合、遮挡物负样本集合，其中，所述人脸样本集合包括：多个未遮挡...

【专利技术属性】
技术研发人员：张修宝，沈海峰，
申请(专利权)人：北京嘀嘀无限科技发展有限公司，
类型：发明
国别省市：北京;11