一种基于背景过滤的口罩人脸识别方法及系统技术方案

本发明专利技术公开了一种基于背景过滤的口罩人脸识别方法及系统，所述方法包括：对人脸图像做预处理，获得人脸遮挡图像，所述人脸遮挡图像包括口部被遮挡图像与眼部被遮挡图像；基于所述人脸图像训练及所述数据训练用于识别面部未被遮挡的第一人脸识别模型、用于识别口部被遮挡的第二人脸识别模型、用于识别眼部被遮挡的第三人脸识别模型；将上述三类人脸识别模型做面部特征向量融合；利用融合后的所述面部特征向量对人脸进行识别。本发明专利技术在人脸图像预处理的时候减少背景对算法精度的干扰，让算法注意对面部可见区域的特征提取；利用多个识别模型训练，最终进行融合，提升了人脸识别算法在面部遮挡情况下的识别性能。

【技术实现步骤摘要】
一种基于背景过滤的口罩人脸识别方法及系统
本专利技术涉及人脸识别
，尤其涉及一种基于背景过滤的口罩人脸识别方法及系统。
技术介绍
2020年以来，受2019新型冠状病毒的影响，全国都进入到了紧急防疫状态。为了阻断病原体的传播，要求大家戴口罩、勤洗手、少外出。但是复工也是刻不容缓，复工期间同样需要密切观察人们的身体状态，发现可疑症状，能够及时得到管控，但如果这项涉数众多的任务完全由相关工作人员来处理，可能会陷入人员不足的尴尬局面。因此进行标准化测温监管的流程是必不可少的。而采用人脸识别这种非接触式的上报机制确实是一个不错的思路，但经过科研、工程人员的测试，戴口罩对人脸识别造成了巨大的困扰，对原有算法提出了新的考验。因此现有技术还有待于进一步发展。
技术实现思路
针对上述技术问题，本专利技术实施例提供了一种基于背景过滤的口罩人脸识别方法及系统，能够解决现有技术中存在的相关技术问题。本专利技术实施例的提供一种基于背景过滤的口罩人脸识别方法，包括：对人脸图像做预处理，获得人脸遮挡图像，所述人脸遮挡图像包括口部被遮挡图像与眼部被遮挡图像；基于所述人脸图像训练及所述人脸遮挡图像训练用于识别面部未被遮挡的第一人脸识别模型、用于识别口部被遮挡的第二人脸识别模型、用于识别眼部被遮挡的第三人脸识别模型；将上述三类人脸识别模型做面部特征向量进行融合；利用所述面部特征向量融合后的特征向量进行识别。可选地，所述对人脸图像做预处理，获得人脸遮挡图像，包括：识别人脸图像中的关键点，将人脸图像中的人脸作对齐处理；对所述作对齐处理后的人脸图像作背景区域过滤处理得到无遮挡人脸图像；再对所述无遮挡人脸图像作遮挡处理。可选地，所述对所述无遮挡人脸图像做遮挡处理，包括：基于口罩图像、眼镜图像对所述无遮挡人脸图像作贴图处理，使无遮挡人脸图像与所述口罩图像、眼镜图像中的至少一个组合，形成口部被遮挡图像与眼部被遮挡图像。可选地，所述基于所述人脸图像训练及所述人脸遮挡图像训练用于识别面部未被遮挡的第一人脸识别模型、用于识别口部被遮挡的第二人脸识别模型、用于识别眼部被遮挡的第三人脸识别模型，包括：判断输入的图像是否为眼部被遮挡图像，若是则用于训练所述第三人脸识别模型；判断输入的图像是否为口部被遮挡图像，若是则用于训练所述第二人脸识别模型；判断输入的图像是否为无遮挡人脸图像，若是则用于训练所述第一人脸识别模型；判断输入的图像为口部与眼部均被遮挡则丢弃该图像。可选地，将所述第一人脸识别模型、第二人脸识别模型、第三人脸识别模型做面部特征向量融合，包括：若人脸未被遮挡，则设置第一人脸识别模型的权重大于第二人脸识别模型、第三人脸识别模型的权重；若口部被遮挡，则设置第二人脸识别模型的权重大于第一人脸识别模型、第三人脸识别模型的权重；若眼部被遮挡，则设置第三人脸识别模型的权重大于第一人脸识别模型、第二人脸识别模型的权重。可选地，利用面部特征向量融合算法将所述第一人脸识别模型、第二人脸识别模型、第三人脸识别模型的面部特征向量作权重处理得到融合后的所述面部特征向量；所述面部特征向量融合算法的权重由图像是否被遮挡以及遮挡区域得到。本专利技术的另一种实施例提供一种基于背景过滤的口罩人脸识别系统，包括：预处理模块，用于对人脸图像做预处理，获得人脸遮挡图像，所述人脸遮挡图像包括口部被遮挡图像与眼部被遮挡图像；训练模块，用于基于所述人脸图像训练及所述人脸遮挡图像训练用于识别面部未被遮挡的第一人脸识别模型、用于识别口部被遮挡的第二人脸识别模型、用于识别眼部被遮挡的第三人脸识别模型；融合模块，用于将上述三类人脸识别模型做面部特征向量进行融合；识别模块，用于利用融合后的所述面部特征向量对人脸进行识别。可选地，所述预处理模块，包括：对齐单元，用于识别人脸图像中的关键点，将人脸图像中的人脸作对齐处理；遮挡单元，用于对所述作对齐处理后的人脸图像作背景区域过滤处理得到无遮挡人脸图像；再对所述无遮挡人脸图像作遮挡处理。可选地，所述遮挡单元还包括：基于口罩图像、眼镜图像对所述无遮挡人脸图像作贴图处理，使无遮挡人脸图像与所述口罩图像、眼镜图像中的至少一个组合，形成口部被遮挡图像与眼部被遮挡图像。可选地，所述训练模块，包括：判断模块，用于判断输入的图像是否为眼部被遮挡图像，若是则用于训练所述第三人脸识别模型；判断输入的图像是否为口部被遮挡图像，若是则用于训练所述第二人脸识别模型；判断输入的图像是否为无遮挡人脸图像，若是则用于训练所述第一人脸识别模型；判断输入的图像为口部与眼部均被遮挡则丢弃该图像。可选地，所述融合模块，还包括：融合单元，用于利用面部特征向量融合算法将所述第一人脸识别模型、第二人脸识别模型、第三人脸识别模型的面部特征向量作权重处理得到融合后的所述面部特征向量；所述面部特征向量融合算法的权重由图像是否被遮挡以及遮挡区域得到；权重设置单元，用于若人脸未被遮挡，则设置第一人脸识别模型的权重大于第二人脸识别模型、第三人脸识别模型的权重；若口部被遮挡，则设置第二人脸识别模型的权重大于第一人脸识别模型、第三人脸识别模型的权重；若眼部被遮挡，则设置第三人脸识别模型的权重大于第一人脸识别模型、第二人脸识别模型的权重。本专利技术在人脸图像预处理的时候减少背景对算法精度的干扰，让算法注意对面部可见区域的特征提取；利用多个识别模型训练，最终进行融合，提升了人脸识别算法对面部遮挡的性能。附图说明为了更清楚的说明本专利技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图做简单说明。图1为本专利技术一实施例中基于背景过滤的口罩人脸识别方法的流程图。图2为本专利技术另一实施例中基于背景过滤的口罩人脸识别方法的流程图。图3为本专利技术实施例中人脸图像处理的过程图；图3a为带有背景的人脸图像，图3b为去出背景的人脸图像，图3c为遮挡口部的人脸图像，图3d为遮挡眼部的人脸图像。图4为本专利技术另一实施例中基于背景过滤的口罩人脸识别系统的模块图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。为了解决戴口罩人脸识别困难的严重问题，我们在实际算法中设计了一个新的模块，在人脸图像预处理的时候减少背景(包括头发、口罩、人脸以外区域)对算法精度的干扰，让算法注意对面部可见区域的特征提取。最终提升了人脸识别算法对口罩遮挡的性能。经专利技术人发现，过多的过滤背景区域后，会导致训练困难，让最终的效果变差，而这种影响是必然的，毕竟人脸区域变少了，比如口罩和墨镜遮挡。数据的退化导致模型的退化，实验发现单个模本文档来自技高网...

【技术保护点】
1.一种基于背景过滤的口罩人脸识别方法，其特征在于，包括：/n对人脸图像做预处理，获得人脸遮挡图像，所述人脸遮挡图像包括口部被遮挡图像与眼部被遮挡图像；/n基于所述人脸图像训练及所述人脸遮挡图像训练用于识别面部未被遮挡的第一人脸识别模型、用于识别口部被遮挡的第二人脸识别模型、用于识别眼部被遮挡的第三人脸识别模型；/n将上述三类人脸识别模型做面部特征向量融合；利用融合后的所述面部特征向量对人脸进行识别。/n

【技术特征摘要】
1.一种基于背景过滤的口罩人脸识别方法，其特征在于，包括：
对人脸图像做预处理，获得人脸遮挡图像，所述人脸遮挡图像包括口部被遮挡图像与眼部被遮挡图像；
基于所述人脸图像训练及所述人脸遮挡图像训练用于识别面部未被遮挡的第一人脸识别模型、用于识别口部被遮挡的第二人脸识别模型、用于识别眼部被遮挡的第三人脸识别模型；
将上述三类人脸识别模型做面部特征向量融合；利用融合后的所述面部特征向量对人脸进行识别。


2.根据权利要求1所述的基于背景过滤的口罩人脸识别方法，其特征在于，所述对人脸图像做预处理，获得人脸遮挡图像，包括：
识别人脸图像中的关键点，将人脸图像中的人脸作对齐处理；
对所述作对齐处理后的人脸图像作背景区域过滤处理得到无遮挡人脸图像；
再对所述无遮挡人脸图像作遮挡处理。


3.根据权利要求2所述的基于背景过滤的口罩人脸识别方法，其特征在于，所述对所述无遮挡人脸图像做遮挡处理，包括：
基于口罩图像、眼镜图像对所述无遮挡人脸图像作贴图处理，使无遮挡人脸图像与所述口罩图像、眼镜图像中的至少一个组合，形成口部被遮挡图像与眼部被遮挡图像。


4.根据权利要求1所述的基于背景过滤的口罩人脸识别方法，其特征在于，所述基于所述人脸图像训练及所述人脸遮挡图像训练用于识别面部未被遮挡的第一人脸识别模型、用于识别口部被遮挡的第二人脸识别模型、用于识别眼部被遮挡的第三人脸识别模型，包括：
判断输入的图像是否为眼部被遮挡图像，若是则用于训练所述第三人脸识别模型；判断输入的图像是否为口部被遮挡图像，若是则用于训练所述第二人脸识别模型；判断输入的图像是否为无遮挡人脸图像，若是则用于训练所述第一人脸识别模型；判断输入的图像为口部与眼部均被遮挡则丢弃该图像。


5.根据权利要求1所述的基于背景过滤的口罩人脸识别方法，其特征在于，将所述第一人脸识别模型、第二人脸识别模型、第三人脸识别模型做面部特征向量融合，包括：
若人脸未被遮挡，则设置第一人脸识别模型的权重大于第二人脸识别模型、第三人脸识别模型的权重；
若口部被遮挡，则设置第二人脸识别模型的权重大于第一人脸识别模型、第三人脸识别模型的权重；
若眼部被遮挡，则设置第三人脸识别模型的权重大于第一人脸识别模型、第二人脸识别模型的权重。


6.根据权利要求5所述的基于背景过滤的口罩人脸识别方法，其特征在于，所述利用融合后的所述面部特征向量对人脸进行识别，包括：
利用面部特征向量融合算法将所述第一人脸识别模型、第二人脸识别模型、第三人脸识别...

【专利技术属性】
技术研发人员：杨泽霖，杨坚，涂前彦，刘伟生，薛利荣，
申请(专利权)人：深圳禾思众成科技有限公司，
类型：发明
国别省市：广东;44