一种口罩佩戴模式识别方法技术

本申请公开了一种口罩佩戴模式识别方法

【技术实现步骤摘要】
一种口罩佩戴模式识别方法、装置和电子设备


[0001]本申请涉及图像数据处理
，尤其涉及一种口罩佩戴模式识别方法
、
装置和电子设备
。

技术介绍

[0002]从公共卫生安全角度出发，公共场所的口罩佩戴模式识别装置以被广泛应用
。
当待检测目标经过口罩佩戴模式识别装置时，口罩佩戴模式识别装置抓取人脸图像并进行图像分析
。
当发现目标未佩戴口罩则发出告警
。
更为严格的口罩佩戴模式识别装置需要对未正确佩戴口罩
、
正确佩戴口罩，以及未佩戴口罩三种模式分别给出告警
。
[0003]现有技术中主要是利用深度卷积神经网络进行口罩佩戴模式识别，利用未佩戴口罩的样本图像
、
正确佩戴口罩的样本图像和未正确佩戴口罩的样本图像训练深度卷积神经网络，使训练后的深度卷积神经网络具有识别上述三种口罩佩戴模式的能力，但由于佩戴口罩与未正确佩戴口罩两种图像特征较为相近，基于上述深度卷积神经网络进行识别，对这两种模式容易产生混淆
。
[0004]针对上述问题，现有技术还提出了基于级联网络的口罩佩戴模式识别方法，在检测网络之后级联一个专门的口罩识别网络对口罩佩戴模式进行精细化识别，但相关方案中没有公开级联的口罩识别网络如何保证口罩佩戴模式在不同域之间的适应情况，同样存在无法准确识别未正确佩戴口罩模式和正确佩戴口罩模式，对未正确佩戴口罩模式和正确佩戴口罩模式易产生混淆
。

技术实现思路

>[0005]本申请实施例提供了一种口罩佩戴模式识别方法
、
装置和电子设备，以解决或部分解决上述问题
。
[0006]本申请实施例采用下述技术方案：
[0007]第一方面，本申请实施例提供一种口罩佩戴模式识别方法，包括：
[0008]获取人脸图像，并对所述人脸图像进行图像分区处理，得到鼻部所在的第一子图像和口部所在的第二子图像；
[0009]利用口罩佩戴识别模型的特征提取网络分别对所述人脸图像
、
所述第一子图像和第二子图像进行特征提取，得到所述人脸图像的全局特征图
、
所述第一子图像的第一局部特征图和所述第二子图像的第二局部特征图；
[0010]利用所述口罩佩戴识别模型的特征融合网络对所述全局特征图
、
第一局部特征图和第二局部特征图进行特征融合，得到融合特征图；
[0011]利用所述口罩佩戴识别模型的检测头网络对所述融合特征图进行检测，得到所述人脸图像的口罩佩戴模式的识别结果
。
[0012]可选地，所述特征提取网络包括全局特征提取子网络
、
第一局部特征提取子网络和第二局部特征提取子网络，利用口罩佩戴识别模型的特征提取网络分别对所述人脸图
像
、
所述第一子图像和第二子图像进行特征提取，包括：
[0013]利用所述全局特征提取子网络对所述人脸图像进行特征提取，得到所述人脸图像的全局特征图；
[0014]利用所述第一局部特征提取子网络对所述第一子图像进行特征提取，得到所述第一子图像的第一局部特征图；
[0015]利用所述第二局部特征提取子网络对所述第二子图像进行特征提取，得到所述第二子图像的第二局部特征图
。
[0016]可选地，利用所述全局特征提取子网络对所述人脸图像进行特征提取，得到所述人脸图像的全局特征图，包括：
[0017]对所述人脸图像进行两层
3x3
卷积处理，得到第一卷积处理结果；
[0018]对所述第一卷积处理结果进行最大池化处理，得到第一最大池化处理结果；
[0019]对所述第一最大池化处理结果进行多层
3x3
卷积处理，得到第二卷积处理结果
。
[0020]可选地，所述全局特征提取子网络包括感受野分支，对所述第一最大池化处理结果进行多层
3x3
卷积处理，得到第二卷积处理结果，包括：
[0021]利用所述感受野分支对所述第二卷积处理结果进行卷积处理，得到第三卷积处理结果；
[0022]分别对所述第二卷积处理结果和所述第三卷积处理结果进行空间金字塔池化处理，得到第一空间金字塔池化处理结果和第二空间金字塔池化处理结果；
[0023]将所述第一空间金字塔池化处理结果和第二空间金字塔池化处理结果进行通道拼接，得到所述人脸图像的全局特征图
。
[0024]可选地，所述第一局部特征提取子网络和所述第二局部特征提取子网络的网络结构相同，利用所述第一局部特征提取子网络对所述第一子图像进行特征提取，得到所述第一子图像的第一局部特征图，包括：
[0025]对所述第一子图像进行两层
3x3
卷积处理，得到第四卷积处理结果；
[0026]对所述第四卷积处理结果进行最大池化处理，得到第二最大池化处理结果；
[0027]对所述第二最大池化处理结果进行多层
3x3
卷积处理，得到第五卷积处理结果；
[0028]对所述第五卷积处理结果进行空间金字塔池化处理，得到所述第一局部特征图
。
[0029]可选地，获取人脸图像，包括：
[0030]利用训练好的目标检测模型对包含人脸目标的待检测图像进行目标检测，得到人脸目标检测结果，所述人脸目标检测结果包括矩形框的位置和尺寸；
[0031]根据所述矩形框的位置和尺寸对所述待检测图像进行人脸目标分割处理，得到所述人脸图像
。
[0032]可选地，对所述人脸图像进行图像分区处理，得到鼻部所在的第一子图像和口部所在的第二子图像，包括：
[0033]获取所述人脸图像的分区方向和分区方向对应的分区比例；
[0034]在所述分区方向上，按照所述分区比例对所述人脸图像进行分区处理，得到所述第一子图像和所述第二子图像
。
[0035]可选地，获取所述人脸图像的分区方向和分区方向对应的分区比例，包括：
[0036]将所述矩形框的垂直边框所在的垂直方向作为分区方向；
[0037]根据所述垂直边框的尺寸确定所述分区比例
。
[0038]第二方面，本申请实施例提供一种口罩佩戴模式识别装置，包括：
[0039]图像处理单元，用于获取人脸图像，并对所述人脸图像进行图像分区处理，得到鼻部所在的第一子图像和口部所在的第二子图像；
[0040]特征提取单元，用于利用口罩佩戴识别模型的特征提取网络分别对所述人脸图像
、
所述第一子图像和第二子图像进行特征提取，得到所述人脸图像的全局特征图
、
所述第一子图像的第一局部特征图和所述第二子图像的第二局部特征图；
[0041]特征融合单元，用于利用所述口罩佩戴识别模型的特征融合网络对所述全局特征图
、
第一局部特征本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种口罩佩戴模式识别方法，其特征在于，所述方法包括：获取人脸图像，并对所述人脸图像进行图像分区处理，得到鼻部所在的第一子图像和口部所在的第二子图像；利用口罩佩戴识别模型的特征提取网络分别对所述人脸图像
、
所述第一子图像和第二子图像进行特征提取，得到所述人脸图像的全局特征图
、
所述第一子图像的第一局部特征图和所述第二子图像的第二局部特征图；利用所述口罩佩戴识别模型的特征融合网络对所述全局特征图
、
第一局部特征图和第二局部特征图进行特征融合，得到融合特征图；利用所述口罩佩戴识别模型的检测头网络对所述融合特征图进行检测，得到所述人脸图像的口罩佩戴模式的识别结果
。2.
根据权利要求1所述的方法，其特征在于，所述特征提取网络包括全局特征提取子网络
、
第一局部特征提取子网络和第二局部特征提取子网络，利用口罩佩戴识别模型的特征提取网络分别对所述人脸图像
、
所述第一子图像和第二子图像进行特征提取，包括：利用所述全局特征提取子网络对所述人脸图像进行特征提取，得到所述人脸图像的全局特征图；利用所述第一局部特征提取子网络对所述第一子图像进行特征提取，得到所述第一子图像的第一局部特征图；利用所述第二局部特征提取子网络对所述第二子图像进行特征提取，得到所述第二子图像的第二局部特征图
。3.
根据权利要求2所述的方法，其特征在于，利用所述全局特征提取子网络对所述人脸图像进行特征提取，得到所述人脸图像的全局特征图，包括：对所述人脸图像进行两层
3x3
卷积处理，得到第一卷积处理结果；对所述第一卷积处理结果进行最大池化处理，得到第一最大池化处理结果；对所述第一最大池化处理结果进行多层
3x3
卷积处理，得到第二卷积处理结果
。4.
根据权利要求3所述的方法，其特征在于，所述全局特征提取子网络包括感受野分支，对所述第一最大池化处理结果进行多层
3x3
卷积处理，得到第二卷积处理结果，包括：利用所述感受野分支对所述第二卷积处理结果进行卷积处理，得到第三卷积处理结果；分别对所述第二卷积处理结果和所述第三卷积处理结果进行空间金字塔池化处理，得到第一空间金字塔池化处理结果和第二空间金字塔池化处理结果；将所述第一空间金字塔池化处理结果和第二空间金字塔池化处理结果进行通道拼接，得到所述人脸图像的全局特征图
。5.
根据权利要求2所述的方法，其特征在于，所述第一局部特征提取子网络和...

【专利技术属性】
技术研发人员：田光亚，朱勇，
申请(专利权)人：中科创达软件股份有限公司，
类型：发明
国别省市：