基于深度学习的口罩佩戴识别方法和装置制造方法及图纸

本发明专利技术公开一种基于深度学习的口罩佩戴识别方法，属于计算机视觉

【技术实现步骤摘要】
基于深度学习的口罩佩戴识别方法和装置


[0001]本专利技术涉及一种适用于移动设备的口罩佩戴识别方法及方法部署的实例，属于计算机视觉
、
图像处理
、
模式识别

。

技术介绍

[0002]传统的目标检测算法需要根据人为先验知识手动设计口罩区域特征提取规则，设计难度大，而且对图片光照
、
姿态
、
遮挡等因素较为敏感，难以适应复杂场景下的目标检测需求
。
而基于深度学习的目标检测算法通过数据增强和网络结构优化等方式自动学习特征，极大地增强了模型鲁棒性和泛化能力，对不同场景的适应性更佳
。

技术实现思路

[0004]为解决现有技术存在的问题，本专利技术提出了一种基于深度学习的口罩佩戴识别方法，并且在三种移动设备上进行了实现，该方法鲁棒性强，准确率高
。
[0005]本专利技术是这样实现的：
[0006]一种基于深度学习的口罩佩戴识别方法，其特征在于，所述的方法包括以下步骤：
[0007]步骤一
、
数据集准备；
[0008]步骤二
、
改进特征融合模块；
[0009]步骤三
、
改进损失函数；
[0010]步骤四
、
优化后
YOLOv7
网络整体结构；
[0011]步骤五
、
轻量化识别网络
。
[0012]进一步，所述的步骤一中的数据集准备是使用真实场景中采集的人脸佩戴口罩图像作为数据集，包括正确佩戴
、
错误佩戴
、
无佩戴三类样本：
[0013]其中，正确佩戴样本为人脸佩戴口罩且口罩完全覆盖口鼻部分的图像；错误佩戴样本为人脸部分有口罩遮盖但未完全覆盖口鼻部分的图像；无佩戴样本为人脸未佩戴口罩的图像；
[0014]通过网络开源数据集整合
、
百度图库爬虫和自主拍摄的方式，获得符合实际情况的口罩佩戴数据集，并对数据集进行了严格的筛选和标注
。
[0015]进一步，所述的数据集准备的过程中，将数据集按照
8:1:1
的比例划分为训练集
、
验证集和测试集；其中
80
％的数据样本用于训练模型，
10
％的数据样本用于模型评估，最后的
10
％数据用于测试模型性能
。
[0016]进一步，所述的步骤二的改进特征融合模块具体为：用
ConvNeXt
代替
E
‑
ELAN
模块；
RepLKNet
大卷积核替代小卷积核；引入
NAMAttention
注意力机制；
ASFF
自适应空间特征融合
。
[0017]ConvNeXt
是一个纯卷积网络，借鉴了
VisionTransformer
和
CNN
的成功经验，依旧保持了
CNN
的平移不变性
(TranslationalInvariance)
和局部性
(Locality)
，其性能超越了复杂的基于
Transformer
的先进模型
。
与
Transformer
网络相比，
ConvNet
模块在网络预测准
确性和可扩展性方面相持平，在
COCO
检测和
ADE20K
分割方面均优于
Swin Transformer
，同时保持标准卷积网络的简单性和效率
。
[0018]ConvNeXt
是一种基于标准神经网络
ResNet
‑
50
的现代化改造模块
。
为防止特征损失，
ConvNeXt
减少了激活层和归一化层的使用，在残差连接中省略了
Relu
和
Norm
操作，并使用多路径
(
例如1×
1、3
×3和5×
5)
来增加模型的表现，同时避免了特征损失
。
此外，
ConvNeXt
还运用了
7*7
大尺寸的卷积核，这是由于在应用倒置瓶颈和深度可分离卷积的前提下，使用大卷积核能在计算量基本稳定的情况下增加网络性能
。ConvNeXt
还分离了下采样层和
LN
层，将下采样操作与跨组连接分开以减少计算复杂度，并使用了层标准化
(LN)
来代替批正则化
(BN)
，以避免
BN
操作对小批量数据造成的影响
。
[0019]在卷积神经网络的设计历程中，存在使用大尺寸卷积核
(
例如
11x11)
的模型，代表性模型为
AlexNet。
然而，卷积的参数量和计算量与卷积核大小的平方成正比，采用大尺寸卷积核必然会导致计算和参数代价增加，同时精度下降等问题，所以逐渐淘汰了大尺寸卷积核的使用
。
随着现代
Shortcut
短连接分支技术的不断发展，
RepLKNet
模块可以克服传统深度小卷积核卷积神经网络的固有缺陷
。
通过引入
shortcut
短连接机制，
RepLKNet
在减少参数数量和计算代价的同时，仍然能够保持较高的精度
。
[0020]进一步，所述的步骤三的改进包括
FocalLoss
：
[0021]引入可调整的衰减因子，减轻原样本不平衡数据对训练过程中梯度下降的影响；同时将焦点放在困难样本，即分类效果较低的样本上，通过提高其权重来强化对难分类样本的学习，从而提高了模型性能；
[0022][0023]令
[0024]L
fl
＝
‑
(1
‑
p
t
)
γ
log(p
t
)
ꢀꢀꢀꢀꢀꢀ
(4)
[0025]其中，
γ
为调制参数
(
γ
≥0)
，
(1
‑
p
t
)
γ
称为调制系数；
p
t
越大，说明分类的置信度越高，代表样本越容易区分，则
(1
‑
p
t
)
γ
调制系数比较小，那么对损失函数影响小；
p
t
越小，说明分类的置信度越低，代表样本越难区分，此时
(1...

【技术保护点】

【技术特征摘要】
1.
一种基于深度学习的口罩佩戴识别方法，其特征在于，所述的方法包括以下步骤：步骤一
、
数据集准备；步骤二
、
改进特征融合模块；步骤三
、
改进损失函数；步骤四
、
优化后
YOLOv7
网络整体结构；步骤五
、
轻量化识别网络
。2.
根据权利要求1所述的一种基于深度学习的口罩佩戴识别方法，其特征在于，所述的步骤一中的数据集准备是使用真实场景中采集的人脸佩戴口罩图像作为数据集，包括正确佩戴
、
错误佩戴
、
无佩戴三类样本：其中，正确佩戴样本为人脸佩戴口罩且口罩完全覆盖口鼻部分的图像；错误佩戴样本为人脸部分有口罩遮盖但未完全覆盖口鼻部分的图像；无佩戴样本为人脸未佩戴口罩的图像；通过网络开源数据集整合
、
百度图库爬虫和自主拍摄的方式，获得符合实际情况的口罩佩戴数据集，并对数据集进行了严格的筛选和标注
。3.
根据权利要求2所述的一种基于深度学习的口罩佩戴识别方法，其特征在于，所述的数据集准备的过程中，将数据集按照
8:1:1
的比例划分为训练集
、
验证集和测试集；其中
80
％的数据样本用于训练模型，
10
％的数据样本用于模型评估，最后的
10
％数据用于测试模型性能
。4.
根据权利要求1所述的一种基于深度学习的口罩佩戴识别方法，其特征在于，所述的步骤二的改进特征融合模块具体为：用
ConvNeXt
代替
E
‑
ELAN
模块；
RepLKNet
大卷积核替代小卷积核；引入
NAMAttention
注意力机制；
ASFF
自适应空间特征融合
。5.
根据权利要求4所述的一种基于深度学习的口罩佩戴识别方法，其特征在于，所述的
NAMAttention
使用了
BatchNormalization(BN)
批正则化的缩放因子来表示权值的重要程度，同时对通道注意力模块和空间注意力模块引入加权权重，使用
BN
中的缩放因子，即
BN
中的方差进行计算，方差越大表示该通道变化得越厉害，那么该通道中包含的信息会越丰富，重要性也越大；计算公式如
(1)、(2)
所示；所述的
M
c
＝
sigmoid(W
γ
(BN(F1)))
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(2)
其中，
μ
B
为均值，
σ
B
为标准差，
γ
和
β
是可训练的仿射变换参数
(
尺度和位移
)
；其中
M
c
表示最后输出特征图，
γ
是每个通道的缩放因子，因此，每个通道的权值可以通过得到；空间注意力子模块使用
BN
的缩放因子的空间维度来测量像素的重要性；计算公式如
(3)
所示：
M
s
＝
sigmoid(W
λ
(BN
s
(F2)))
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(3)
与通道注意力类似，
M
S
表示最后输出特征图，
λ
是缩放因子，权重为
6.
根据权利要求1所述的一种基于深度学习的口罩佩戴识别方法，其特征在于，所述的步骤三的改进包括
FocalLoss
：引入可调整的衰减因子，减轻原样本不平衡数据对训练过程中梯度下降的影响；同时将焦点放在困难样本，即分类效果较低的样本上，通过提高其权重来强化对难分类样本的学习，从而提高了模型性能；令
L
fl
＝
‑
(1
‑
p
t
)
γ
log(p
t
)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(4)
其中，
γ
为调制参数
(
γ
≥0)
，
(1
‑
p
t
)
γ
称为调制系数；
p
t
越大，说明分类的置信度越高，代表样本越容易区分，则
(1
‑
p
t
)

【专利技术属性】
技术研发人员：唐超颖，张仲彬，郑子欣，张馨月，
申请(专利权)人：南京航空航天大学，
类型：发明
国别省市：