口罩识别模型的训练方法、装置、设备及存储介质制造方法及图纸

本发明专利技术提供一种口罩识别模型的训练方法、装置、设备及存储介质。该方法包括：将第一训练集中的各图片分别切割成多个大小相同的图像块，并对所述图像块进行标签标注，得到第二训练集；将第三训练集中的各图片分别切割成多个大小相同的图像块，并对所述图像块进行标签标注，得到第四训练集；使用所述第二训练集对第一预设模型进行预训练，得到预训练模型；使用所述第四训练集和第二预设模型进行正式训练，得到口罩识别模型；其中，所述第一预设模型和所述第二预设模型可以采用YOLOV4

【技术实现步骤摘要】
口罩识别模型的训练方法、装置、设备及存储介质


[0001]本专利技术涉及新一代信息
，尤其涉及一种口罩识别模型的训练方法、装置、设备及存储介质。

技术介绍

[0002]随着计算机视觉技术的发展，利用计算机视觉技术，从图像中检测人脸并进行口罩穿戴的识别有着非常重要的研究意义和应用价值。
[0003]目前，对于口罩的识别大多采用神经网络进行识别，很多安防监控系统通过系统升级来实现口罩识别。例如，采用多任务级联卷积神经网络(Multi
‑
task convolutional neural network，简称MTCNN)作为口罩佩戴识别的网络模型，在光谱图像上标记感兴趣区域(Region of interest，简称ROI)，获取坐标和类别信息，训练支持向量机(Support Vector Machine，简称SVM)分类器，进而针对是否佩戴口罩进行分类判断。
[0004]现有的识别方法由于模型参数量大，导致运行速度慢，识别周期长，并且对于距离较远的小目标无法准确的识别。

技术实现思路

[0005]本专利技术提供一种口罩识别模型的训练方法、装置、设备及存储介质，用于提高对于距离较远的小目标识别的准确性，同时解决因模型参数量大导致运行速度慢，识别周期长的问题。
[0006]第一方面，本专利技术实施例提供一种口罩识别模型的训练方法，包括：
[0007]将第一训练集中的各图片分别切割成多个图像块，并对所述图像块进行标签标注，得到第二训练集，所述第一训练集为第一人脸口罩数据集，所述第二训练集中的图像块的标签包括图像块在图片中的位置信息和图像块中人脸是否佩戴口罩的类别信息；
[0008]将第三训练集中的各图片分别切割成多个图像块，并对所述图像块进行标签标注，得到第四训练集，所述第三训练集为第二人脸口罩数据集，所述第四训练集中的图像块的标签包括图像块在图片中的位置信息和图像块中人脸是否佩戴口罩的类别信息；
[0009]使用所述第二训练集对第一预设模型进行预训练，得到预训练模型，所述第一预设模型包括主干网络和剩余部分网络，在预训练过程中所述第一预设模型的主干网络的参数被冻结；
[0010]使用所述第四训练集和第二预设模型进行正式训练，得到口罩识别模型，所述第二预设模型包括主干网络和剩余部分网络，所述第二训练模型的主干网络的参数为所述预训练模型的主干网络的参数，所述第二预设模型的剩余部分网络的初始参数为所述预训练模型的剩余部分网络的参数，在正式训练过程中所述第二预设模型的主干网络的参数被冻结。
[0011]一种可能的实现方式中，所述第一预设模型采用YOLOV4
‑
tiny网络模型，所述使用所述第二训练集对第一预设模型进行预训练，得到预训练模型，包括：
[0012]将ImageNet数据集上训练得到的参数加载到所述第一预设模型的主干网络上；
[0013]加载完成之后，冻结所述第一预设模型的主干网络；
[0014]使用如下迭代过程更新所述第一预设模型的剩余部分网络的参数，直至迭代条件满足，则将训练得到的模型作为所述预训练模型：
[0015]每次将所述第二训练集中的第一数量的图像块输入所述第一预设模型进行训练，得到训练结果；
[0016]根据输入的图像块的标签以及输入的图像块的训练结果，确定YOLO损失值；
[0017]根据所述YOLO损失值进行反向传播，得到所述第一预设模型的剩余部分网络的更新参数；
[0018]使用所述更新参数更新所述第一预设模型的剩余部分网络的参数。
[0019]一种可能的实现方式中，所述第二预设模型采用YOLOV4
‑
tiny网络模型，所述使用所述第四训练集和第二预设模型进行正式训练，得到口罩识别模型，包括：
[0020]将所述预训练模型的主干网络的参数加载到所述第二预设模型的主干网络上；
[0021]加载完成之后，冻结所述第二预设模型的主干网络；
[0022]将所述预训练模型的剩余部分网络的参数加载到所述第二预设模型的剩余部分网络上；
[0023]使用如下迭代过程更新所述第二预设模型的剩余部分网络的参数，直至迭代条件满足，则将训练得到的模型作为所述口罩识别模型：
[0024]每次将所述第四训练集中的第一数量的图像块输入所述第二预设模型进行训练，得到训练结果；
[0025]根据输入的图像块的标签以及输入的图像块的训练结果，确定YOLO损失值；
[0026]根据所述YOLO损失值进行反向传播，得到所述预设模型的剩余部分网络的更新参数；
[0027]使用所述更新参数更新所述第二预设模型的剩余部分网络的参数。
[0028]一种可能的实现方式中，将所述第一训练集和所述第三训练集中的各图片分别切割成多个图像块，包括：
[0029]从所述图片的任意一个角开始，以预设像素滑动图像框，将所述图像框内的图像切割下来形成所述图像块，其中，所述预设像素的大小小于所述图像框的长度和宽度；
[0030]根据所述图片标有的图片框的坐标和所述滑动图像框的大小得到所述图像块的框的坐标。
[0031]一种可能的实现方式中，将所述第一训练集和所述第三训练集中的各图片分别切割成多个图像块之前，还包括：
[0032]对所述第一训练集和所述第三训练集中的图片进行数据增强处理，所述数据增强处理包括以下处理中的一种或者多种：随机调整图片大小、随机调整图片对比度、随机调整图片色调、随机调整图片亮度、随机为图片添加噪声、随机改变图片色彩模型、随机裁剪图片。
[0033]一种可能的实现方式中，所述图像块的大小为416*416像素，所述主干网络包括6个串联的跨阶段部分CSP网络，每个所述CSP网络用于对输入的图像进行特征提取；
[0034]所述主干网络中的目标CSP网络与CAT模块的输入连接，所述CAT模块的输出端与
所述剩余部分网络连接，所述目标CSP网络提取的特征图为26*26像素以及13*13像素，所述CAT模块用于连接所述目标CSP网络提取的特征图。
[0035]一种可能的实现方式中，所述第一人脸口罩数据集中部分图片的人脸目标的占比大于预设阈值，剩余部分图片的人脸目标的占比小于等于所述预设阈值；
[0036]所述第二人脸口罩数据集中的各图片包括的人脸目标的占比大于所述预设阈值。
[0037]第二方面，本专利技术实施例提供的一种口罩识别方法，应用于第一方面所述方法训练得到的口罩识别模型，所述方法包括：
[0038]将待识别图片切割成多个图像块，并确定各所述图像块在所述待识别图片中的位置信息，所述待识别图片中包含至少一个人脸目标；
[0039]将所述多个图像块输入所述口罩识别模型，得到每个图像块的第一识别结果，所述第一识别结果用于表示所述图像块中的人脸是否佩戴口罩；
[0040]当所述待识别图片中的同一人脸目标存在于不同的所述图像块时，根据所述本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种口罩识别模型的训练方法，其特征在于，包括：将第一训练集中的各图片分别切割成多个图像块，并对所述图像块进行标签标注，得到第二训练集，所述第一训练集为第一人脸口罩数据集，所述第二训练集中的图像块的标签包括图像块在图片中的位置信息和图像块中人脸是否佩戴口罩的类别信息；将第三训练集中的各图片分别切割成多个图像块，并对所述图像块进行标签标注，得到第四训练集，所述第三训练集为第二人脸口罩数据集，所述第四训练集中的图像块的标签包括图像块在图片中的位置信息和图像块中人脸是否佩戴口罩的类别信息；使用所述第二训练集对第一预设模型进行预训练，得到预训练模型，所述第一预设模型包括主干网络和剩余部分网络，在预训练过程中所述第一预设模型的主干网络的参数被冻结；使用所述第四训练集和第二预设模型进行正式训练，得到口罩识别模型，所述第二预设模型包括主干网络和剩余部分网络，所述第二训练模型的主干网络的参数为所述预训练模型的主干网络的参数，所述第二预设模型的剩余部分网络的初始参数为所述预训练模型的剩余部分网络的参数，在正式训练过程中所述第二预设模型的主干网络的参数被冻结。2.根据权利要求1所述的方法，其特征在于，所述第一预设模型采用YOLOV4
‑
tiny网络模型，所述使用所述第二训练集对第一预设模型进行预训练，得到预训练模型，包括：将ImageNet数据集上训练得到的参数加载到所述第一预设模型的主干网络上；加载完成之后，冻结所述第一预设模型的主干网络；使用如下迭代过程更新所述第一预设模型的剩余部分网络的参数，直至迭代条件满足，则将训练得到的模型作为所述预训练模型：每次将所述第二训练集中的第一数量的图像块输入所述第一预设模型进行训练，得到训练结果；根据输入的图像块的标签以及输入的图像块的训练结果，确定YOLO损失值；根据所述YOLO损失值进行反向传播，得到所述第一预设模型的剩余部分网络的更新参数；使用所述更新参数更新所述第一预设模型的剩余部分网络的参数。3.根据权利要求2所述的方法，其特征在于，所述第二预设模型采用YOLOV4
‑
tiny网络模型，所述使用所述第四训练集和第二预设模型进行正式训练，得到口罩识别模型，包括：将所述预训练模型的主干网络的参数加载到所述第二预设模型的主干网络上；加载完成之后，冻结所述第二预设模型的主干网络；将所述预训练模型的剩余部分网络的参数加载到所述第二预设模型的剩余部分网络上；使用如下迭代过程更新所述第二预设模型的剩余部分网络的参数，直至迭代条件满足，则将训练得到的模型作为所述口罩识别模型：每次将所述第四训练集中的第一数量的图像块输入所述第二预设模型进行训练，得到训练结果；根据输入的图像块的标签以及输入的图像块的训练结果，确定YOLO损失值；根据所述YOLO损失值进行反向传播，得到所述预设模型的剩余部分网络的更新参数；使用所述更新参数更新所述第二预设模型的剩余部分网络的参数。
4.根据权利要求1
‑
3任一项所述的方法，其特征在于，将所述第一训练集和所述第三训练集中的各图片分别切割成多个图像块，包括：从所述图片的任意一个角开始，以预设像素滑动图像框，将所述图像框内的图像切割下来形成所述图像块，其中，所述预设像素的大小小于所述图像框的长度和宽度；根据所述图片标有的图片框的坐标和所述滑动图像框的大小得到所述图像块的框的坐标。5.根据权利要求4所述的方法，其特征在于，将所述第一训练集和所述第三训练集中的各图片分别切割成多个图像块之前，还包括：对所述第一训练集和所述第三训练集中的图片进行数据增强处理，所述数据增强处理包括以下处理中的一种或者多种：随机调整图片大小、随机调整图片对比度、随机调整图片色调、随机调整图片亮度、随机为图片添加噪声、随机改变图片色彩模型、随机裁剪图片。6.根据权利要求2或3任一项所述的方法，其特征在于，所述图像块的大小为416*416像素，所述主干网络包括6个串联的跨阶段部分CSP网络，每个所述CSP网络用于对输入的图像进行特征提取；所述主干网络中的目标CSP网络与CAT模块的输入连接，所述CAT模块的输出端与所述剩余部分网络连接，所述目标CSP网络提取的特征图为26*26像素以及13*13像素，所述CAT模块用于连接所述目标CSP网络提取的特征图。7.根据权利要求1
‑
3任一项所述的方法，其特征在于，所述第一人脸口罩数据集中部分图片的人脸目标的占比大于预设阈值，剩余部分图片的人脸目标的占比小于等于所述预设阈值；所述第二人脸口罩数据集中的各图片包括的人脸目标的占比大于所述预设阈值。8.一种口罩识别方法，其特征在于，应用于权利要求1
‑
7任一项所述方法训练得到的口罩识别模型，所述方法包括：将待识别图片切割成多个图像块，并确定各所述图像块在所述待识别图片中的位置信息，所述待识别图片中包含至少一个人脸目标；将所述多个图像块输入所述口罩识别模型，得到每个图像块的第一识别结果，所述第一识别结果用于表示所述图像块中的人脸是否佩戴口罩；当所述待识别图片中的同一人脸目标存在于不同的所述图像块时，根据所述人脸目标所在的各所述图像块在所述待识别图片中的位置信息，以及各所述图像块中的人脸目标检测框，计算所述人脸目标所在的各所述图像块的置信度，并选取置信度最大的图像块的第一识别结果作为所述人脸目标的识别结果；输...

【专利技术属性】
技术研发人员：孟海秀，万业聪，姚星星，施森闽，郑旭东，
申请(专利权)人：海尔卡奥斯物联生态科技有限公司海尔数字科技青岛有限公司，
类型：发明
国别省市：