一种基于深度学习的人员口罩佩戴状态检测识别方法技术

本发明专利技术公开了一种基于深度学习的人员口罩佩戴状态检测识别方法。主要步骤包括：获取数据集；设计人脸检测网络，并在网络中添加第一特征向量输出；将检测到的口罩人脸区域通过比例随机裁剪输入第二深度学习网络模型的第一网络部分，第二网络部分和第三网络部分以获得三个代表全局、局部和细粒度特征的特征图；将三个特征图进行特征融合得到第二特征向量；将第一特征向量和第二特征向量融合，最后使用机器学习模型识别人脸口罩佩戴状态。这样，基于优化设计的神经网络，提取不同层次的深度特征并融合，能大幅提高人脸口罩佩戴状态识别的准确率。准确率。准确率。

【技术实现步骤摘要】
一种基于深度学习的人员口罩佩戴状态检测识别方法


[0001]本专利技术属于计算机视觉领域，具体涉及一种基于深度学习的人员口罩佩戴状态检测识别方法。

技术介绍

[0002]在突发公共卫生事件期间，出入公共场所均需要佩戴口罩，减少接触、避免人员过密。佩戴口罩是疫情防控的有效手段。目前，对人员口罩佩戴的监督的通用做法是通过人工进行监督，检查人员是否佩戴口罩，不仅效率低，而且还需要人工成本，同时增加了工作人员被感染的机率。因此，若能采用一种方法自动的对人员口罩佩戴状态进行检测识别，只要通过视频监控手段采集现场视频图像，自动判断人脸口罩佩戴状态，当发现未佩戴口罩或不规范佩戴口罩人员时，配合语音播报，对未佩戴口罩或不规范佩戴口罩的人员进行语音提醒，便能更方便快捷地进行安全监管，规范人员的行为，保障人员的安全，减少人员之间的传染，最大程度的降低人工成本、提升检测效率。为此，本专利技术提出一种基于深度学习的人员口罩佩戴状态的检测识别方法，识别人员的口罩佩戴状态，包括是否佩戴口罩以及佩戴口罩方式是否规范，以减少人工监督的工作，帮助各部门提升工作效率。
[0003]所述口罩佩戴状态检测识别方法中所涉及到的深度学习技术通常是指深度卷积神经网络，它模仿了人脑的层次结构，由层次分明的神经元相互连接组成。基于深度学习的口罩佩戴状态检测识别方法是指通过深层卷积神经网络对图像进行浅层和深层的特征提取，并用原始的标注数据对网络参数进行校正，使佩戴口罩检测网络学会定位图像中人脸的位置，同时识别人脸的口罩佩戴状态，包括是否佩戴口罩，佩戴口罩方式是否规范。
[0004]现有的技术，如公开号为CN111488842A的中国专利，采用基于CenterNet的监控视频口罩检测方法，该方法以CenterNet网络为框架，对已标注的视频图像样本进行训练，检测视频中人物是否佩戴口罩，只能识别人脸带口罩和不带口罩两种类别，而对于带了口罩但未规范佩戴口罩则无能为力。
[0005]又如公开号为CN111401202A的中国专利，提供了一种基于深度学习的行人口罩佩戴实时检测方法，通过设计一个深度学习网络实现戴口罩人脸的检测，并对网络采用网络压缩的手段，加快网络推理速度。该方法的缺点主要有两个：只能判断人员是否佩戴口罩，无法对口罩佩戴的规范性做出判断；通过网络压缩后，检测精度下降，无法保证准确的检测结果。
[0006]又如公开号为CN111582068A的中国专利，提供了一种人员口罩佩戴状态检测方法，使用Haar级联分类器检测佩戴口罩的人脸区域是否露出鼻子，输出佩戴口罩是否规范的检测结果，该方法基于传统的Haar特征检测判断是否露出鼻子，耗时较长且使用传统Haar特征检测方法精度低，当人员口罩覆盖鼻子但露出嘴巴的不规范佩戴方式时无法识别。
[0007]现有其他的方法，如公开号为CN111507199A的中国专利、公开号为CN111444887A的中国专利等都只能对人员是否佩戴口罩两种状态进行判断，此外，在人脸口罩佩戴检测
时，人脸目标会随着镜头距离远近的变化呈现多尺度变化的特点以及人脸目标离镜头较远时呈现小目标的特点，现有方法未对多尺度和小目标做针对性设计，无法保障检测结果的准确性。
[0008]到目前为止，检测识别人员口罩佩戴不规范的方法尚属空白。为此，本专利技术提出一种基于深度学习的人员口罩佩戴状态检测方法，所述方法不仅能检测人员是否佩戴口罩，同时也能识别人员口罩佩戴方式是否规范。同时，本法明提出一种口罩佩戴状态精细化分类网络重识别机制，大幅提高口罩佩戴状态识别准确率。

技术实现思路

[0009]针对现有技术的不足，本专利技术公开了一种基于深度学习的人员口罩佩戴状态检测识别方法，针对人员可能因为离镜头距离远近造成的人脸目标呈现多尺度和目标较小的特点进行网络优化设计，提高算法性能，实现人员佩戴口罩状态的自动检测识别，解决了现有方法只能识别是否佩戴口罩，无法识别口罩是否佩戴规范的问题。此外，本专利技术还对置信度低的口罩佩戴状态识别结果采用精细分类网络进行再识别，提高识别结果的准确度。
[0010]为实现上述目的，本专利技术所采取的技术方案为：
[0011]本专利技术公开了一种基于深度学习的人员口罩佩戴状态检测识别方法，所述方法包括以下步骤：
[0012]步骤1：数据集采集，采集不同场景下的人脸口罩佩戴数据，数据采集包括实际场景的图片以及采用对抗生成算法生成的不同口罩佩戴方式的图片数据；
[0013]步骤2：数据集标注；
[0014]数据集标注，对采集得到的数据集进行人工标注，标注出图像中人脸的位置，并根据不同的口罩佩戴状态标注为不同的类别标签；
[0015]步骤3：设计深度学习网络结构；
[0016]本专利技术构建的深度学习口罩佩戴状态检测识别网络以业内检测效果较好的YOLOv3为基础，对网络结果进行优化，包括：
[0017]去除特征融合部分的上采样操作，增强佩戴口罩人脸小目标检测的能力；
[0018]将网络最后的三尺度特征输出的设计修改为两尺度输出设计，只保留中等目标检测输出和小目标检测输出，在保持多尺度戴口罩人脸目标检测的能力的同时，排除大尺度目标的干扰；
[0019]网络添加N维的第一特征向量的输出，其中维度N不小于128；
[0020]步骤4：对所述步骤3中设计的深度学习网络进行训练得到第一深度学习网络模型，所述第一深度学习网络模型网络输出包括佩戴口罩人脸位置、大小、置信度及N维第一特征向量；
[0021]步骤5：根据不同口罩佩戴状态将佩戴口罩人脸图片细分为不同预设类别标签并以所述不同口罩佩戴状态将佩戴口罩人脸图片为输入训练得到第二深度学习网络模型，所述第二深度学习网络模型用于提取第二特征向量，所述第二特征向量用于表征人脸区域的语义信息；
[0022]步骤6：将待检测图片输入到所述训练得到的第一深度学习网络模型得到人脸位置、大小、置信度及N维第一特征向量；
[0023]具体地，在步骤4中的深度学习网络训练结束以后，加载训练好的第一深度学习网络模型，输入待检测图片，网络进行前向推理计算获得口罩检测图片人脸位置、大小、置信度及N维第一特征向量；
[0024]步骤7：根据步骤6中得到的人脸位置、大小、置信度，判断所述置信度是否大于预设阈值，若不大于，则将该置信度对应的人脸滤除；若大于，则根据所述人脸位置、大小从待检测图片中截取人脸区域，并以所述截取的人脸区域作为输入，通过所述第二深度学习网络模型提取第二特征向量；
[0025]步骤8：将所述第一特征向量以及所述第二特征向量进行特征融合得到第三特征向量，然后使用预设机器学习模型对所述第三特征向量进行识别得到人脸口罩佩戴状态的识别结果，从而确定当前人脸口罩佩戴状态。
[0026]优选的，所述步骤1中，采用实际场景收集数据和对抗生成算法自动生成的方式进行，所述对抗生成算法为预训练好的算法，所述生成的图片数据包括不同口罩佩戴状态的人脸。
[0027]优选的，所述步骤3中，网络添加N维的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习的人员口罩佩戴状态检测识别方法，其特征在于，所述的基于深度学习的人员口罩佩戴状态检测识别方法，包括：步骤1：数据集采集，采集不同场景下的人脸口罩佩戴数据，数据采集包括实际场景的图片以及采用对抗生成算法生成的不同口罩佩戴方式的图片数据；步骤2：数据集标注；数据集标注，对采集得到的数据集进行人工标注，标注出图像中人脸的位置，并根据不同的口罩佩戴状态标注为不同的类别标签；步骤3：设计深度学习网络结构；本发明构建的深度学习口罩佩戴状态检测识别网络以业内检测效果较好的YOLOv3为基础，对网络结果进行优化，包括：去除特征融合部分的上采样操作，增强佩戴口罩人脸小目标检测的能力；将网络最后的三尺度特征输出的设计修改为两尺度输出设计，只保留中等目标检测输出和小目标检测输出，在保持多尺度戴口罩人脸目标检测的能力的同时，排除大尺度目标的干扰；网络添加N维的第一特征向量的输出，其中维度N不小于128；步骤4：对所述步骤3中设计的深度学习网络进行训练得到第一深度学习网络模型，所述第一深度学习网络模型网络输出包括佩戴口罩人脸位置、大小、置信度及N维第一特征向量；步骤5：根据不同口罩佩戴状态将佩戴口罩人脸图片细分为不同预设类别标签并以所述不同口罩佩戴状态将佩戴口罩人脸图片为输入训练得到第二深度学习网络模型，所述第二深度学习网络模型用于提取第二特征向量，所述第二特征向量用于表征融合不同图片区域范围和尺度的人脸区域的深层语义信息；步骤6：将待检测图片输入到所述训练得到的第一深度学习网络模型得到人脸位置、大小、置信度及N维第一特征向量；具体地，在步骤4中的深度学习网络训练结束以后，加载训练好的第一深度学习网络模型，输入待检测图片，网络进行前向推理计算获得口罩检测图片人脸位置、大小、置信度及N维第一特征向量；步骤7：根据步骤6中得到的人脸位置、大小、置信度，判断所述置信度是否大于预设阈值，若不大于，则将该置信度对应的人脸滤除；若大于，则根据所述人脸位置、大小从待检测图片中截取人脸区域，并以所述截取的人脸区域作为输入，通过所述第二深度学习网络模型提取第二特征向量；步骤8：将所述第一特征向量以及所述第二特征向量进行特征融合得到第三特征向量，然后使用预设机器学习模型对所述第三特征向量进行识别得到人脸口罩佩戴状态的识别结果，从而确定当前人脸口罩佩戴状态。2.如权利要求1所述的一种基于深度学习的人员口罩佩戴状态检测识别方法，其特征在于，所述步骤1中，采用实际场景收集数据和对抗生成算法自动生成的方式进行，所述对抗生成算法为预训练好的算法，所述生成的图片数据包括不同口罩佩戴状态的人脸。3.如权利要求1所述的一种基于深度学习...

【专利技术属性】
技术研发人员：吴宝昕，
申请(专利权)人：杭州追猎科技有限公司，
类型：发明
国别省市：