一种现场人员防疫口罩规范佩戴的自动检测方法及系统技术方案

一种现场人员防疫口罩规范佩戴的自动检测方法，包括：1)采集规范佩戴口罩的人脸口罩数据集，并且对数据集进行标注及预处理；2)构建人脸口罩目标检测模型，并且采用已经标注的人脸口罩数据集对该模型进行训练，获取模型参数；3)将待检测视频输入训练后的目标检测模型中进行定位与分类，判断是否佩戴口罩；4)对于判定佩戴口罩的情形，基于YCrCb椭圆肤色模型判断是否规范佩戴口罩。本发明专利技术还提供了相应的检测装置和GPU云平台系统，采用本发明专利技术，在目标遮挡、密集人群以及小尺度检测等复杂场景下能够有效提升人脸规范佩戴口罩的检测精度和检测速度，检测方法简单，易于工程应用落地转化。

【技术实现步骤摘要】
一种现场人员防疫口罩规范佩戴的自动检测方法及系统
本专利技术属于机器视觉
，特别涉及一种现场人员防疫口罩规范佩戴的自动检测方法及系统。
技术介绍
出行时规范佩戴口罩是防范传染类疾病的最有效措施之一，特别是在人流量较大的公共场合，规范佩戴口罩能极大程度上减少病毒的扩散和传播，因此，是否佩戴口罩以及是否规范佩戴口罩的检测十分必要。人工方式检测是否佩戴口罩不仅费时费力，而且在人流量大的场所，对于是否规范佩戴口罩还存在漏检误检的问题，同时可能增加检测人员被感染的风险。因此基于视频分析的口罩佩戴自动检测技术非接触、安全系数高的优点日益凸显出来。但是，一方面随着监控系统规模的不断扩大，海量的视频数据导致从中获取有用信息越来越困难，查找效率低，工作量繁重，难以满足监控系统视频异常检测的需求。另一方面现有的常规视频处理技术对视频的拍摄角度、光照条件等要求严苛，而且只能是针对某一特定场景进行分析，无法拓展到各种场景。对于复杂场景例如目标遮挡、密集人群、小尺度目标检测等情形，对于检测的速度和精度要求较高，传统机器学习的检测方法结果并不理想。另外，对于是否规范佩戴口罩的检测方法十分少见，而传统检测方法则存在精度低、速度慢、鲁棒性差等问题。因此，复杂场景下自动检测是否规范佩戴口罩的相关技术亟待提出。
技术实现思路
为了克服上述现有技术的缺点，本专利技术的目的在于提供一种现场人员防疫口罩规范佩戴的自动检测方法及系统，该方法结合了自上而下和自下而上的特征融合策略提出了新的多尺度预测网络，实现了特征增强；利用皮肤在YCrCb颜色空间聚类的特点进行皮肤检测，降低光线亮度对检测的影响，实现是否规范佩戴口罩的检测，本专利技术在目标遮挡、密集人群以及小尺度检测等复杂场景下能够有效提升人脸规范佩戴口罩的检测精度和检测速度，检测方法简单，易于工程应用落地转化。为了实现上述目的，本专利技术采用的技术方案是：一种现场人员防疫口罩规范佩戴的自动检测方法，包括如下步骤：步骤1)，采集规范佩戴口罩的人脸数据集，并且对数据集进行标注及预处理；步骤2)，构建人脸口罩目标检测模型，并且采用已经标注的人脸数据集对该模型进行训练，获取模型参数；步骤3)，将待检测视频输入训练后的目标检测模型中进行定位与分类，判断是否佩戴口罩；步骤4)，对于判定佩戴口罩的情形，基于YCrCb椭圆肤色模型判断是否规范佩戴口罩。所述步骤1)采集规范佩戴口罩的人脸数据集，并对目标进行分类，图像标注的信息区域包括面部区域、口罩区域、背景区域。所述步骤1)中，对分类目标进行语义标注，面部区域、口罩区域和背景区域均采用矩形框进行标注，获取标签集，分别为头部区域对应标签head、口罩区域对应标签mask以及背景区域对应标签background；所述对数据集进行预处理，包括将图像的尺寸缩放至标准宽度256*256以及图像的标准化，即基于凸优化理论与数据概率分布，将图像数据通过去均值实现中心化的处理，以去除光照和阴影影响。所述步骤2)构建人脸口罩目标检测模型，结合跨阶段局部网络改进DarkNet53网络，降低内存消耗同时提高运算速度；在检测网络中引入空间金字塔池化结构，基于自下而上和自上而下的特征融合策略构建多尺度预测网络，实现特征增强；使用性能更优的CIoU损失函数，充分考虑到目标与检测框之间的中心点距离、重叠比以及长宽比信息，提高检测模型的准确性。所述步骤2)的模型训练中，以包含面部区域、口罩区域、背景区域的图像组成人脸口罩目标区域检测的样本数据，将样本数据分为训练样本和测试样本，训练样本用于目标检测模型训练；测试样本用于测试目标检测模型的准确度，采用Adam优化器对网络进行优化，更新被训练网络权值，损失函数使用CIoU损失函数，最终使得在测试数据下网络损失函数最小，得到网络的模型参数。所述步骤3)中，提取摄像头采集到的原始视频流中的图像，对所述图像进行尺度变换及标准化预处理；输入到训练好的人脸口罩目标检测模型中，得到检测结果，根据置信度判断待检测图片中的人是否佩戴口罩。具体地：所述图像输入到训练好的人脸口罩目标检测模型中，提取3个不同尺度的特征图，分别位于中间层、中下层和底层，底层进行系列卷积后，一部分经过后续处理作为结果输出，另一部分再做卷积和上采样操作并与中下层的特征图融合，得到具有细粒度中下层的特征图，然后将该特征图经过卷积处理后，输出对应结果的同时再进行卷积、上采样和中间层特征图融合，在中间层将融合的图进行卷积操作后输出结果，最终得到3个不同尺度的预测结果，每个结果中包含3个先验框的预测信息，每个先验框的预测信息对应7维，分别是坐标值4维、置信度1维和种类2维，检测结果储存在种类中，分为戴口罩和未戴口罩2种。所述步骤4)中，对于所述步骤3)判定为佩戴口罩的情形，利用皮肤在YCrCb颜色空间聚类的特点进行皮肤检测，将待检测的图片从RGB颜色空间转换到YCrCb颜色空间，以建立椭圆肤色模型，基于命题逻辑进行整体判断，若逻辑为真，则判定为规范佩戴口罩；若逻辑为假，则判定为不规范佩戴口罩。本专利技术还提供了一种现场人员防疫口罩规范佩戴的自动检测装置，包括：视频图像提取模块，用于摄像头采集视频，从所得视频流中获取视频帧图像，并基于所述图像进行预处理；深度学习模块，基于采用已经标注的人脸数据集训练的人脸口罩目标检测模型，对所述待检测图像进行人脸口罩定位检测，以得到第一检测结果；第一判断模块，用于判断所述第一检测结果是否符合佩戴口罩条件；检测模块，基于YCrCb椭圆肤色模型，对所述符合口罩佩戴条件的第一检测结果进行是否规范佩戴口罩的检测，以得到第二检测结果；第二判断模块，用于判断所述第二检测结果是否符合规范佩戴口罩条件；输出模块，用于输出判定结果与实现报警功能。本专利技术还提供了一种GPU云平台系统，包括：云服务平台，提供数据存储、计算以及网络服务；以及所述现场人员防疫口罩规范佩戴的自动检测装置；其中，检测装置的视频图像提取模块通过云服务平台传递采集数据信息，检测模块通过云服务平台传递检测结果信息，并且与输出模块建立数据连接。所述检测装置、云服务平台以及若干待检测行人作为整套自动检测系统的参与模块，每个参与模块将自身信息与其余参与模块共享，实现即时状态交流。所述计算服务则引入全新的GPU架构和相应的GPU通用计算技术，充分利用硬件资源提高算法的性能，建立有效的计算方案。与现有技术相比，本专利技术的有益效果是：1、对于人脸口罩区域的定位与分类基于深度神经网络模型，利用目标检测网络模型可自动提取多尺度图像特征，检测人脸口罩区域，不易被背景干扰，鲁棒性强。2、结合残差网络、特征金字塔以及多特征融合网络，使得定位与分类一步完成，较传统目标检测网络拥有更高的准确度，且极大地缩减了检测时间，提升了检测效率。3、创新性地提出基于YCrCb颜色空间的椭圆肤色模型进行规范佩戴口罩的检测，利用肤色像素具有一定聚类性，分布相对集中的特点，克服本文档来自技高网...

【技术保护点】
1.一种现场人员防疫口罩规范佩戴的自动检测方法，其特征在于，包括如下步骤：/n步骤1)，采集规范佩戴口罩的人脸数据集，并且对数据集进行标注及预处理；/n步骤2)，构建人脸口罩目标检测模型，并且采用已经标注的人脸数据集对该模型进行训练，获取模型参数；/n步骤3)，将待检测视频输入训练后的目标检测模型中进行定位与分类，判断是否佩戴口罩；/n步骤4)，对于判定佩戴口罩的情形，基于YCrCb椭圆肤色模型判断是否规范佩戴口罩。/n

【技术特征摘要】
1.一种现场人员防疫口罩规范佩戴的自动检测方法，其特征在于，包括如下步骤：
步骤1)，采集规范佩戴口罩的人脸数据集，并且对数据集进行标注及预处理；
步骤2)，构建人脸口罩目标检测模型，并且采用已经标注的人脸数据集对该模型进行训练，获取模型参数；
步骤3)，将待检测视频输入训练后的目标检测模型中进行定位与分类，判断是否佩戴口罩；
步骤4)，对于判定佩戴口罩的情形，基于YCrCb椭圆肤色模型判断是否规范佩戴口罩。


2.根据权利要求1所述现场人员防疫口罩规范佩戴的自动检测方法，其特征在于，所述步骤1)采集规范佩戴口罩的人脸数据集，并对目标进行分类，图像标注的信息区域包括面部区域、口罩区域、背景区域。


3.根据权利要求2所述现场人员防疫口罩规范佩戴的自动检测方法，其特征在于，所述步骤1)中，对分类目标进行语义标注，面部区域、口罩区域和背景区域均采用矩形框进行标注，获取标签集，分别为头部区域对应标签head、口罩区域对应标签mask以及背景区域对应标签background；所述对数据集进行预处理，包括将图像的尺寸缩放至标准宽度256*256以及图像的标准化，即基于凸优化理论与数据概率分布，将图像数据通过去均值实现中心化的处理，以去除光照和阴影影响。


4.根据权利要求1所述现场人员防疫口罩规范佩戴的自动检测方法，其特征在于，所述步骤2)构建人脸口罩目标检测模型，结合跨阶段局部网络改进DarkNet53网络，降低内存消耗同时提高运算速度；在检测网络中引入空间金字塔池化结构，基于自下而上和自上而下的特征融合策略构建多尺度预测网络，实现特征增强；使用性能更优的CIoU损失函数，充分考虑到目标与检测框之间的中心点距离、重叠比以及长宽比信息，提高检测模型的准确性。


5.根据权利要求1或4所述现场人员防疫口罩规范佩戴的自动检测方法，其特征在于，所述步骤2)的模型训练中，以包含面部区域、口罩区域、背景区域的图像组成人脸口罩目标区域检测的样本数据，将样本数据分为训练样本和测试样本，训练样本用于目标检测模型训练；测试样本用于测试目标检测模型的准确度，采用Adam优化器对网络进行优化，更新被训练网络权值，损失函数使用CIoU损失函数，最终使得在测试数据下网络损失函数最小，得到网络的模型参数。


6.根据权利要求1所述现场人员防疫口罩规范佩戴的自动检测方法，其特征在于，所述步骤3)中，提取摄像头采集到的原始视频流中的图像，对所述图像进行尺度变换及标准化预处理；输入到训练好的人脸口罩目标检测模型中，得到检测结果，根据置信度判断待检测图片中的人是否佩戴口罩。


7.根据权利要求6所述现场人员防...

【专利技术属性】
技术研发人员：张新曼，彭羽瑞，寇杰，王静静，毛乙舒，程昭晖，陆罩，陈悦，陈星宇，江水云，
申请(专利权)人：西安交通大学，
类型：发明
国别省市：陕西;61