一种基于图像识别的口罩检测和部署系统及方法技术方案

本发明专利技术提供了一种基于图像识别的口罩检测和部署系统及方法，属于生物识别技术领域，包括：数据处理模块，用于分别收集人脸图像和口罩图像，并分别对人脸图像和口罩图像进行标注；模型训练模块，用于利用标注后的人脸图像和口罩图像训练人脸口罩检测模型；模型推理模块，用于根据人脸口罩检测模型，利用非极大值抑制算法对人脸和口罩的位置进行检测；模型部署模块，用于根据检测结果对人脸口罩检测模型进行部署。本发明专利技术包括完整统一的图像数据采集、数据标注、模型训练、模型部署与应用集成的流程，其核心的多结构和多目标检测模型以及自动化目标平台推理引擎部署特性可满足不同场景、硬件配置、检测精度和人流量的需求。

【技术实现步骤摘要】
一种基于图像识别的口罩检测和部署系统及方法
本专利技术属于生物识别
，尤其涉及一种基于图像识别的口罩检测和部署系统及方法。
技术介绍
口罩作为一种常用的医用和卫生用品，可有效阻挡有害气体、飞沫和病毒进入佩戴者的口鼻，从而可以降低口罩佩戴者的疾病感染风险。正确佩戴口罩在对新冠病毒疫情和其它传染病的防控起到了重要的作用，有效地减少了病毒感染者并降低了传染病毒的扩散速度与范围。因此，在公共场所部署口罩佩戴检测装置和系统，识别行人是否正确佩戴了口罩，并进行提醒和预警，在疫情防控中起到了积极的作用。比如，在地铁口等人流密集区域部署口罩检测佩戴检测系统，当检测到有乘客未佩戴口罩就进入地铁站时，及时通知安保人员，并提醒乘客佩戴口罩，从而可以确保行人进入密集区域之前佩戴口罩，以实现有效的疫情防控措施。目前主要的人脸佩戴口罩检测技术是人工检测，即有工作人员站在检测站（如地铁口、小区出入口等），通过人眼观察行人面部来确定行人是否佩戴了口罩，并对未戴口罩的行人进行口头提醒和警告等。人工检测方法造成了相关工作人员的劳动强度大，并容易出现漏检现象，同时也把工作人员暴露在易感染的危险环境中。此外，也有通过在口罩中嵌入传感器装置，该传感器在接触到皮肤后可呈现不同的状态变化，比如可以通过静脉检测来判断是否与皮肤接触。该装置通过实时读取传感器数据，来判断是否被佩戴，外部设备读取口罩上的传感器数据，来确定行人是否佩戴了口罩。入侵式检测方法需要改变口罩的原有结构，导致成本增加，影响佩戴的舒适性，并且也难以应用推广。随着计算机视觉技术的发展，人脸检测和识别技术得到了飞速发展和广泛应用，因此也随之出现了基于图像识别技术的口罩检测。这种方法首先需要定位在图像上定位人脸位置，然后分析人脸属性。人脸属性分析又包括两种：1）检测人脸器官，如检测眼睛、鼻子和嘴的位置，当检测到人脸却检测不到嘴时，可以认为是佩戴了口罩；2）颜色统计，由于人脸皮肤和口罩的颜色不同，通过在检测到人脸后，统计人脸区域的颜色特征，如生成颜色直方图（ColorHistogram）和方向梯度直方图（HistogramofOrientedGradients，HOG），然后使用机器学习算法（如SVM（SupportVectorMachine））进行分类，识别该人脸是否为佩戴口罩的人脸。基于人脸检测和人脸属性分析的方法识别率不高，其缺点主要表现在：1）当人脸被口罩覆盖后，本身就会导致人脸检测算法的效果不佳。由于检测不到人脸，则无法进行后续的口罩检测；2）以是否在人脸上检测到嘴的结论来判断是否佩戴口罩的方法容易出现误判的情况，如侧脸、用手或其它物体覆盖面部等情况都会被识别为佩戴了口罩；3）由于人的皮肤颜色差异以及使用具有与口罩类似颜色的物体覆盖面部时，统计人脸区域颜色特征的方法也同样会出现误判的情况，这些问题都会导致误检和漏检的情况。
技术实现思路
针对现有技术中的上述不足，本专利技术提供的一种基于图像识别的口罩检测和部署系统及方法，解决了上述的问题。为了达到以上目的，本专利技术采用的技术方案为：本方案提供了一种基于图像识别的口罩检测和部署系统，包括依次连接的数据处理模块、模型训练模块、模型推理模块以及模型部署模块；所述数据处理模块，用于分别收集人脸图像和口罩图像，并分别对所述人脸图像和口罩图像进行标注；所述模型训练模块，用于利用标注后的人脸图像和口罩图像训练人脸口罩检测模型；所述模型推理模块，用于根据所述人脸口罩检测模型，利用非极大值抑制算法对人脸和口罩的位置进行检测；所述模型部署模块，用于根据检测结果对人脸口罩检测模型进行部署，完成基于图像识别的口罩检测和部署。基于上述系统，本专利技术还提供了一种基于图像识别的口罩检测和部署方法，包括以下步骤：S1、数据处理：分别收集人脸图像和口罩图像，并分别对所述人脸图像和口罩图像进行标注；S2、模型训练：利用标注后的人脸图像和口罩图像训练人脸口罩检测模型；S3、模型推理：根据所述人脸口罩检测模型，利用非极大值抑制算法对人脸和口罩的位置进行检测；S4、模型部署：根据检测结果对人脸口罩检测模型进行部署，完成基于图像识别的口罩检测和部署。进一步地，所述步骤S1包括以下步骤：S101、分别收集人脸图像和口罩图像；S102、合并所述人脸图像和口罩图像，并将合并后的图像按同比例进行分割，得到人脸类别图像和人脸佩戴口罩类别图像；S103、将同比例分割后的剩余人脸图像划分为两部分，其中一部分作为人脸数据合并至所述人脸类别图像中，另外一部分利用在人脸上覆盖口罩的图片处理方法生成人脸佩戴口罩图像，合并至人脸佩戴口罩类别图像中；S104、根据人脸类别图像和人脸佩戴口罩类别图像，利用标注工具分别标注人脸和口罩，并导出PASCALVOC格式的XML标注文件，完成对人脸图像和口罩图像的标注。再进一步地，所述步骤S101中人脸图像的收集途径包括开源数据集、网络收集和非公开的监控数据；所述口罩图像的收集途径包括：以现有公开的口罩检测数据集为基础，合并若干个口罩检测数据集；利用网络爬虫从网络上下载口罩图片；通过在人脸图像上制作佩戴口罩的口罩图片。再进一步地，所述步骤S2具体为：根据标注后的人脸图像和口罩图像，分别利用YOLOv3网络、YOLOv3-tiny网络和YOLOv4网络构建第一人脸口罩检测模型、第二人脸口罩检测模型以及第三人脸口罩检测模型；其中，所述YOLOv3网络、YOLOv3-tiny网络和YOLOv4网络输入图片尺寸均设置为448×448，其输出类别均设置为2；所述YOLOv3-tiny网络的训练达到的最大批次设置为6000，所述YOLOv3网络和YOLOv4网络的训练达到的最大批次均设置为12000。再进一步地，所述根据标注后的人脸图像和口罩图像，分别利用YOLOv3网络、YOLOv3-tiny网络和YOLOv4网络训练第一人脸口罩检测模型、第二人脸口罩检测模型以及第三人脸口罩检测模型，其包括以下步骤：A1、利用YOLO预训练权重分别初始化YOLOv3网络、YOLOv3-tiny网络和YOLOv4网络；A2、将标注后的人脸图像和口罩图像的尺寸缩放为448×448；A3、将缩放后的人脸图像和口罩图像分别分割成S×S个网格单元，其中，S表示整型常数；A4、在每个网格单元中分别利用YOLOv3网络、YOLOv3-tiny网络和YOLOv4网络提取视觉特征，并分别设置YOLOv3网络、YOLOv3-tiny网络和YOLOv4网络的ReLU激活函数；A5、根据每个网格单元，分别利用YOLOv3网络的全连接层、YOLOv3-tiny网络的全连接层和YOLOv4网络的全连接层输出边界框、包含目标的置信度以及每个类别的预测条件概率i，其中，表示边界框的中心左边，和分别表示边界框的宽度和长度，i表示第i个目标；A6、分别合并YOLOv3网络、YOLOv3-tiny网络和YOLOv4网络提本文档来自技高网...

【技术保护点】
1.一种基于图像识别的口罩检测和部署系统，其特征在于，包括依次连接的数据处理模块、模型训练模块、模型推理模块以及模型部署模块；/n所述数据处理模块，用于分别收集人脸图像和口罩图像，并分别对所述人脸图像和口罩图像进行标注；/n所述模型训练模块，用于利用标注后的人脸图像和口罩图像训练人脸口罩检测模型；/n所述模型推理模块，用于根据所述人脸口罩检测模型，利用非极大值抑制算法对人脸和口罩的位置进行检测；/n所述模型部署模块，用于根据检测结果对人脸口罩检测模型进行部署，完成基于图像识别的口罩检测和部署。/n

【技术特征摘要】
1.一种基于图像识别的口罩检测和部署系统，其特征在于，包括依次连接的数据处理模块、模型训练模块、模型推理模块以及模型部署模块；
所述数据处理模块，用于分别收集人脸图像和口罩图像，并分别对所述人脸图像和口罩图像进行标注；
所述模型训练模块，用于利用标注后的人脸图像和口罩图像训练人脸口罩检测模型；
所述模型推理模块，用于根据所述人脸口罩检测模型，利用非极大值抑制算法对人脸和口罩的位置进行检测；
所述模型部署模块，用于根据检测结果对人脸口罩检测模型进行部署，完成基于图像识别的口罩检测和部署。


2.一种基于图像识别的口罩检测和部署方法，其特征在于，包括以下步骤：
S1、数据处理：分别收集人脸图像和口罩图像，并分别对所述人脸图像和口罩图像进行标注；
S2、模型训练：利用标注后的人脸图像和口罩图像训练人脸口罩检测模型；
S3、模型推理：根据所述人脸口罩检测模型，利用非极大值抑制算法对人脸和口罩的位置进行检测；
S4、模型部署：根据检测结果对人脸口罩检测模型进行部署，完成基于图像识别的口罩检测和部署。


3.根据权利要求2所述的基于图像识别的口罩检测和部署方法，其特征在于，所述步骤S1包括以下步骤：
S101、分别收集人脸图像和口罩图像；
S102、合并所述人脸图像和口罩图像，并将合并后的图像按同比例进行分割，得到人脸类别图像和人脸佩戴口罩类别图像；
S103、将同比例分割后的剩余人脸图像划分为两部分，其中一部分作为人脸数据合并至所述人脸类别图像中，另外一部分利用在人脸上覆盖口罩的图片处理方法生成人脸佩戴口罩图像，合并至人脸佩戴口罩类别图像中；
S104、根据人脸类别图像和人脸佩戴口罩类别图像，利用标注工具分别标注人脸和口罩，并导出PASCALVOC格式的XML标注文件，完成对人脸图像和口罩图像的标注。


4.根据权利要求3所述的基于图像识别的口罩检测和部署方法，其特征在于，所述步骤S101中人脸图像的收集途径包括开源数据集、网络收集和非公开的监控数据；
所述口罩图像的收集途径包括：以现有公开的口罩检测数据集为基础，合并若干个口罩检测数据集；利用网络爬虫从网络上下载口罩图片；通过在人脸图像上制作佩戴口罩的口罩图片。


5.根据权利要求4所述的基于图像识别的口罩检测和部署方法，其特征在于，所述步骤S2具体为：根据标注后的人脸图像和口罩图像，分别利用YOLOv3网络、YOLOv3-tiny网络和YOLOv4网络构建第一人脸口罩检测模型、第二人脸口罩检测模型以及第三人脸口罩检测模型；其中，
所述YOLOv3网络、YOLOv3-tiny网络和YOLOv4网络输入图片尺寸均设置为448´448，其输出类别均设置为2；
所述YOLOv3-tiny网络的训练达到的最大批次设置为6000，所述YOLOv3网络和YOLOv4网络的训练达到的最大批次均设置为12000。


6.根据权利要求5所述的基于图像识别的口罩检测和部署方法，其特征在于，所述根据标注后的人脸图像和口罩图像，分别利用YOLOv3网络、YOLOv3-tiny网络和YOLOv4网络训练第一人脸口罩检测模型、第二人脸口罩检测模型以及第三人脸口罩检测模型，其包括以下步骤：
A1、利用YOLO预训练权重分别初始化YOLOv3网络、YOLOv3-tiny网络和YOLOv4网络；
A2、将标注后的人脸图像和口罩图像的尺寸缩放为448´448像素；
A3、将缩放后的人脸图像和口罩图像分别分割成S´S个网格单元，其中，S表示整型常数；
A4、在每个网格单元中分别利用YOLOv3网络、YOLOv3-tiny网络和YOLOv4网络提取视觉特征，并分别设置YOLOv3网络、YOLOv3-tiny网络和YOLOv4网络的ReLU激活函数；
A5、根据每个网格单元，分别利用YOLOv3网络的全连接层、YOLOv3-tiny网络的全连接层和YOLOv4网络的全连接层输出边界框、包含目标的置信度以及每...

【专利技术属性】
技术研发人员：张朝龙，许源平，李婵玉，许志杰，黄健，卢军，谢攀，谭海龙，唐健峰，
申请(专利权)人：成都信息工程大学，
类型：发明
国别省市：四川;51