口罩佩戴识别方法技术

本发明专利技术公开了一种口罩佩戴识别方法，其内容包括：进行人脸检测模型训练和进行口罩佩戴识别模型训练，人脸检测模型训练过程包括：搭建基于MTCNN的人脸检测网络，训练得到鲁棒性较高的人脸检测模型，实现光谱图像中人脸区域和面部关键点位置的预测，缩小口罩佩戴模型检测范围。口罩识别模型训练过程包括：在人脸光谱图像上标记样本ROI，通过样本ROI文件获取样本坐标信息和类别信息，构建数据集；通过训练SVM分类器，得到模型参数，用于人脸图像中口罩的识别。该方法能够实现自动无接触口罩佩戴检测，对人脸定位速度快，检测速度快，能够准确辨别用衣物遮挡口鼻与正确佩戴口罩两种情况，大大减少因衣物遮挡而造成的误检，准确率高。

【技术实现步骤摘要】
口罩佩戴识别方法
本专利技术涉及一种口罩佩戴识别方法，属于目标检测领域。
技术介绍
在医院、公共交通等人流密集的场所，工作人员需要对行人是否佩戴口罩进行一个个排查，工作量相当大。现有的口罩检测方法一般无法辨别是正确佩戴口罩还是手部或者衣物遮挡，因此需要一种新方法来准确辨别正确佩戴口罩与存在遮挡两种情况。
技术实现思路
本专利技术的目的是提供一种口罩佩戴识别方法，提高生产线上形态各异的、不规则的复杂零件的分拣速度和分拣准确率，提高分拣效率，从而提高生产力。一种口罩佩戴识别方法，该方法包括以下步骤：S1、进行人脸检测模型训练，包括如下步骤：S11、使用成像光谱仪采集1000张样本人脸图片，对样本数据进行采集和扩充，得到5000张样本人脸图片，使训练出的人脸检测模型具有高的鲁棒性；S12、使用图像标注软件对样本图片中的人脸进行标注，框选出图中的人脸并标记出人脸中的关键点，标记的5个人脸关键点分别为左右眼、鼻子和左右嘴角；S13、搭建基于多任务卷积神经网络MTCNN的人脸检测模型，进行人脸检测模型的训练，通过训练网络输出网络模型，用训练好的模型预测图像中是否存在人脸以及人脸、关键点的坐标位置；多任务卷积神经网络损失函数包括人脸分类边界框回归和关键点定位三部分，具体包括：其中，xi为输入样本，pi为样本是人脸的概率，表示真实边界框标签；其中，表示网络预测的回归目标，表示真实框坐标；其中，表示网络预测的第i个面部关键点的坐标，表示第i个面部关键点的真实坐标；整体损失函数如下：其中，N为训练样本的数量，αj表示任务的重要性，在建议网络P-Net和精修网络R-Net中，αdet＝1、αbox＝0.5、αlandmark＝0.5；在输出网络O-Net中，αdet＝1、αbox＝0.5、αlandmark＝1，βij为样本标签，Lij表示上面的分类、回归或者定位的损失函数；S2、进行口罩佩戴识别模型训练，包括如下步骤：针对口罩佩戴识别问题，训练支持向量机分类器，用以对人脸检测模型得出的人脸图像进行光谱分类，以实现口罩识别；S21、训练集、测试集的构建：首先通过图像软件在人脸光谱图像上进行样本感兴趣区域的标记，感兴趣区域的类型选择为点，分别用不同颜色标定各样本，每类样本选择1000个点，标记完所有样本后计算标记样本的可分离度，符合条件后保存样本感兴趣区域文件，通过其获取样本感兴趣区域的坐标信息和标签信息，将感兴趣区域的坐标信息转化为对应位置点的波段信息，构建训练集和测试集；S22、确定初始化参数，完成训练：支持向量机核函数选择多项式核函数，其定义如下：K(x,y)＝(gamma*x*y+coef0)degree(5)其中，x，y表示原始样本，多项式核函数中的gamma初始化为0.33，多项式核函数中的coef0初始化为1，多项式核函数的次数degree初始化为6，通过训练得到模型参数；S23、通过支持向量机分类器实现口罩佩戴识别：通过训练好的支持向量机分类器对待分类图像进行分类时先将单个波段的图像拉伸为一个列向量，将预测图像转化为2维矩阵进行预测，再将得到的预测结果对应到相应位置，进行可视化显示。优选地，所述S13中，人脸检测模型的训练过程为：S131、将图像进行不同尺度的变换，构建图像金字塔，以适应不同大小人脸的检测；S132、使用建议网络P-Net网络对图像金字塔进行特征提取和边框标定，使用较浅层简单的卷积神经网络快速生成人脸候选窗口，供精修网络R-Net进一步处理；S133、精修网络R-Net对生成的候选框进行细化选择，过滤掉大部分错误输入并再次进行边界框回归和关键点定位，进一步优化过滤候选区域；S134、输出网络O-Net通过较精修网络R-Net多出的一层卷积结构识别面部区域并回归面部的5个特征点。优选地，所述S12中，标注完所有图片后，输出xml文件，保存标注信息，并将xml文件转换成txt文件，其中负样本、正样本、部分样本和关键点样本的比例为3:1:1:2，标签分别为0、1、2、3。优选地，MTCNN将人脸区域检测与人脸关键点检测放在一起，通过建议网络P-Net、精修网络R-Net和输出网络O-Net三个网络级联，分步精调，实现人脸区域及人脸关键点坐标位置的预测，缩小基于光谱图像的口罩识别范围。优选地，所用光谱仪采集的光谱图像光谱通道不少于9个，通过面部关键点定位结合人脸区域光谱图像分类辨别正确佩戴口罩与衣物遮挡情况。与现有技术相比，本专利技术具有以下有益效果：(1)人脸定位速度快，能在定位人脸的同时进行面部关键点的定位；(2)通过高光谱图像分类技术实现口罩佩戴的识别，能够准确辨别用衣物遮挡口鼻与正确佩戴口罩两种情况，大大减少因衣物遮挡而造成的误检。(3)能够实现自动无接触口罩佩戴检测，检测速度快，准确率高。附图说明图1是本专利技术的口罩佩戴识别整体流程图；图2是人脸检测模型训练过程的流程图；图3是口罩佩戴识别模型训练过程的流程图；以及图4是口罩佩戴识别结果的示意图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。需要注意的为，除非另有说明，本申请使用的技术术语或者科学术语应当为本专利技术所属领域技术人员所理解的通常意义。下面结合附图与具体实施方式对本专利技术提出的口罩佩戴识别方法及检测装置作进一步详细说明。图1为本专利技术口罩佩戴识别整体流程，主要包括人脸区域检测和口罩佩戴识别两部分。人脸检测基于多任务卷积神经网络MTCNN对采集的光谱图像进行人脸及面部关键点的检测，得到人脸区域图像，缩小口罩识别范围；口罩佩戴识别基于训练好的SVM分类模型对人脸区域图像进行分类，根据口鼻处的分类结果实现口罩佩戴的识别，减少面部遮挡情况下的误检误判。一种口罩佩戴识别方法，其基于多任务卷积神经网络MTCNN的人脸检测模型训练过程如图2所示，主要包括如下步骤：MTCNN将人脸区域检测与人脸关键点检测放在一起，通过建议网络P-Net、精修网络R-Net和输出网络O-Net三个网络级联，分步精调，实现人脸的准确检测。本专利技术针对人脸检测问题，搭建基于MTCNN的人脸检测网络，通过训练好的模型预测光谱图像中的人脸区域及人脸关键点的坐标位置。第一步样本数据的采集和扩充：使用成像光谱仪采集1000张样本人脸图片。之后对数据进行扩充，增加输入图像的可变性，使训练出的人脸检测模型具有更高的鲁棒性。一方面调整图像的亮度、对比度、色度、饱和度，并随机加入噪声，另一方面对采集的图像进行随机缩放、裁剪和旋转。最终共得到5000张样本人脸图片。第二步样本图片的标注：使用labelimg图像标注软本文档来自技高网...

【技术保护点】
1.一种口罩佩戴识别方法，其特征在于，该方法包括以下步骤：/nS1、进行人脸检测模型训练，包括如下步骤：/nS11、使用成像光谱仪采集1000张样本人脸图片，对样本数据进行采集和扩充，得到5000张样本人脸图片，使训练出的人脸检测模型具有高的鲁棒性；/nS12、使用图像标注软件对样本图片中的人脸进行标注，框选出图中的人脸并标记出人脸中的关键点，标记的5个人脸关键点分别为左右眼、鼻子和左右嘴角；/nS13、搭建基于多任务卷积神经网络MTCNN的人脸检测模型，进行人脸检测模型的训练，通过训练网络输出网络模型，用训练好的模型预测图像中是否存在人脸以及人脸、关键点的坐标位置；/n多任务卷积神经网络损失函数包括人脸分类

【技术特征摘要】
1.一种口罩佩戴识别方法，其特征在于，该方法包括以下步骤：
S1、进行人脸检测模型训练，包括如下步骤：
S11、使用成像光谱仪采集1000张样本人脸图片，对样本数据进行采集和扩充，得到5000张样本人脸图片，使训练出的人脸检测模型具有高的鲁棒性；
S12、使用图像标注软件对样本图片中的人脸进行标注，框选出图中的人脸并标记出人脸中的关键点，标记的5个人脸关键点分别为左右眼、鼻子和左右嘴角；
S13、搭建基于多任务卷积神经网络MTCNN的人脸检测模型，进行人脸检测模型的训练，通过训练网络输出网络模型，用训练好的模型预测图像中是否存在人脸以及人脸、关键点的坐标位置；
多任务卷积神经网络损失函数包括人脸分类边界框回归和关键点定位三部分，具体包括：



其中，xi为输入样本，pi为样本是人脸的概率，表示真实边界框标签；



其中，表示网络预测的回归目标，表示真实框坐标；



其中，表示网络预测的第i个面部关键点的坐标，表示第i个面部关键点的真实坐标；
整体损失函数如下：



其中，N为训练样本的数量，αj表示任务的重要性，在建议网络P-Net和精修网络R-Net中，αdet＝1、αbox＝0.5、αlandmark＝0.5；在输出网络O-Net中，αdet＝1、αbox＝0.5、αlandmark＝1，βij为样本标签，Lij表示上面的分类、回归或者定位的损失函数；
S2、进行口罩佩戴识别模型训练，包括如下步骤：
针对口罩佩戴识别问题，训练支持向量机分类器，用以对人脸检测模型得出的人脸图像进行光谱分类，以实现口罩识别；
S21、训练集、测试集的构建：首先通过图像软件在人脸光谱图像上进行样本感兴趣区域的标记，感兴趣区域的类型选择为点，分别用不同颜色标定各样本，每类样本选择1000个点，标记完所有样本后计算标记样本的可分离度，符合条件后保存样本感兴趣区域文件，通过其获取样本感兴趣区域的坐标信息和标签信息，将感兴趣区域的坐标信息转化为对应位置点的波段信息，构建训练集和测试集；
S22、确定初始化参数，完成训练：支持向量机...

【专利技术属性】
技术研发人员：张立国，孙胜春，金梅，张少阔，张子豪，张勇，刘博，郎梦园，
申请(专利权)人：燕山大学，
类型：发明
国别省市：河北;13