一种人脸口罩佩戴识别方法、系统及终端技术方案

本发明专利技术涉及安防监控领域，特别是一种人脸口罩佩戴识别方法、系统及终端。识别方法包括如下步骤：S1：从真实的历史监控视频获取包含人脸的图像；将图像人工分类得到原始数据集；S2：采用数据集增强方法对原始数据集进行预处理，获得扩增后的训练数据集；S3：构建改进后的SSD的神经网络模型：将主干网络替换为具有残差结构的DenseNet网络，并引入特征金字塔模块；S4：对神经网络模型进行迭代训练；S5：实时获取监控视频的图像，选择目标图像中质量最佳的图像，并对图像预处理；S6：利用训练后的神经网络模型对步骤S5的图像进行识别，得到识别结果。本发明专利技术提供的方法解决了传统识别方法误检率高和识别速率低，实时性差，易受到环境等因素影响的缺点。

【技术实现步骤摘要】
一种人脸口罩佩戴识别方法、系统及终端
本专利技术涉及安防监控领域，特别是一种人脸口罩佩戴识别方法、系统及终端。
技术介绍
传统的安防监控系统可以对监控视频中的人物进行身份识别，实现通行管理和安全监控的作用。在疫情防控时期，口罩的佩戴是疫情防控的最佳手段，同时也是人群出行基本要求。因此安防监控系统除了进行目标对象的身份识别，还需要增加对目标对象是否佩戴口罩的识别。目前很多安防监控系统中均希望通过系统升级实现口罩识别的功能，这些系统可采用的技术升级方案多样，大多认识采用神经网络进行识别。例如，某些方案中采用MTCNN(多任务级联卷积神经网络)作为口罩佩戴识别的网络模型，在光谱图像上标记ROI(感兴趣区域)的目标区域，获取坐标和类别信息，训练SVM(支持向量机)分类器，进而针对是否佩戴口罩进行分类判断。该方法的缺点在于光谱成像仪成本高，且识别流程冗余，速度慢。传统的SSD(单发多边框检测器)网络也可以作为口罩佩戴识别的网络模型，该方案采用监控视频的图像作为检测输入，降低了采样端设备安装和使用成本。但是采用SSD的方案依然存在模型的鲁棒性差，识别准确率低的缺点；同时，该方法对硬件处理性能的要求较高；而且网络模型的识别速率相对较慢，导致系统的实时性不足，这些都该方案在实际场景下的应用产生障碍。除此之外，还应考虑到很多非系统原因导致的识别准确率低的问题，例如，检测目标对象可能会使用衣物或收手捂住口鼻，对识别系统进行欺骗。同时，天气因素等环境因素也会对系统识别准确率产生影响，在光线较暗或恶劣天线状况下，监控图像的质量可能会显著下降，这均会造成基于图像的识别系统的识别准确率降低。
技术实现思路
为克服现有技术中的问题，本专利技术提供了一种人脸口罩佩戴识别方法、系统及终端，该方法基于改进后的SSD网络模型设计，解决了传统识别方法误检率高和识别速率低，实时性差，易受到环境等因素影响的缺点。本专利技术的提供的技术方案如下：一种人脸口罩佩戴识别方法，该识别方法包括如下步骤：S1：对真实的历史监控视频数据进行分帧处理，选择其中包含人脸的图像；将包含人脸的图像人工分类标记成佩戴口罩和未带口罩的两类图像；获得包含两类图像的原始数据集；S2：采用数据集增强方法对原始数据集进行预处理，将处理后的图像增加到原始数据集中，获得扩增后的训练数据集；S3：构建改进后的基于单发多边框检测器的神经网络模型：将单发多边框检测器基础网络模型中的主干网络替换为具有残差结构的DenseNet网络，并在神经网络模型中引入具有特征融合的特征金字塔模块；S4：设定训练阶段的相关参数，包括学习率、迭代次数和衰减策略；利用训练数据集对基于单发多边框检测器的神经网络模型进行迭代训练；训练完成后，保存经训练的具有最优识别效率的神经网络模型；S5：通过分帧方法将实时获取的监控视频转化为逐帧的图像，并识别出其中含有人脸的目标图像，选择目标图像中质量最佳的图像，然后通过对目标图像进行亮度调整和清晰度提升的方式完成对图像的预处理，再将预处理后的图像作为目标检测图像；S6：将步骤S5的目标检测图像作为输入，利用步骤S4中的训练完成后的神经网络模型对其进行识别和检测，获取检测的目标对象是否佩戴口罩的识别结果。进一步地，步骤S1中，原始数据集中佩戴口罩和未戴口罩的人脸图像的数量比为3:1。进一步地，步骤S2中，采用的数据集增强的方式包括：角度旋转、随机裁剪、亮度调整、对比度调整、去噪和翻装变换。进一步地，步骤S3中，改进后的神经网络模型对输入的数据集的识别处理过程包括如下步骤：S31：对输入的图片进行预处理，将图片的尺寸统一调整为300×300，所述图片作为网络模型的输入神经元；S32：所述输入的图片经过网络模型中的多个卷积层后，进入到DenseNet网络；DenseNet网络在前面层和后面层之间建立短路连接，增强训练过程中梯度的反向传播，获取准确的参数，得到第一个特征图；S33：图片继续在卷积层中进行前向传播和后向参数调整传播，并在经过若干卷积层后依次获得第二、三、四、五、六个特征图；S34：利用神经网络模型产生的第一特征图、第二特征图和第三特征图搭建特征金字塔结构，通过神经网络模型中的特征金字塔模块对特征图进行特征信息融合；S35：设置神经网络模型的损失函数，然后对六个特征图进行目标分类和位置定位，获得特征图的目标检测框；S36：通过非极大值抑制方法找到最佳的目标检测框，消除冗余的目标检测框，进而针对获取的最佳的目标检测框，得到检测目标是否佩戴口罩的识别结果。进一步地，步骤S34中，特征金字塔模型中特征信息的融合过程如下：原始的输入特征图沿特征金字塔模型的左侧最低层输入，并自底向上获得尺寸依次减小的第一特征图、第二特征图和第三特征图；特征金字塔模型右侧进行自顶向下特征融合，其中最上方的第四特征图的输入是由左侧第三特征图进行卷积得到的；下一层级的第五特征图的输入是由左侧第二特征图进行卷积得到的；最后一个层级的第六特征图的输入是由左侧第一特征图进行卷积得到的；特征金字塔模型中，同一层级的左右特征图进行信息叠加从而实现特征图的特征信息融合。进一步地，步骤S35中，损失函数包括用于分类的log损失函数和用于回归的smoothL1损失函数；损失函数由置信度误差Lconf(x,c)和位置误差Lloc(x,l,g)组成，其表达式为：上式中，x为当前预测框的类别匹配信息；c为类别置信度预测值；l表示预测框坐标；g表示真实框坐标；N表示与该类别的校准框匹配成功的默认框数量；α为拉格朗日乘子，拉格朗日乘子用来平衡置信度误差和位置误差；其中，位置误差是预测框l和真实标签框g参数之间的smoothL1损失，其表达式为：上式中，x为当前预测框的类别匹配信息；l表示预测框坐标；g表示真实框坐标；Pos表示正样本预测框的个数；表示第i个预测框与第j个真实框关于类别k是否匹配；表示预测框；表示真实框；其中，置信误差函数的表达式如下：上式中，x为当前预测框的类别匹配信息；c为类别置信度预测值；Pos表示正样本预测框的个数；Neg表示负样本预测框；表示第i个预测框与第j个真实框关于类别k是否匹配；表示该值通过激活函数Softmax产生。进一步地，步骤S36中，采用非极大值抑制方法的对目标检测框的处理过程如下：S361：依靠神经网络模型中的分类器获取多个候选框，以及关于候选框中属于类别的概率值；S362：对分类器得到的所有候选框进行得分排序，选中最高分及其对应的候选框；S363：遍历其余的候选框，比较当前最高分的候选框的重叠面积IOU与设定的阈值的关系，并作出如下判断：(1)当最高分的候选框的重叠面积小于阈值时，则保留当前候选框；(2)当最高分的候选框的重叠面积大于等于阈值时，则将当前候选框删除；S364：重复步骤S363，依次处理所有的候选框，完成对候选框的非极本文档来自技高网...

【技术保护点】
1.一种人脸口罩佩戴识别方法，其特征在于，所述识别方法包括如下步骤：/nS1：对真实的历史监控视频数据进行分帧处理，选择其中包含人脸的图像；将包含人脸的图像人工分类标记成佩戴口罩和未带口罩的两类图像；获得包含两类图像的原始数据集；/nS2：采用数据集增强方法对原始数据集进行预处理，将处理后的图像增加到原始数据集中，获得扩增后的训练数据集；/nS3：构建改进后的基于单发多边框检测器的神经网络模型：将单发多边框检测器基础网络模型中的主干网络替换为具有残差结构的DenseNet网络，并在神经网络模型中引入具有特征融合的特征金字塔模块；/nS4：设定训练阶段的相关参数，包括学习率、迭代次数和衰减策略；利用所述训练数据集对基于单发多边框检测器的神经网络模型进行迭代训练；训练完成后，保存经训练的具有最优识别效率的神经网络模型；/nS5：通过分帧方法将实时获取的监控视频转化为逐帧的图像，并识别出其中含有人脸的目标图像，选择目标图像中质量最佳的图像，然后通过对目标图像采用亮度调整和清晰度提升的方式完成对图像的预处理，再将预处理后的图像作为目标检测图像；/nS6：以步骤S5的目标检测图像作为输入，利用步骤S4中的训练完成后的神经网络模型对其进行识别和检测，获取检测的目标对象是否佩戴口罩的识别结果。/n...

【技术特征摘要】
1.一种人脸口罩佩戴识别方法，其特征在于，所述识别方法包括如下步骤：
S1：对真实的历史监控视频数据进行分帧处理，选择其中包含人脸的图像；将包含人脸的图像人工分类标记成佩戴口罩和未带口罩的两类图像；获得包含两类图像的原始数据集；
S2：采用数据集增强方法对原始数据集进行预处理，将处理后的图像增加到原始数据集中，获得扩增后的训练数据集；
S3：构建改进后的基于单发多边框检测器的神经网络模型：将单发多边框检测器基础网络模型中的主干网络替换为具有残差结构的DenseNet网络，并在神经网络模型中引入具有特征融合的特征金字塔模块；
S4：设定训练阶段的相关参数，包括学习率、迭代次数和衰减策略；利用所述训练数据集对基于单发多边框检测器的神经网络模型进行迭代训练；训练完成后，保存经训练的具有最优识别效率的神经网络模型；
S5：通过分帧方法将实时获取的监控视频转化为逐帧的图像，并识别出其中含有人脸的目标图像，选择目标图像中质量最佳的图像，然后通过对目标图像采用亮度调整和清晰度提升的方式完成对图像的预处理，再将预处理后的图像作为目标检测图像；
S6：以步骤S5的目标检测图像作为输入，利用步骤S4中的训练完成后的神经网络模型对其进行识别和检测，获取检测的目标对象是否佩戴口罩的识别结果。


2.如权利要求1所述的人脸口罩佩戴识别方法，其特征在于：所述步骤S1中，原始数据集中佩戴口罩和未戴口罩的人脸图像的数量比为3:1。


3.如权利要求2所述的人脸口罩佩戴识别方法，其特征在于：所述步骤S2中，采用的数据集增强的方式包括：角度旋转、随机裁剪、亮度调整、对比度调整、去噪和翻转变换。


4.如权利要求3所述的人脸口罩佩戴识别方法，其特征在于：所述步骤S3中，改进后的神经网络模型对输入的数据集的识别处理过程包括如下步骤：
S31：对输入的图片进行预处理，将图片的尺寸统一调整为300×300，所述图片作为网络模型的输入神经元；
S32：所述输入的图片经过网络模型中的多个卷积层后，进入到DenseNet网络；DenseNet网络在前面层和后面层之间建立短路连接，增强训练过程中梯度的反向传播，获取准确的参数，得到第一个特征图；
S33：图片继续在卷积层中进行前向传播和后向参数调整传播，并在经过若干卷积层后依次获得第二、三、四、五、六个特征图；
S34：利用神经网络模型产生的第一特征图、第二特征图和第三特征图搭建特征金字塔结构，通过神经网络模型中的特征金字塔模块对特征图进行特征信息融合；
S35：设置神经网络模型的损失函数，然后对六个特征图进行目标分类和位置定位，获得特征图的目标检测框；
S36：通过非极大值抑制方法找到最佳的目标检测框，消除冗余的目标检测框，进而针对获取的最佳的目标检测框，得到检测目标是否佩戴口罩的识别结果。


5.如权利要求4所述的人脸口罩佩戴识别方法，其特征在于：所述步骤S34中，特征金字塔模型中特征信息的融合过程如下：
原始的输入特征图沿特征金字塔模型的左侧最低层输入，并自底向上获得尺寸依次减小的第一特征图、第二特征图和第三特征图；特征金字塔模型右侧进行自顶向下特征融合，其中最上方的第四特征图的输入是由左侧第三特征图进行卷积得到的；下一层级的第五特征图的输入是由左侧第二特征图进行卷积得到的；最后一个层级的第六特征图的输入是由左侧第一特征图进行卷积得到的；特征金字塔模型中，同一层级的左右特征图进行信息叠加从而实现特征图的特征信息融合。


6.如权利要求4所述的人脸口罩佩戴识别方法，其特征在于：所述步骤S35中，损失函数包括用于分类的log损失函数和用于回归的smoothL1损失函数；损失函数由置信度误差Lconf(x,c)和位置误差Lloc(x,l,g)组成，其表达式为：



上式中，x为当前预测框的类别匹配信...

【专利技术属性】
技术研发人员：刘子龙，万森，程腾，郭竹青，
申请(专利权)人：安徽科大擎天科技有限公司，
类型：发明
国别省市：安徽;34