【技术实现步骤摘要】
基于边缘计算的电梯场景下口罩检测系统和方法
[0001]本专利技术属于基于深度学习的目标检测领域，特别指一种基于边缘计算的电梯场景下口罩检测系统和方法。
技术介绍
[0002]近年来，随着深度学习的快速发展，深度学习在目标检测领域取得了令人满意的效果。在安防、自动驾驶、无人机等领域中，各种基于深度学习的目标检测与识别应用也越来越多。
[0003]在机场、车站等人员密集场所或公交车、电梯等封闭型场所佩戴口罩可以有效降低病毒传播的概率。在这些场景下若使用人工监督的方式效率低下且浪费公共资源。而使用摄像头配合深度学习的方式便可以高效地实现人们口罩佩戴情况的检测与记录。
[0004]但深度学习需要大量的计算力支撑，因此对处理算法的设备性能有较高的要求。以经典的目标检测模型VGG16为例，在处理224
×
224大小的图像时，需要138.36百万个参数，多达15.5
×
109次浮点运算。
[0005]庞大的计算资源需求在一定程度上限制了这些算法在嵌入式设备上的应用，因此目前大多数深度学习在嵌入式设备上的应用采用的是云计算方式，将摄像头采集的画面通过网络传输到云端服务器，在云端服务器使用深度模型进行识别后再将结果返回给嵌入式设备。但是这种基于云计算的客户端
‑
服务器模型需要将大量数据传输到云端进行计算，需要较高的网络开销，会出现高延迟问题。除此之外，实现处理海量数据并实时识别的高性能的云端服务器成本较高，这对一些需要低成本的实时监测场景并不友好。如针对电...
【技术保护点】
【技术特征摘要】
1.一种基于边缘计算的电梯场景下口罩检测方法，其特征在于包括如下步骤：步骤100、构建改进的Yolov5网络传统Yolov5网络，主要由特征提取的主干网络、特征融合的颈部网络和检测的头部网络共三部分构成；采用的是FPN+PANeT结构，其中特征金字塔网络FPN将高层的语义信息传到底层，而PANeT结构将底层的定位信息传到高层，从而将语义信息和定位信息进行融合；所述改进的Yolov5网络，包括特征提取的主干网络、特征融合的颈部网络和特征检测的头部网络，是对采用FPN+PANeT结构的传统Yolov5网络的改进，将原先特征提取的主干网络中的3
×
3的卷积模块修改为具有不同的卷积核的多分支结构的可重复卷积神经网络，该可重复卷积神经网络的多分支结构采用不同的卷积核以获得不同的感受野，将不同感受野获取到的信息进行相加，同时使用Sigmoid加权线性组合代替原先的激活函数；将原先特征融合的颈部网络中的PANet模块替换为加权双向特征金字塔网络，该加权双向特征金字塔网络经由自下向上的通道传递高层的语义信息和底层的特征位置信息，用以增强目标分类能力和目标定位能力；该自下向上的通道连接同一层主干网络的输入节点与输出节点，通过加权双向特征金字塔网络实现双向跨层级且带权重特征图的融合；在特征融合的颈部网络和特征检测的头部网络的每个3*卷积层中设有卷积注意力模块，该用于前馈卷积神经网的卷积注意力模块，使得中间特征图沿着通道和空间这两个独立的维度依次推断注意力图，然后将注意力图与输入特征图相乘以进行自适应特征优化，以获取更多的特征，使特征提取的主干网络快速学习到通道特征以及空间特征；特征检测的头部网络输出20
×
20、40
×
40和80
×
80共三个不同尺寸的特征图，在不同尺寸的特征图上分别预测目标的类别和边框的位置，其中80
×
80特征图负责检测图片中的小目标，40
×
40特征图负责检测图片中的中等目标，20
×
20特征图负责检测图片中的大目标；每一层特征图上，预设3个不同长宽比的预测框，每一个预测框上包含目标的位置信息和置信度，最后经过非极大值抑制算法将交并比超过设定阈值的重叠预测框丢弃；步骤200、通过改进的YOLOv5网络对口罩佩戴检测数据集中训练集的数据进行训练得到教师网络，经过知识蒸馏后得到轻量化的学生网络，将轻量化的学生网络部署在低成本边缘设备得到口罩佩戴检测模块，口罩佩戴检测模块根据改进的YOLOv5网络进行图像预测，输出预测出的行为和相关目标的标签、置信度和位置信息；步骤300、通过改进的YOLOv5网络对先验知识数据集中训练集的数据进行训练得到教师网络，经过知识蒸馏后得到轻量化的学生网络，将轻量化的学生网络部署在低成本边缘设备得到摘口罩行为检测模块，摘口罩行为检测模块根据改进的YOLOv5网络进行图像预测，输出预测出的行为和相关目标的标签、置信度和位置信息；步骤400、电梯开始运行触发启动控制模块控制其他模块工作，摄像头开始获取图像；当电梯门开启时，移动边缘计算设备上搭载的口罩佩戴检测模块获取摄像头传来的电梯内人员进出的图像并对人员的口罩佩戴情况进行检测；当电梯门关闭时，移动边缘计算设备上搭载的摘口罩行为检测模块获取摄像头传来的电梯内人员的图像并识别是否发生摘口罩行为，若有未佩戴口罩、佩戴口罩不规范或摘口罩行为发生的情况，对电梯内人员进行告警提醒。2.根据权利要求1所述的一种基于边缘计算的电梯场景下口罩检测方法，其特征在于：在教师网络和学生网络之间使用基于激活函数值的注意力迁移方式，通过计算输出函
数的绝对值统计量来衡量神经元对输入的关注程度；设计一种多尺度注意力模块，分别插入教师网络和学生网络的YOLOv5网络中5组CSP模块结束的位置，使学生网络不同层级的卷积网络都能学习到与教师网络相似的特征提取能力。该多尺度注意力模块用1
×
1、3
×
3和5
×
5三种不同尺度的池化层分别提取特征图向量R
W
×
H
×
C
对应尺度下的特征，分别计算3个特征图向量在维度C上的绝对值的P次方最大值，得到输入特征图向量R
W
×
H
×
C
不同尺度的注意力特征图；最后将3个特征注意力图对应位置的像素相加，得到一个单通道的多尺度注意力特征图R
W
×
H
；在获取教师网络和学生网络多尺度注意力特征图之后，采用最小均方误差损失函数来计算两者的L2距离，其公式如下：3.根据权利要求1或2所述的任意一种基于边缘计算的电梯场景下口罩检测方法，其特征在于所述步骤200具体为：(201)制作口罩佩戴检测数据集：采集不同时间段内电梯门开启时进出电梯的人员图像和电梯运行时电梯内的图像；筛选和清理所采集的图像，获得由彩色图像与深度图像构成的数据集；对采集到的数据集进行数据增强预处理；针对进入电梯的人员图像，使用标注工具对彩色图像中人物面部进行标注作为口罩佩戴检测数据集，分为没有佩戴口罩、佩戴口罩和佩戴口罩不规范三个类别，将标注好的口罩佩戴检测数据集按照比例划分为训练集与验证集；(202)通过改进的YOLOv5网络对口罩佩戴检测数据集中训练集的数据进行训练得到教师网络，经过知识蒸馏后得到轻量化的学生网络，将轻量化的学生网络部署在低成本边缘设备得到口罩佩戴检测模块；(203)口罩佩戴检测模块根据改进的YOLOv5网络进行图像预测，输出预测出的行为和相关目标的标签、置信度和位置信息：将预处理后的图像输入到特征提取的主干网络，通过多分支结构的可重复卷积神经网络中不同的卷积核获得不同的感受野，将不同感受野获取到的信息进行相加；该特征提取的主干网络输出不同尺寸的初级特征图到特征融合的颈部网络中，通过加强特征提取的加权双向特征金字塔网络，经由自下向上的通道传递高层的语义信息和底层的特征位置信息，从而增强目标分类能力和目标定位能力；该自下向上的通道连接同一层主干网络的输入节点与输出节点，通过该加权双向特征金字塔网络实现双向跨层级且带权重的特征图融合，该特征融合的颈部网络将经过FPN模块与加权双向特征金字塔网络得到的特征图与主干网络得到的特征图进行融合，实现对主干网络所提取特征的充分利用；将特征融合的颈部网络得到的融合特征图输入到特征检测的头部网络中，该特征检测的头部网络输出20
×
20、40
×
40和80
×
80共三个不同尺寸的特征图，对不同尺寸的特征图分别预测目标的类别和边框的位置，其中80
×
80特征图负责检测图片中的小目标，40
×
40特征图负责检测图片中的中等目标，20
×
20特征图负责检测图片中的大目标，每一层特征图上，预设3个不同长宽比的预测框，每一个预测框上包含目标的位置信息和置信度，最后经过非极大值抑制算法将交并比超过设定阈值的重叠预测框丢弃。4.根据权利要求1或2所述的任意一种基于边缘计算的电梯场景下口罩检测方法，其特
征在于所述步骤300具体为：(301)制作先验知识数据集针对数据增强后的数据集中进入电梯的人员图像和电梯运行时电梯内的图像，使用标注工具对彩色图像中人物的手部、头部以及佩戴的口罩进行标注作为先验知识数据集，分为头部head、手部hand与口罩mask三个类别，将标注好的先验知识数据集按照比例划分为训练集与验证集；(302)通过改进的YOLOv5网络对先验知识数据集中训练集的数据进行训练得到教师网络，经过知识蒸馏后得到轻量化的学生网络，将轻量化的学生网络部署在低成本边缘设备得到摘口罩行为检测模块；(303)摘口罩行为检测模块根据改进的YOLOv5网络进行图像预测，输出预测出的行为和相关目标的标签、置信度和位置信息，用标签L表示摘口罩行为，用T表示摘口罩行为发生的置信度阈值，具体过程如下：步骤1.当检测结果预测出标签L且置信度p0>T时，直接判定摘口罩行为发生；步骤2.当检测结果预测出标签L且置信度p0≤T时，则需要通过与摘口罩行为相关的目标之间的距离关系对摘口罩行为是否发生进行再次判定，确定摘口罩行为发生的置信度实际增量，进而对改进的YOLOv5网络得到的置信度进行修正，得到摘口罩行为发生的最终置信度，包括如下步骤：通过计算各预测框中心点之间的距离得到头部与口罩的距离值Dist(head，mask)、手部与口罩的距离值Dist(hand，mask)和手部与头部的距离值Dist(head，hand)；将图像中发生摘口罩行为的可能性与这些距离值相关联，使用检测到的头部预测框的短轴距离Len(face)作为参考距离，建立距离条件判定规则，从而确定摘口罩行为发生的置信度实际增量：规则1：当满足距离条件1：Dist(hand，mask)≤a
×
Len(face)时，则摘口罩行为发生的置信度实际增量为p1；规则2、当满足距离条件2：Dist(head，mask)≥b
×
Len(face)时，则摘口罩行为发生的置信度实际增量为p2；规则3、当满足距离条件3：Dist(head，hand)≤c
×
Len(face)时，则摘口罩行为发生的置信度实际增量为p3；其中行为权重a，b、c通过先验知识数据集中训练样本标注的信息进行统计分析得到，而参数p1、p2、p3先根据先验知识对摘口罩行为发生的贡献程度人为指定，然后对p1、p2、p3进行归一化，即当上述规则同时满足时，p1+p2+p3＝1，在得到归一化后的参数p1、p2、p3后，在先验知识数据集的验证集中进行验证并调整参数p1、p2、p3，使得参数p1、p2、p3对摘口罩行为检测符合预期；通过判定上述3个距离条件是否成立，确定摘口罩行为发生的置信度实际增量，进而对改进的YOLOv5网络得到的置信度进行修正，得到摘口罩行为发生的最终置信度：若摘口罩行为发生的最终置信度p高于阈值T，则判定摘口罩行为发生，否则判定未发生摘口罩行为；步骤3.当检测结果没有标签L且p0＝0，则需要通过与摘口罩行为相关的目标之间的距离关系对摘口罩行为是否发生进行再次判定，确定摘口罩行为发生的置信度实际增量，进
而对改进的YOLOv5网络得到的置信度进行修正，得到摘口罩行为发生的最终置信度p；若该摘口罩行为发生的最终置信度p高于阈值T，则判定摘口罩行为发生，否则判定摘口罩行为未发生。5.根据权利要求...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。