一种改进的轻量化YOLOv4人脸口罩检测方法技术

本发明专利技术公开了一种改进的轻量化YOLOv4人脸口罩检测方法，针对实际有效感受野远小于理论感受野，当目标占据整张图片一半以上大小时，由于实际有效感受野的限制，网络的检测效果不好；新设计的SPP模块由四个池化层组成，将输入特征图分别经过四层池化，每一层池化后的输出特征图的感受野进一步扩大，同时也将池化后的多张不同感受野的特征图进行特征融合操作，实现了局部高级语义特征的多尺度利用；将新设计的SPP模块嵌入至YOLOv4

【技术实现步骤摘要】
一种改进的轻量化YOLOv4人脸口罩检测方法


[0001]该专利技术属于图像识别领域，一种改进的轻量化YOLOv4人脸口罩检测方法，该算法在通用标准数据集上表现出很好的检测性能。

技术介绍

[0002]人脸口罩检测大多都部署在车站、地铁站、医院、小区入口等人员密集场所，这类场所人员流动性大，且人流量多，所以对人脸口罩检测的检测速度和实时性有很高的要求，设计出一种检测速度快、且检测精度满足要求的检测算法至关重要。近年来，深度学习模型逐渐成为目标检测领域的主要算法，其中卷积神经网络在目标检测领域取得了显着的成果。基于深度学习的目标检测模型可以分为两种：一种基于Region Proposal的双阶段检测算法，如R
‑
CNN，Fast R
‑
CNN,Faster R
‑
CNN等，该算法需要先产生候选区，然后再对目标候选区做分类与回归。另一种是YOLO系列这类单阶段检测算法，YOLO系列算法与双阶段目标检测算法相比，抛弃了生成候选区这一阶段，而是采用锚框(Anchor box)来代替候选区域进行最终的回归。感受野是卷积神经网络每一层输出的特征图上的像素点在原始图像上映射的空间区域大小。卷积层数与卷积核大小共同决定感受野的大小，当卷积层数相同时，卷积核的尺寸越大，感受野就越大，同理当卷积核尺寸相同时，卷积层数越多，感受野越大。卷积的实际有效感受野远小于理论感受野，因为特征图的边缘区域的像素点参与计算的次数会远小于中心区域的像素点。因此，随着网络一层一层做卷积运算，会导致图像边缘特征层层被弱化，而中心区域的特征会层层被强化，会导致有效感受野层层减少，因此有效感受野会远小于理论感受野。当目标占据整张图片一半以上大小时，由于实际有效感受野的限制，YOLOv4
‑
tiny网络的检测效果并不佳；因而本专利技术针对实际有效感受野不足这一特点，采用新设计的SPP模块来增强网络深层的语义信息和增大实际有效感受野，弥补感受野的不足。新设计的SPP模块由四个池化层组成，将输入特征图分别经过四层池化，每一层池化后的输出特征图的感受野进一步扩大，同时也将池化后的多张不同感受野的特征图进行特征融合操作，实现了局部高级语义特征的多尺度利用，从而提高了人脸口罩的检测精度。

技术实现思路

[0003]针对以上问题，本专利技术的目的是提供一种针对YOLOv4
‑
Tiny网络结构的基于SPP模块改进的轻量化SPP
‑
YOLOv4
‑
light人脸口罩检测方法。
[0004]为了实现上述目的，本专利技术采取如下的技术解决方案：
[0005]一种改进的轻量化YOLOv4人脸口罩检测方法，将SPP模块嵌入至YOLOv4
‑
Tiny网络结构，将骨架(Backbone)网络提取到的特征进行多尺度池化后融合，增强整体网络的特征融合，提升了检测性能；
[0006]所述人脸口罩检测方法包括以下步骤：
[0007]步骤一、下载人脸口罩检测的公开数据集AIZOO、RMFD，由于数据集中的照片质量参次不齐；本专利技术从公开的AIZOO、RMFD人脸识别数据集选取分辨率大于608*608的戴有口
罩的人脸照片或者未戴口罩照片，构建了本专利技术使用的人脸口罩数据集AIFM数据集，其中AIZOO数据集的下载地址：https://github.com/AIZOOTech/FaceMaskDetection，RMFD数据集的下载地址：https://github.com/X
‑
zhangyang/Real
‑
World
‑
Masked
‑
Face
‑
Dataset；
[0008]由于目前针对于人脸口罩检测的公开数据集较少，照片质量也参次不齐，本专利技术从公开的AIZOO、RMFD人脸识别数据集选取分辨率大于608*608的戴有口罩的人脸照片或者未戴口罩照片，构建了本专利技术使用的人脸口罩数据集AIFM；本专利技术数据集共分为两类：戴口罩人脸目标和未戴口罩人脸目标，共包含照片11208张，数据集中包含不同场景下戴口罩人脸目标7933个，未戴口罩人脸目标13651个，将测试集、验证集与训练集按照6:2:2的比例划分；
[0009]步骤二、使用标准YOLOv4
‑
Tiny网络训练与检测人脸口罩，对步骤一人脸口罩数据集进行训练，下载标准YOLOv4
‑
Tiny网络并进行编译，标准YOLOv4
‑
Tiny网络的下载地址：https://github.com/AlexeyAB/darknet，为人脸口罩数据AIFM更改cfg文件夹中aifm.data文件中的训练集、验证集、测试集目录，并指定类别数量与类别名称；根据精度要求设定迭代次数为9000，根据本次实验数据集加载aifm.data，同时加载YOLOv4
‑
Tiny.cfg，程序即可开始训练，保存训练过程中各层的权重文件Q1，作为训练结束后检测的权值输入文件；利用权重文件Q1进行测试，得到均值平均精度(Mean Average Precision,mAP)、召回率(Recall)与检测时的帧率(Frame Per Second，FPS)；当目标占据整张图片一半以上大小时，由于实际有效感受野的限制，网络的检测效果并不佳；
[0010]训练过程具体如下：
[0011]1)构建YOLOv4
‑
Tiny网络模型，使用Initialization函数进行神经网络各层权值参数的初始化；
[0012]YOLOv4
‑
Tiny由四个部分组成，分别是：(1)Input输入端：指输入网络原始样本数据；(2)BackBone网络：指进行特征提取操作的卷积神经网络结构；(3)Neck颈部：对主干网络提取的图像特征进行融合，并将融合后的特征传递到预测层；(4)Head头部：对图像中的感兴趣目标物体进行预测，并生成可视化的预测框与目标类别；
[0013]下载标准YOLOv4
‑
Tiny网络后，对YOLOv4
‑
Tiny网络使用make命令进行编译，形成可执行文件darknet；为人脸口罩数据集AIFM编辑cfg文件夹中aifm.data文件，将class、train、valid、names字符串改为对应数据集的目录与参数，这样就编辑好了标准YOLOv4
‑
Tiny网络Input部分需要的参数，设定迭代次数后，根据本次实验数据集加载aifm.data，同时加载yolov4
‑
tiny.cfg，程序即可开始训练，程序在运行时会使用Initialization函数进行神经网络各层权值参数的初始化；
[0014]2)从Input部分输入图片数据，经过Backbone部分，最终输出两个尺度的特征图，并使用分类器输出预测框Pb1与分类概率CP<本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种改进的轻量化YOLOv4人脸口罩检测方法，基于AIZOO与RMFD通用数据集的人脸口罩检测定位，其特征在于：步骤一、下载人脸口罩检测的公开数据集AIZOO、RMFD，由于数据集中的照片质量参次不齐，本发明从公开的AIZOO、RMFD人脸识别数据集选取分辨率大于608*608的戴有口罩的人脸照片或者未戴口罩照片，构建了本发明使用的人脸口罩数据集AIFM数据集，其中AIZOO数据集的下载地址：https://github.com/AIZOOTech/FaceMaskDetection，RMFD数据集的下载地址：https://github.com/X
‑
zhangyang/Real
‑
World
‑
Masked
‑
Face
‑
Dataset；由于目前针对于人脸口罩检测的公开数据集较少，照片质量也参次不齐，本发明从公开的AIZOO、RMFD人脸识别数据集选取分辨率大于608*608的戴有口罩的人脸照片或者未戴口罩照片，构建了本发明使用的人脸口罩数据集AIFM；本发明数据集共分为两类：戴口罩人脸目标和未戴口罩人脸目标，共包含照片11208张，数据集中包含不同场景下戴口罩人脸目标7933个，未戴口罩人脸目标13651个，将测试集、验证集与训练集按照6:2:2的比例划分；步骤二、使用标准YOLOv4
‑
Tiny网络训练与检测人脸口罩，对步骤一人脸口罩数据集进行训练，下载标准YOLOv4
‑
Tiny网络并进行编译，标准YOLOv4
‑
Tiny网络的下载地址：https://github.com/AlexeyAB/darknet，为人脸口罩数据AIFM更改cfg文件夹中aifm.data文件中的训练集、验证集、测试集目录，并指定类别数量与类别名称；根据精度要求设定迭代次数为9000，根据本次实验数据集加载aifm.data，同时加载YOLOv4
‑
Tiny.cfg，程序即可开始训练，保存训练过程中各层的权重文件Q1，作为训练结束后检测的权值输入文件；利用权重文件Q1进行测试，得到均值平均精度(Mean Average Precision,mAP)、召回率(Recall)与检测时的帧率(Frame Per Second，FPS)；当目标占据整张图片一半以上大小时，由于实际有效感受野的限制，网络的检测效果并不佳；训练过程具体如下：1)构建YOLOv4
‑
Tiny网络模型，使用Initialization函数进行神经网络各层权值参数的初始化；YOLOv4
‑
Tiny由四个部分组成，分别是：(1)Input输入端：指输入网络原始样本数据；(2)BackBone网络：指进行特征提取操作的卷积神经网络结构；(3)Neck颈部：对主干网络提取的图像特征进行融合，并将融合后的特征传递到预测层；(4)Head头部：对图像中的感兴趣目标物体进行预测，并生成可视化的预测框与目标类别；下载标准YOLOv4
‑
Tiny网络后，对YOLOv4
‑
Tiny网络使用make命令进行编译，形成可执行文件darknet；为人脸口罩数据集AIFM编辑cfg文件夹中aifm.data文件，将class、train、valid、names字符串改为对应数据集的目录与参数，这样就编辑好了标准YOLOv4
‑
Tiny网络Input部分需要的参数，设定迭代阈值后，根据本次实验数据集加载aifm.data，同时加载yolov4
‑
tiny.cfg，程序即可开始训练，程序在运行时会使用In...

【专利技术属性】
技术研发人员：王兰美，王桂宝，魏兵，张仲鹏，孙长征，陈正涛，
申请(专利权)人：陕西理工大学，
类型：发明
国别省市：