基于轻量化YOLOv5网络模型与时空记忆机制的行人检测方法技术

本发明专利技术公开了一种基于轻量化YOLO v5网络模型与时空记忆机制的行人检测方法，该行人检测方法采用轻量化YOLO v5网络，将原版YOLO v5模型的Foucs层替换为卷积层以及将主干网络中的卷积替换为通道随机混合的分组卷积来轻量化模型，并利用时空记忆机制对网络检测结果进行修正，减少误识别，利用修正的检测结果进行行人位置检测，降低了模型的误识别率且减少了模型的硬件开销并提高了处理速度。采用本发明专利技术行人检测方法在数据集测试结果为：误识别率从7％降低至1％，处理速度从56FPS提升到74FPS。处理速度从56FPS提升到74FPS。处理速度从56FPS提升到74FPS。

【技术实现步骤摘要】
基于轻量化YOLO v5网络模型与时空记忆机制的行人检测方法


[0001]本专利技术属于深度学习目标检测
，具体为基于轻量化YOLO v5网络模型与时空记忆机制的行人检测方法。

技术介绍

[0002]疫情期间紧张的人员配置以及人眼识别可能存在的偏差使得人员极易懈怠而产生疏忽和失误。
[0003]高校封闭式管理模式下采用监控室全天候值守维护校园安全存在以下问题：(1)监控画面多：大多数校区围墙的边界长达数公里，多达几十个摄像头和监控屏。(2)工作人员易出错：校园围墙发生违纪行为本就属于小概率事件，人对于小概率事件的不发生抱有侥幸心理。工作人员更加容易懈怠、疏忽和产生视觉疲劳发生漏判。(3)校方成本高：监控室安保人员薪资低，无法吸引就业人员。但对于校方来讲成本过高，因为实行八小时工作制需要雇佣三倍的就业人员和三倍的支出。(4)现有的检测方法误识别率较高且硬件开销大。
[0004]因此针对高校围墙边界进行智能监控是迫切之需，在此情况下，开发一种减少行人误识别和提高鲁棒性的轻量化方法和智能监控方法，有利于实现了校园疫情防控的智能处理和快速响应，更好的维护校园安全。

技术实现思路

[0005]针对现有技术存在的不足，本专利技术提供了基于轻量化YOLO v5网络模型与时空记忆机制的行人检测方法。该检测方法基于YOLO v5深度网络模型，在原模型的基础上设计了一种时空记忆机制并构建轻量化YOLOv5模型，从而减少行人检测的误识别和提高系统鲁棒性。并对模型采用通道洗牌和剪枝模型方法进行轻量化，加快模型的处理速度，更适合多路视频的处理和模型的部署。
[0006]本专利技术解决所述技术问题的技术方案是：设计基于轻量化YOLO v5网络模型与时空记忆机制的行人检测方法，该方法包括如下步骤：
[0007]第一步：构建训练数据库
[0008]1)采集监测地点不同场景的图像，图像采集的场景包括晴天、阴天、雨天和夜晚；根据行人距离摄像头的远近将采集到的图像中的人物目标划分为不同尺寸，其中面积小于32*32像素为小尺寸目标，在32*32像素至96*96像素之间为中尺寸目标，大于96*96像素为大尺寸目标；按以上三种人物目标尺寸 1:1:1的数量比挑选出图像，并对挑选出的图像进行数据增强，最后进行图像尺寸统一化操作，获得原始数据集；
[0009]2)数据集划分：对步骤1)中得到的原始数据集采用人工的方式添加标签，用矩形框分别标记出图像中的人物目标和围墙，并且按一定数量比例随机将原始数据集中的图像划分训练集和验证集；
[0010]第二步：构建轻量化YOLO v5网络模型
[0011]1)训练集的预处理：对第一步的步骤2)中得到的训练集进行数据增强；
[0012]2)搭建轻量化YOLOv5网络模型
[0013]轻量化YOLOv5网络模型为YOLOv5网络模型的改进结构，具体为将YOLOv5网络模型的主干网络中顺接的Foucs模块、CBL模块、CSP1_1模块、CBL模块、CSP1_3模块、CBL模块、CBL模块、CSP1_3模块、CBL模块、CBL模块、CBL模块、SPP模块、CBL模块替换成顺接的2个CBL模块、SFB1模块、2个SFB2模块、SFB1模块、7个SFB2模块、SFB1模块、SFB2模块、CBS模块；轻量化YOLOv5网络模型的主干网络部分的输入首先输入到第一个CBL模块中，第二个SFB2模块的输出分别输入到与其顺接的SFB1模块和Neck网络部分的第一个CBL模块，CBS模块的输出输入到YOLOv5网络模型的主干网络中的CSP2_1模块中，轻量化YOLOv5网络模型的其它部分结构与YOLOv5网络模型相同；
[0014]3)训练网络
[0015]采用在ImageNet得到的预训练权重初始化主干网络，使用kaiming正态分布初始化卷积层参数，网络的其余部分采用Xavier初始化；设置随训练代数呈阶梯下降的学习率，前50代冻结主干网络参数；
[0016]将步骤1)中完成预处理的训练集输入到完成初始化的轻量化YOLOv5网络模型中，利用主干网络部分进行特征提取与融合，利用分类和回归网络，得到人物目标的位置、类别和置信度，以及围墙的位置与置信度，将其与真实标签对比得到Loss值；根据Loss值采用SGD优化器，进行反向传播更新网络参数，直至Loss下降至预设，网络模型训练完成；
[0017]4)网络模型验证
[0018]对第一步的步骤2)中得到的验证集输入到步骤3)中完成训练的网络模型中，将网络模型输出的检测标签与真实标签对比，得到误识别率，当误识别率不大于10％时，保存网络模型当前参数，该网络模型为有效模型；当误识别率大于10％时，调整网络模型的初始参数，重新训练网络直至Loss下降至预设值，且验证集的误识别率不大于10％，保存网络模型当前参数，当前网络模型即为有效模型，网络模型验证完成；
[0019]第三步：利用轻量化YOLOv5网络模型与时空记忆机制模块进行行人位置检测
[0020]1)获取初步检测结果
[0021]将摄像头捕获到的视频流按帧输入到第二步中完成验证的轻量化YOLOv5网络模型中，得到视频的帧序列图像的检测结果，每一幅图像的检测结果包括人物目标的位置、类别和置信度，以及围墙的位置与置信度，该检测结果为初步检测结果；
[0022]2)获取修正的检测结果
[0023]将初步检测结果输入到时空记忆机制模块中，时空记忆机制原理如下：
[0024][0025]其中P
n+1
表示视频序列图像的第n+1帧图像中人物目标的置信度；Δx和Δy分别表示第n+1帧图像与第i帧图像中最临近人物目标的x轴和y轴的变化值，取值范围均为0～+∞；P
i
表示网络模型输出的第i帧图像中的人物目标的置信度；表示向上取整；
[0026]上式中，f(x)表达式如下：
[0027][0028]将时空记忆机制模块输出的预测下一帧图像中的人物目标的置信度替换掉对应帧的初步检测结果中的置信度，得到修正的检测结果；
[0029]3)行人位置检测
[0030]根据步骤2)中修正的检测结果中检测出的人物目标和围墙，当人物目标的轨迹与设定的围墙警戒线发生交叉或者低于某个阈值时，可判定为翻墙行为或者违规隔墙取物行为；以视频画面的左上角为坐标原点分别向右、向下设置 x轴、y轴正方向，建立二维坐标系，围墙的位置由人工给定，围墙警戒线近似为一条直线；x
i
,y
i
表示检测到的人物目标在同一坐标系下的坐标；其原理如下：
[0031]f(x,y)＝Ax+By+C＝0
[0032]表示围墙警戒线的位置，若
[0033][0034]则表明有翻墙嫌疑；若
[0035]|f(x
i
,y
i
)|＜t
[0036]则表明有隔墙取物嫌疑；其中x
i
,y
i<本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于轻量化YOLO v5网络模型与时空记忆机制的行人检测方法，其特征在于，该方法包括如下步骤：第一步：构建训练数据库1)采集监测地点不同场景的图像，图像采集的场景包括晴天、阴天、雨天和夜晚；根据行人距离摄像头的远近将采集到的图像中的人物目标划分为不同尺寸，其中面积小于32*32像素为小尺寸目标，在32*32像素至96*96像素之间为中尺寸目标，大于96*96像素为大尺寸目标；按以上三种人物目标尺寸1:1:1的数量比挑选出图像，并对挑选出的图像进行数据增强，最后进行图像尺寸统一化操作，获得原始数据集；2)数据集划分：对步骤1)中得到的原始数据集采用人工的方式添加标签，用矩形框分别标记出图像中的人物目标和围墙，并且按一定数量比例随机将原始数据集中的图像划分训练集和验证集；第二步：构建轻量化YOLO v5网络模型1)训练集的预处理：对第一步的步骤2)中得到的训练集进行数据增强；2)搭建轻量化YOLO v5网络模型轻量化YOLO v5网络模型为YOLO v5网络模型的改进结构，具体的，为将YOLO v5网络模型的主干网络中顺接的Foucs模块、CBL模块、CSP1_1模块、CBL模块、CSP1_3模块、CBL模块、CBL模块、CSP1_3模块、CBL模块、CBL模块、CBL模块、SPP模块、CBL模块替换成顺接的2个CBL模块、SFB1模块、2个SFB2模块、SFB1模块、7个SFB2模块、SFB1模块、SFB2模块、CBS模块；轻量化YOLO v5网络模型的主干网络部分的输入首先输入到第一个CBL模块中，第二个SFB2模块的输出分别输入到与其顺接的SFB1模块和Neck网络部分的第一个CBL模块，CBS模块的输出输入到YOLO v5网络模型的主干网络中的CSP2_1模块中，轻量化YOLO v5网络模型的其它部分结构与YOLO v5网络模型相同；3)训练网络采用在ImageNet得到的预训练权重初始化主干网络，使用kaiming正态分布初始化卷积层参数，网络的其余部分采用Xavier初始化；设置随训练代数呈阶梯下降的学习率，前50代冻结主干网络参数；将步骤1)中完成预处理的训练集输入到完成初始化的轻量化YOLO v5网络模型中，利用主干网络部分进行特征提取与融合，利用分类和回归网络，得到人物目标的位置、类别和置信度，以及围墙的位置与置信度，将其与真实标签对比得到Loss值；根据Loss值采用SGD优化器，进行反向传播更新网络参数，直至Loss下降至预设，网络模型训练完成；4)网络模型验证对第一步的步骤2)中得到的验证集输入到步骤3)中完成训练的网络模型中，将网络模型输出的检测标签与真实标签对比，得到误识别率，当误识别率不大于10％时，保存网络模型当前参数，该网络模型为有效...

【专利技术属性】
技术研发人员：陈海永，史世杰，谭江恒，
申请(专利权)人：河北工业大学，
类型：发明
国别省市：