一种基于候选优化的Faster R-CNN驾驶员检测方法技术

本发明专利技术提出一种基于候选优化的Faster R‑CNN驾驶员检测方法，涉及目标检测中的驾驶员检测领域。本发明专利技术以车载摄像头拍摄的RGB图像为数据源，在Faster R‑CNN目标检测算法的基础上作出改进：将残差结构引入特征提取ZF网络，设计ZF‑Res网络，以提高识别精度并保持实时性；针对以驾驶员为画面主体的RGB图像，提出候选优化子网络，过滤去冗余无效的候选区域，再进行后续的分类回归以完成驾驶员的定位检测。与现有技术相比，本发明专利技术大幅减少不包含或仅包含部分驾驶员的目标框，在保持驾驶员目标检测准确率的同时，提高检测效率。在监控识别驾驶员不良驾驶行为、预防交通事故方面有重要的应用价值。

【技术实现步骤摘要】
一种基于候选优化的FasterR-CNN驾驶员检测方法
本专利技术涉及一种驾驶员行为检测方法，属于目标检测

技术介绍
80％-90％的交通事故由驾驶员疏忽大意、不遵守交通规则等人为因素造成，因而从车载监控图像中准确、快速地检测定位驾驶员，是交通监控中识别不良驾驶行为，预防交通事故的迫切需求。在传统的目标检测中，DPM(DeformablePartModel)模型组件检测算法被广泛使用。DPM首先计算梯度方向直方图，然后使用SVM训练得到物体的梯度模型来完成分类，但单个DPM模型无法有效涵盖驾驶舱中驾驶员的各种姿态，以及阈值选取不合理会导致漏检等。随着深度学习在计算机视觉领域的突出表现，CNN(convolutionalneuralnetworks，卷积神经网络)在目标检测任务上表现出优越的性能。其中，以FasterR-CNN为代表的基于区域的方法，将RPN(regionproposalnetworks，区域生成网络)和FastR-CNN检测网络融合，实现了高精度的实时检测，受到极大的关注。
技术实现思路
本专利技术所要解决的技术问题：针对
技术介绍
的缺陷，提出一种驾驶员行为检测方法，通过设计融合残差结构的特征提取ZF-Res网络和候选优化子网络，在保持驾驶员目标检测准确率的同时，减少计算量与运行时间，提高检测效率。本专利技术为解决以上技术问题所采用的技术方案为：一种基于候选优化的FasterR-CNN驾驶员检测方法，包括下列步骤：步骤1、模拟驾驶员在驾驶舱内的各种驾驶状态，建立驾驶员检测训练数据集；步骤2、采用融合残差结构的卷积神经网络ZF-Res在步骤1建立的训练数据集中提取驾驶员图像特征，其中，ZF-Res的结构是在ZF-Net网络上具体做如下改进：ZF-Net网络包括依次连接的第一卷积层、第一局部响应归一层、第一最大池化层、第二卷积层、第二局部响应归一层、第二最大池化层、第三卷积层、第四卷积层、第五卷积层；所述ZF-Res在第二局部响应归一层、第二最大池化层之间增加卷积层Conv2_2和Conv2_3，在第四卷积层Conv4和第五卷积层Conv5之间增加卷积层Conv4_2；其中，Conv2_2和Conv2_3两个卷积层及Conv4和Conv4_2两个卷积层由捷径连接跳过构成残差结构，使得这两层在输入和输出之间进行残差学习，构成ZF-Res网络以提取训练集图像特征；步骤3、通过候选区域生成网络RPN在ZF-Res提取的卷积特征图上，生成驾驶员候选框；步骤4、针对检测的驾驶员主体，在候选区域生成网络输出端连接一个区域优化网络，筛选优化生成的驾驶员候选区域，过滤去除无效冗余的边界框；步骤5、驾驶员候选区域生成优化后，对其进行分类回归；步骤6、对基于候选优化的FasterR-CNN驾驶员检测网络进行分步训练，即对特征提取网络为融合残差结构的ZF-Res的FasterR-CNN网络和区域优化网络单独分开训练，输出训练好的基于候选优化的驾驶员检测改进算法网络模型；步骤7、在测试集上测试训练模型的驾驶员检测准确率及定位效果。作为本专利技术的检测方法进一步的优化方案，步骤1中建立驾驶员检测训练数据集，其中共采集62人的图像，每人分别完成正常驾驶、吸烟、接打电话、玩手机、与邻座交谈以及双手脱离方向盘六种行为，同时考虑包括驾驶舱内光线明暗、驾驶员服饰、摄像头拍摄角度变化的多样性因素，共计16750张；同时，将数据集中的分类类别设置为2类，分别是驾驶员和背景。作为本专利技术的检测方法进一步的优化方案，步骤2所述融合残差结构的卷积神经网络ZF-Res的残差结构函数公式为：Y＝F(X)+X式中，X为输入残差结构的卷积特征，F(X)为被捷径连接跳过层的卷积特征输出，Y为残差结构的输出；其中X和F(X)需满足输出特征维度大小相等，即两者输出特征图的通道数量与尺寸大小一致。作为本专利技术的检测方法进一步的优化方案，步骤2所述的ZF-Res网络中新加卷积层Conv2_2和Conv2_3、Conv4_2的步长设置为1，并进行1个像素边界的0像素填充；其中，Conv2_2和Conv2_3的卷积核大小为3×3、输出通道为256，Conv4_2的卷积核大小为3×3、输出通道为384；所述第五卷积层的通道数由256扩大为512，以向后传递更丰富的特征信息。作为本专利技术的检测方法进一步的优化方案，步骤4中，候选优化网络可视作按照阈值，对输入的RPN网络生成的候选区域进行二分类筛选，具体为：候选优化网络通过ROIpooling层池化输入的候选区域生成网络产生的区域提案，生成同一维度的特征向量输入全连接层FC_1a和FC_1b映射全局特征，两者均为512维；全连接层FC_2在候选优化网络作为分类器，将前层全连接网络输出映射为候选边界框是否含有驾驶员的预测分数，其后通过Softmax层归一化预测值，得到候选区域是否包含驾驶员的置信度，取值在0至1间；将候选优化网络将各候选框的置信度与设定阈值相比较，最后输出阈值以上的候选区域，完成优化候选，输入后续网络。作为本专利技术的检测方法进一步的优化方案，步骤5所述分类回归，其中FasterR-CNN分类回归网络输入为基础ZF-Res网络提取的特征图、候选优化区域优化生成的提案区域，输出为候选区域的类别预测和位置修正，其中位置修正数学原理与基准矩形框相同；分类回归网络的处理流程为：ROIpooling层池化得到相同维度的候选区域特征向量作为全连接特征映射的输入，再进行多任务学习，全连接FC/cls用于分类，输出二维向量，预测候选区域为前景驾驶员还是背景；另一条全连接支路FC/bbox_reg则输出候选区域的修正参数，用于回归驾驶员在图像中的位置。作为本专利技术的检测方法进一步的优化方案，设ROIpooling层输入k张不同尺寸的特征图，大小分别为ai×ai，其中1≤i≤k，ROIpooling层输出特征图固定为n×n，则池化的滑动窗口为ai/n，步长为ai/n，即对不同大小的输入特征图自适应池化，以此输出同一维度的特征向量k×n×n。作为本专利技术的检测方法进一步的优化方案，步骤6具体实施如下：步骤601、FasterR-CNN网络训练：FasterR-CNN网络的特征提取子网络+分类回归子网络的前两个全连接层通过ImageNet预训练模型初始化，其余层采用高斯分布随机初始化，再端对端微调整个网络；步骤602、候选优化网络训练：候选优化网络采用高斯分布随机初始化，固定FasterR-CNN的网络参数，微调候选优化网络，输出训练好的基于候选优化的驾驶员检测改进算法网络模型。本专利技术采用以上技术手段，与现有的技术相比，本专利技术的优点在于：(1)本专利技术以车载摄像头拍摄的RGB图像为数据源，在FasterR-CNN目标检测算法的基础上作出改进：将残差结构引入特征提取ZF网络，设计ZF-Res网络，以提高识别精度并保持实时性。(2)针对以驾驶员为画面主体的RGB图像，提出候选优化子网络，过滤去冗余无效的候选区域，再进行后续的分类回归以完成驾驶员的定位检测。本专利技术大幅减少不包含或仅包含部分驾驶员的目标框，在保持驾驶员目标检测准确率的同时，减少计算量和运行时间，故提高了检测效率。附图说明图1是本专利技术中ZF-Net网络结构图。图2是本专利技术中ZF本文档来自技高网...

【技术保护点】
1.一种基于候选优化的Faster R‑CNN驾驶员检测方法，其特征在于，包括：步骤1、模拟驾驶员在驾驶舱内的各种驾驶状态，建立驾驶员检测训练数据集；步骤2、采用融合残差结构的卷积神经网络ZF‑Res在步骤1建立的训练数据集中提取驾驶员图像特征，其中，ZF‑Res的结构是在ZF‑Net网络上具体做如下改进：ZF‑Net网络包括依次连接的第一卷积层、第一局部响应归一层、第一最大池化层、第二卷积层、第二局部响应归一层、第二最大池化层、第三卷积层、第四卷积层、第五卷积层；所述ZF‑Res在第二局部响应归一层、第二最大池化层之间增加卷积层Conv2_2和Conv2_3，在第四卷积层Conv4和第五卷积层Conv5之间增加卷积层Conv4_2；其中，Conv2_2和Conv2_3两个卷积层及Conv4和Conv4_2两个卷积层由捷径连接跳过构成残差结构，使得这两层在输入和输出之间进行残差学习，构成ZF‑Res网络以提取训练集图像特征；步骤3、通过候选区域生成网络RPN在ZF‑Res提取的卷积特征图上，生成驾驶员候选框；步骤4、针对检测的驾驶员主体，在候选区域生成网络输出端连接一个区域优化网络，筛选优化生成的驾驶员候选区域，过滤去除无效冗余的边界框；步骤5、驾驶员候选区域生成优化后，对其进行分类回归；步骤6、对基于候选优化的Faster R‑CNN驾驶员检测网络进行分步训练，即对特征提取网络为融合残差结构的ZF‑Res的Faster R‑CNN网络和区域优化网络单独分开训练，输出训练好的基于候选优化的驾驶员检测改进算法网络模型；步骤7、在测试集上测试训练模型的驾驶员检测准确率及定位效果。...

【技术特征摘要】
1.一种基于候选优化的FasterR-CNN驾驶员检测方法，其特征在于，包括：步骤1、模拟驾驶员在驾驶舱内的各种驾驶状态，建立驾驶员检测训练数据集；步骤2、采用融合残差结构的卷积神经网络ZF-Res在步骤1建立的训练数据集中提取驾驶员图像特征，其中，ZF-Res的结构是在ZF-Net网络上具体做如下改进：ZF-Net网络包括依次连接的第一卷积层、第一局部响应归一层、第一最大池化层、第二卷积层、第二局部响应归一层、第二最大池化层、第三卷积层、第四卷积层、第五卷积层；所述ZF-Res在第二局部响应归一层、第二最大池化层之间增加卷积层Conv2_2和Conv2_3，在第四卷积层Conv4和第五卷积层Conv5之间增加卷积层Conv4_2；其中，Conv2_2和Conv2_3两个卷积层及Conv4和Conv4_2两个卷积层由捷径连接跳过构成残差结构，使得这两层在输入和输出之间进行残差学习，构成ZF-Res网络以提取训练集图像特征；步骤3、通过候选区域生成网络RPN在ZF-Res提取的卷积特征图上，生成驾驶员候选框；步骤4、针对检测的驾驶员主体，在候选区域生成网络输出端连接一个区域优化网络，筛选优化生成的驾驶员候选区域，过滤去除无效冗余的边界框；步骤5、驾驶员候选区域生成优化后，对其进行分类回归；步骤6、对基于候选优化的FasterR-CNN驾驶员检测网络进行分步训练，即对特征提取网络为融合残差结构的ZF-Res的FasterR-CNN网络和区域优化网络单独分开训练，输出训练好的基于候选优化的驾驶员检测改进算法网络模型；步骤7、在测试集上测试训练模型的驾驶员检测准确率及定位效果。2.根据权利要求1所述的方法，其特征在于，步骤1中建立驾驶员检测训练数据集，其中共采集62人的图像，每人分别完成正常驾驶、吸烟、接打电话、玩手机、与邻座交谈以及双手脱离方向盘六种行为，同时考虑包括驾驶舱内光线明暗、驾驶员服饰、摄像头拍摄角度变化的多样性因素，共计16750张；同时，将数据集中的分类类别设置为2类，分别是驾驶员和背景。3.根据权利要求1所述的方法，其特征在于，步骤2所述融合残差结构的卷积神经网络ZF-Res的残差结构函数公式为：Y＝F(X)+X式中，X为输入残差结构的卷积特征，F(X)为被捷径连接跳过层的卷积特征输出，Y为残差结构的输出；其中X和F(X)需满足输出特征维度大小相等，即两者输出特征图的通道数量与尺寸大小一致。4.根据权利要求1所述的方法，其特征在于，步骤2所述的ZF-Res网络中新加卷积层Conv2_2和Conv2_3、...

【专利技术属性】
技术研发人员：路小波，陆明琦，
申请(专利权)人：东南大学，
类型：发明
国别省市：江苏,32