权重优化下的局部多尺度特征融合的驾驶员行为识别方法技术

本发明专利技术公开了一种权重优化下的局部多尺度特征融合的驾驶员行为识别方法，首先用YOLOv5对驾驶员进行检测，得到驾驶人体检测框相对位置信息；将原图片送入ResNet50中进行特征提取，在主干网络ResNet50的三个不同尺度利用驾驶人相对位置信息进行ROI+Poing操作，得到三个不同尺度的驾员人体的特征，并进行重复多尺度特征融合；最后将Resnet最终得到的全局特征与多尺度特征融合后的驾驶员人体特征进行权重优化策略后结合，通过Softmax层预测相应的类别。本发明专利技术在结合目标检测和局部多尺度重复融合结构充分提取人体特征的同时，也兼顾了全局背景对预测产生的效应；在复杂驾驶环境下的检测效果良好,准确度高，具有较好的鲁棒性。性。性。

【技术实现步骤摘要】
权重优化下的局部多尺度特征融合的驾驶员行为识别方法


[0001]本专利技术属于计算机视觉和自动驾驶领域，具体涉及一种权重优化下的局部多尺度特征融合的驾驶员行为识别方法。

技术介绍

[0002]分心驾驶是交通事故发生的首要原因，据交通管理局的数据显示，每年大约发生200万起交通事故，其中超过80％是由分心驾驶造成的。近年来，ADAS(高级驾驶辅助系统)被许多汽车厂商采用，ADAS使用一系列的传感器来收集车内外的数据，并对车内外的静态和动态目标进行检测和识别。驾驶行为监控是ADAS的关键技术，利用这些技术，可以有效提醒驾驶员安全行为，避免车祸的发生。因而，驾驶员分心行为检测在计算机视觉和自动驾驶领域有着广阔的研究前景。
[0003]尽管驾驶员分心行为识别是人类动作识别的一个通用问题，但是由于车内狭小复杂的环境和驾驶员分心时的体态的细微差异，目前用于人体动作识别的方法并不适用于驾驶员分心识别。
[0004]随着深度学习和计算机视觉的快速发展，许多研究者都用各种方式来对分心驾驶检测进行研究。在近些年，深度学习开始广泛的使用在图像分类和复原领域。和传统算法相比较，深度学习在性能和准确率方面得到了大幅提升。在深度卷积神经网络的应用领域如分类和目标检测等场景，各类有着优异表现的模型被提出，如AlexNet，VGG，GoogleNet，ResNet等，这些都在计算机视觉领域取得了优异的表现。
[0005]由于分心驾驶导致交通事故频发，分心驾驶检测吸引了工业界和学术研究团体大量的关注，现有的研究都致力于对各种分心行为进行检测，也都取得了不错的改进成果。然而，现有的大多数研究都集中在利用全局特征，驶员行为识别的主体是驾驶员，在复杂多变的驾驶环境下对驾驶员的特征提取容易受到噪声干扰。为了获得驾驶员丰富的特征，同时考虑到全局背景也有一定的线索作用。本专利技术提出了一种权重优化下的多尺度特征融合的驾驶员行为识别方法，在充分提取人体特征的同时，也兼顾了全局背景对预测产生的效应。

技术实现思路

[0006]专利技术目的：针对现有技术中存在的问题，本专利技术提出一种权重优化下的局部多尺度特征融合的驾驶员行为识别方法，结合目标检测和局部多尺度重复融合结构充分提取人体特征的同时，也兼顾了全局背景对预测产生的效应；在复杂驾驶环境下的检测效果良好，准确度高，具有较好的鲁棒性。
[0007]技术方案：本专利技术提出一种权重优化下的局部多尺度特征融合的驾驶员行为识别方法，具体包括以下步骤：
[0008](1)预先获取驾驶室的监控视频，选取其中的分心驾驶行为并分割成相应图片，作为数据集；
[0009](2)采用YOLOv5对驾驶员进行检测，得到驾驶人体检测框相对位置信息；
[0010](3)将原图片送入ResNet50网络中进行特征提取；
[0011](4)分别在ResNet50网络的28*28、14*14和7*7尺度的特征图上，利用步骤(2)所得到人体检测框相对位置，进行ROI+Pooing得到驾驶人的底层细节特征和高层抽象特征，并对三个尺度的特征进行重复多尺度融合，得到更加全面丰富的驾驶人特征；
[0012](5)提出一种权重分配方法用于对驾驶人特征和全局特征进权衡，将分配后的驾驶人的特征和全局特征相结合，并对驾驶员行为进行识别。
[0013]进一步地，所述步骤(2)实现过程如下：
[0014][0015]其中，YOLOv5网络为Y(x)，其中将图片x作为输入，输出一个包含网格的特征图，其中(t
x
，t
y
)为偏移量，(c
x
，c
y
)为相当于左上角的坐标位置，(t
w
，t
h
)为尺度缩放比例，(p
w
，p
h
)为先验框的长宽；b
x
，b
y
为检测框的中心坐标，b
w
，b
h
为检测框的长宽，将检测出的人体框命名为x
h
。
[0016]进一步地，所述步骤(3)实现过程如下：
[0017]将整张图片作为全局特征提取的输入，使用ResNet
‑
50在ImageNet进行过预训练模型，并对模型进行微调，将模型的最后的全连接层进行相应修改以适应具体驾驶员行为识别任务；整张图片经过主干网络后得到特征图F，对特征图F添加残差块结构得到全局特征f
C
：
[0018]f
C
＝(Res
C
(F))。
ꢀꢀꢀ
(1)
[0019]进一步地，所述步骤(4)实现过程如下：
[0020]利用步骤(2)目标检测得到人体框x
h
，用感兴趣区域和池化对人体区域进行特征提取的到局部人体特征，在局部人体特征后面跟上残差结构和全局最大池化来获取单个尺度的人体特征f
h
：
[0021]f
h
＝GAP(Res
h
(RoI(F，x
h
)))
ꢀꢀꢀ
(3)
[0022]设主干网络要输入到多尺度特征融合结构的三个尺度的输入特征P
in
＝(P
inl1
，P
inl2
，P
inl4
)，输出特征为P
out
＝h(P
in
)，h()为多尺度融合运算，其中P
inl1
代表分辨率为输入图像的1/2，P
in l2
代表分辨率为输入图像的1/4，P
in l4
代表原图的1/16；多尺度重复融合采样操作可表示如下：
[0023][0024][0025][0026]其中，代表concat运算；最后通过一种阶梯型的特征融合方式将融合后的不同尺度的向量进行相加，得到最终多特征融合后的f
hfusion
：
[0027][0028]进一步地，所述步骤(5)实现过程如下：
[0029]引入权重ρ对全局特征f
C
特征和f
hfusion
进行合理分配：
[0030][0031]其中，代表对特征进行最大池化操作，代表进行平均池化操作。
[0032]有益效果：与现有技术相比，本专利技术的有益效果：本专利技术提出一种局部人体多尺度特征重复融合方法，充分提取驾驶人底层和高层并进行重复多尺度融合获取丰富的特征；本专利技术提出一种权重优化策略对局部人体多尺度特征和全局特征进行权重优化，使得模型能够充分考虑上下文信息，学习到更为合理的特征；本专利技术在复杂驾驶环境下的检测效果良好，准确度高，具有较好的鲁棒性。
附图说明
[0033]图1为本专利技术的流程图；
[0034]图2为本专利技术提出的权重优化下的局部多尺度特征融合的驾驶员行为识别系统结构示意图；
[0035]本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种权重优化下的局部多尺度特征融合的驾驶员行为识别方法，其特征在于，包括以下步骤：(1)预先获取驾驶室的监控视频，选取其中的分心驾驶行为并分割成相应图片，作为数据集；(2)采用YOLOv5对驾驶员进行检测，得到驾驶人体检测框相对位置信息；(3)将原图片送入ResNet50网络中进行特征提取；(4)分别在ResNet50网络的28*28、14*14和7*7尺度的特征图上，利用步骤(2)所得到人体检测框相对位置，进行ROI+Pooing得到驾驶人的底层细节特征和高层抽象特征，并对三个尺度的特征进行重复多尺度融合，得到更加全面丰富的驾驶人特征；(5)提出一种权重分配方法用于对驾驶人特征和全局特征进权衡，将分配后的驾驶人的特征和全局特征相结合，并对驾驶员行为进行识别。2.根据权利要求1所述的权重优化下的局部多尺度特征融合的驾驶员行为识别方法，其特征在于，所述步骤(2)实现过程如下：其中，YOLOv5网络为Y(x)，其中将图片x作为输入，输出一个包含网格的特征图，其中(t
x
,t
y
)为偏移量，(c
x
,c
y
)为相当于左上角的坐标位置，(t
w
,t
h
)为尺度缩放比例，(p
w
,p
h
)为先验框的长宽；b
x
，b
y
为检测框的中心坐标，b
w
,b
h
为检测框的长宽，将检测出的人体框命名为x
h
。3.根据权利要求1所述的权重优化下的局部多尺度特征融合的驾驶员行为识别方法，其特征在于，所述步骤(3)实现过程如下：将整张图片作为全局特征提取的输入，使用ResNet
‑
50在ImageNet进行过预训练模型，并对模型进行微调，将模型的最后的全连接层进行相应修改以适应具体驾驶员行为识别任务；整张图片...

【专利技术属性】
技术研发人员：高尚兵，李少凡，张莹莹，杨苏强，黄想，郭筱宇，
申请(专利权)人：淮阴工学院，
类型：发明
国别省市：