一种危险驾驶动作的识别方法技术

本发明专利技术公开了一种危险驾驶动作的识别方法，通过从预处理后的驾驶员图像提取人体骨架姿态特征与图像抽象特征并进行特征融合，实现对视频图像中驾驶员危险驾驶动作的分类识别

【技术实现步骤摘要】
一种危险驾驶动作的识别方法


[0001]本专利技术属于计算机视觉图像处理
，具体涉及一种危险驾驶动作的识别方法
。

技术介绍

[0002]根据对交通事故的统计，由于驾驶员的问题造成的事故数量高于由于环境和车辆因素造成的事故数量
。
因此，通过减少驾驶员的违规操作和危险驾驶的动作可以有效减少交通事故的发生，需要对驾驶员的危险驾驶动作识别进行技术研究，以减少此类事故的发生，保障人民的生命安全
。
[0003]文献
[Abdu Gumaei,Mabrook Al
‑
Rakhami,Mohammad Mehedi Hassan,et al.Adeep learning
‑
based driver distraction identification framework over edge cloud on Journal[J].Neural Computing and Applications,2020(1):1
‑
16]中提出基于
CNN
模型的框架以检测驾驶员的分心情况，其使用深度卷积神经网络
(CDCNN)
模型和
VGG
‑
16
的微调模型分别进行训练，但部分行为的准确率不高，相似姿势进行分类时仍存在一定错误
。
文献
[Jegham I,Khalifa A,Alouani I,et al.Soft Spatial Attention
‑
Based Multimodal Driver Action Recognition Using Deep Learning[J].IEEE Sensors,2021,21(2):1918
‑
1925]基于深度图像的灰度值来突出驾驶员的动作，消除高度杂乱的动态背景的影响，使用
VGG
‑
16
模型结合长短期记忆网络
(Long Short Term Memory Networks
，
LSTM)
模型对时间流上的动作特征进行提取并分类
。
基于深度图像的方法高度依赖于用于突出驾驶员动作的灰度值分析，然而如果在深度图像中存在噪声或不准确的灰度值，或者在黑暗场景
、
光照特别强烈的场景，可能会导致错误的动作分类或特征提取
。
文献
[Guo Keyou,Wang Pengshuo,Shi Peipeng,et al.A New Partitioned Spatial
–
Temporal Graph Attention Convolution Network for Human Motion Recognition[J].Applied Sciences,2023,13(3):1647
‑
1647]提出了一个名为
NEW
‑
STGCN
‑
CA
的用于人体动作识别的神经网络模型，该模型基于时空图卷积网络
(ST
‑
GCN)
，网络包含一种新的划分策略和协调注意力
(CA)
机制，通过整合
CA
注意力机制模型，使网络能够关注与输入相关的信息，忽略不必要的信息，防止信息丢失
。
该模型主要关注时空数据的传播和局部依赖关系，对于长期依赖和全局关系的建模能力较弱，且收到多个超参数的影响，包括输入的时间步长
、
卷积核的大小
、
图卷积层数量等
。
[0004]基于算力的快速提升和神经网络算法模型的持续发展，大部分在常规场景中识别驾驶员危险动作的方案都在准确率
、
实时速度
、
鲁棒性方面拥有比较优异的性能
。
然而，随着应用场景的进一步拓宽与延伸，现有的基于深度学习神经网络的大部分方案存在以下共性的问题仍然需要解决：在不同光照条件下或在高度杂乱并变化的背景条件下，同一种动作识别的模型的性能差异可能会非常大；在黑暗场景
、
光照特别强烈的场景或驾驶员背景非常杂乱且一直变化的场景下，目前的大部分方案的识别性能都不尽如人意，也还没有论文能够提出在不同光照条件和不同背景条件下的普适的识别模型
。
[0005]综上所示，在道路交通安全中，驾驶员的动作识别对于准确判断驾驶员的驾驶状态至关重要
。
目前，虽然已经提出多种方法识别驾驶员动作，但是由于光照条件
、
姿态变化等因素的影响，在实际应用中存在一定的局限性
。
因此，亟需一种能够对不同光照条件和姿态变化下的驾驶员动作进行准确识别的方法技术
。

技术实现思路

[0006]鉴于上述，本专利技术提供了一种危险驾驶动作的识别方法，通过从预处理后的驾驶员图像提取人体骨架姿态特征与图像抽象特征并进行特征融合，实现对视频图像中驾驶员危险驾驶动作的分类识别
。
[0007]一种危险驾驶动作的识别方法，包括如下步骤：
[0008](1)
获取关于车辆驾驶行为的图像数据集，对数据集中的图像进行预处理以及驾驶动作的人工分类标注，进而将数据集中的所有图像划分为训练集和测试集；
[0009](2)
构建用于危险驾驶动作识别的网络模型，其包括：
[0010]GCN
特征提取模块，用于从输入图像中提取人体动作的骨架点信息，进而根据骨架点信息计算得到驾驶员动作特征；
[0011]ResNet
特征提取模块，用于从输入图像中提取侧重整体结构和语义信息的驾驶员图像特征
D1
；
[0012]VGG
特征提取模块，用于从输入图像中提取侧重局部细节和纹理信息的驾驶员图像特征
D2
；
[0013]多模态特征融合模块，用于将驾驶员动作特征与驾驶员图像特征
D1
和
D2
进行融合拼接得到融合特征向量；
[0014]分类预测模块，基于所述融合特征向量对输入图像中的驾驶动作进行分类预测，输出属于各类别驾驶动作的置信度；
[0015](3)
利用训练集图像对上述网络模型进行训练；
[0016](4)
将待测试的图像输入至训练好的网络模型中，即可预测出图像中驾驶动作的类别
。
[0017]进一步地，所述步骤
(1)
中的预处理过程包括光照补偿
、
图像分割以及数据增强；所述光照补偿即采用基于
HSV
色彩空间的直方图均衡化方法来对图像进行光照补偿；所述图像分割则采用稠密卷积网络来实现图像中人物部分与背景部分的分割；所述数据增强即通过在已有图像上进行一系列变换操作以生本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种危险驾驶动作的识别方法，包括如下步骤：
(1)
获取关于车辆驾驶行为的图像数据集，对数据集中的图像进行预处理以及驾驶动作的人工分类标注，进而将数据集中的所有图像划分为训练集和测试集；
(2)
构建用于危险驾驶动作识别的网络模型，其包括：
GCN
特征提取模块，用于从输入图像中提取人体动作的骨架点信息，进而根据骨架点信息计算得到驾驶员动作特征；
ResNet
特征提取模块，用于从输入图像中提取侧重整体结构和语义信息的驾驶员图像特征
D1
；
VGG
特征提取模块，用于从输入图像中提取侧重局部细节和纹理信息的驾驶员图像特征
D2
；多模态特征融合模块，用于将驾驶员动作特征与驾驶员图像特征
D1
和
D2
进行融合拼接得到融合特征向量；分类预测模块，基于所述融合特征向量对输入图像中的驾驶动作进行分类预测，输出属于各类别驾驶动作的置信度；
(3)
利用训练集图像对上述网络模型进行训练；
(4)
将待测试的图像输入至训练好的网络模型中，即可预测出图像中驾驶动作的类别
。2.
根据权利要求1所述危险驾驶动作的识别方法，其特征在于：所述步骤
(1)
中的预处理过程包括光照补偿
、
图像分割以及数据增强；所述光照补偿即采用基于
HSV
色彩空间的直方图均衡化方法来对图像进行光照补偿；所述图像分割则采用稠密卷积网络来实现图像中人物部分与背景部分的分割；所述数据增强即通过在已有图像上进行一系列变换操作以生成新的图像，从而获得更多的图像样本数据
。3.
根据权利要求1所述危险驾驶动作的识别方法，其特征在于：所述
GCN
特征提取模块的具体实现方式为：首先从输入的图像中提取人体动作的骨架点信息，包含各关节点的坐标位置以及关节点之间的连接关系，并在低维空间中以图的形式展示得到人体骨架图；然后从骨架图中提取节点特征以及基于邻接矩阵表示的边特征，并修改邻接矩阵的计算，进而将节点特征和边特征输入至由多个
GCN
模块级联组成的图卷积神经网络中，最后将图卷积神经网络的输出与节点特征叠加后输入至注意力机制模块中以学习不同子区域的特征权重，最终输出驾驶员动作特征
。4.
根据权利要求3所述危险驾驶动作的识别方法，其特征在于：所述邻接矩阵的修改计算方式为：首先将人体骨架图划分成头部
、
躯干
、
左臂
、
右臂
、
左腿和右腿共计6个子区域，若骨架节点
v
i
和
v
...

【专利技术属性】
技术研发人员：李璞，单杭冠，茅天怡，许佳奕，
申请(专利权)人：浙江大学，
类型：发明
国别省市：