基于循环图卷积网络的驾驶员驾驶行为识别方法及系统技术方案

本发明专利技术公开了一种基于循环图卷积网络的驾驶员驾驶行为识别方法及系统，考虑人体运动学的图卷积网络：利用骨架信息构建人体骨架结构图，建立含有采样机制和特定权值分配机制的图卷积操作，实现骨架结构图上的图卷积运算，提取骨架信息空间特征。将图卷积网络输出的骨架信息空间特征作为LSTM网络的输入，计算骨架信息在时间上的动态特征，由注意力机制融合各时刻的状态向量，最终获取有显著辨别性的时空特征，实现驾驶员驾驶行为的准确识别。本发明专利技术整体网络将图卷积网络和LSTM网络前后布置，各自运算过程影响较小，网络结构合理，并能有效提取骨架信息时空特征，提高驾驶员驾驶行为识别准确性。别准确性。别准确性。

【技术实现步骤摘要】
基于循环图卷积网络的驾驶员驾驶行为识别方法及系统


[0001]本专利技术涉及驾驶员驾驶行为识别领域，特别是一种基于循环图卷积网络的驾驶员驾驶行为识别方法。

技术介绍

[0002]驾驶员驾驶行为是安全行车的一个重要因素。据世界卫生组织统计，全球每年约125万人死于道路交通事故，2000万人由此受到严重伤害，而约80％的道路交通事故直接或间接地归咎于人为因素。因此建立一个驾驶员驾驶行为识别系统显得尤为重要。
[0003]现有的驾驶员驾驶行为识别方法大致可分为两类：
[0004]1)基于人工特征的驾驶员驾驶行为识别方法。通过构建特征提取公式，将图像信息或头部转角、眼动等生理信息转化为区分度更大的特征信息(如梯度直方图、光流、注视区域等)，然后运用SVM等机器学习分类器实现驾驶员驾驶行为识别。
[0005]2)基于深度学习的驾驶员驾驶行为识别方法。利用深度学习强大的特征提取能力，将原始传感器信息自适应地转化为具有显著辨别性的高维特征向量，通过制定合理的损失函数和优化器，不断更新网络的权值参数以获取最佳驾驶员驾驶行为识别模型，最终运用SoftMax等分类器实现驾驶员驾驶行为识别。
[0006]基于人工特征的驾驶员驾驶行为识别算法流程如图1所示。首先通过传感器获取图像信息、生理信息等原始输入数据。然后根据输入数据特性人为地制定特征提取算法，将原始数据转化为人工特征，如头部姿态、光流、梯度直方图、注视区域等。最终由SVM等分类器对人工特征分类，输出最终的驾驶员驾驶行为类别。
[0007]基于人工特征的驾驶员驾驶行为识别算法的缺点主要有以下两点：
[0008]1)人工特征受图像质量影响较大，而图像质量随环境(如光照)变化较大，因此难以建立一个稳定的特征提取过程。
[0009]2)在多驾驶员驾驶行为分类时，存在某些驾驶员驾驶行为相似性大的情况，此时难以构建一种在各类驾驶员驾驶行为间都有显著区分性的人工特征。
[0010]基于传统循环神经网络的驾驶员驾驶行为识别算法流程如图2所示。循环神经网络LSTM将视频流中的人体骨架像素坐标信息转化为高维特征向量，通过损失函数和优化器不断更新循环神经网络的权值，最终由SoftMax函数(归一化指数函数)计算各分类概率，获得最终的驾驶员驾驶行为分类。
[0011]基于传统循环神经网络的驾驶员驾驶行为识别算法的缺点主要有以下两点：
[0012]1)循环神经网络仅在时间维度上具有良好的特征提取能力，缺乏在单帧图像中提取空间特征的能力。
[0013]2)原始人体骨架信息仅以一维向量的形式进入LSTM网络，丢失了人体结构特征和各节点间的相互作用关系，导致LSTM网络的识别效果欠佳。

技术实现思路

[0014]本专利技术所要解决的技术问题是，针对现有技术不足，提供一种基于循环图卷积网络的驾驶员驾驶行为识别方法及系统，快速、准确地识别驾驶员驾驶行为。
[0015]为解决上述技术问题，本专利技术所采用的技术方案是：一种基于循环图卷积网络的驾驶员驾驶行为识别方法，包括以下步骤：
[0016]1)利用骨架信息构建人体骨架结构图，利用循环图卷积网络对所述骨架结构图进行图卷积运算，提取骨架信息空间特征向量；
[0017]2)将所述骨架信息空间特征向量作为LSTM网络的输入，计算骨架信息在时间上的动态特征，基于注意力机制融合各时刻的动态特征，获取最终的时空特征向量，利用最终的时空特征向量，计算驾驶员驾驶行为的概率分布，预测驾驶员的驾驶行为。
[0018]本专利技术的方法不仅能提取骨架信息时间特征，还提取了骨架信息空间特征，提高了模型对于人体骨架节点之间、肢体之间空间特征的提取能力，从而保证人体结构特征和各节点间的相互作用关系能进入LSTM网络，保证了LSTM网络识别的准确性。
[0019]步骤1)的具体实现过程包括：
[0020]1)输入视频流数据；
[0021]2)从视频图像中提取骨架信息；
[0022]3)对所述骨架信息进行批次内归一化预处理；
[0023]4)利用预处理后的骨架信息构建骨架结构图；
[0024]5)对所述骨架结构图进行图卷积运算，提取骨架信息空间特征。
[0025]从上述过程可见，本专利技术依据人体运动学的图卷积网络，提高了模型对于人体骨架节点之间、肢体之间空间特征的提取能力。
[0026]优选地，在循环图卷积网络的每一个卷积层之前均对所述骨架信息进行批次内归一化预处理。使数据分布更接近正态分布，更切合实际分布，保证模型训练时的可学习能力，提高模型的非线性表达能力。
[0027]从视频图像中提取骨架信息的具体实现过程包括：利用预训练的CNN网络从视频图像中提取驾驶员骨架节点的像素坐标，第i帧图像的骨架信息以A
t
＝(x1,y1,
…
,x
i
,y
i
,
…
x
M
,y
M
)形式储存，(x
i
,y
i
)分别为索引为i的骨架节点的像素横坐标和像素纵坐标；第i帧图像的骨架信息保留驾驶员上半身M个节点坐标，连续T帧图像的骨架信息构成序列Z＝(A1,
…
,A
t
,
…
,A
T
)。该提取过程简单，实用新强。
[0028]步骤4)中，为了保留节点间的相互作用关系，构建的骨架结构图G表示如下：
[0029]G＝(N,L)；
[0030][0031][0032]其中，l
ij
为骨架节点n
i
与骨架节点n
j
的连接关系；为预处理后的像素坐标值。
[0033]步骤5)中，骨架信息空间特征向量其中为节点i的空间特征；F
in
为节点状态值；S(n
i
,D)为图采
样函数，S(n
i
,D)＝{n
j
|d
ij
≤D}为采样函数，d
ij
为节点n
j
与主节点n
i
之间的步长，D为步长，W()为权值分配函数，P()为节点分组函数；其中主节点是指图卷积核对应的中心节点；所述节点分组函数是指将卷积区域分为主节点、副中心节点和其余相邻节点三组，每个分组共享一个独立的权值，从而形成固定尺寸为3
×
1的图卷积核；所述卷积区域是指距离主节点单位步长的节点所组成的集合。图卷积权值分配函数，简化了图卷积的运算过程，提高了计算效率；节点分组函数可以提高图卷积计算的便捷性。
[0034]步骤2)的具体实现过程包括：
[0035]1)对所述空间特征向量进行平均下采样预处理；
[0036]2)将预处理后的空间特征向量输入到LSTM网络，计算各时刻的时间特征；
[0037]3)利用注意力机制融合各时刻本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于循环图卷积网络的驾驶员驾驶行为识别方法，其特征在于，包括以下步骤：1)利用骨架信息构建人体骨架结构图，利用循环图卷积网络对所述骨架结构图进行图卷积运算，提取骨架信息空间特征向量；2)将所述骨架信息空间特征向量作为LSTM网络的输入，计算骨架信息在时间上的动态特征，基于注意力机制融合各时刻的动态特征，获取最终的时空特征向量，利用最终的时空特征向量，计算驾驶员驾驶行为的概率分布，预测驾驶员的驾驶行为。2.根据权利要求1所述的基于循环图卷积网络的驾驶员驾驶行为识别方法，其特征在于，步骤1)的具体实现过程包括：1)输入视频流数据；2)从视频图像中提取骨架信息；3)对所述骨架信息进行批次内归一化预处理；优选地，在循环图卷积网络的每一个卷积层之前均对所述骨架信息进行批次内归一化预处理；4)利用预处理后的骨架信息构建骨架结构图；5)对所述骨架结构图进行图卷积运算，提取骨架信息空间特征。3.根据权利要求2所述的基于循环图卷积网络的驾驶员驾驶行为识别方法，其特征在于，从视频图像中提取骨架信息的具体实现过程包括：利用预训练的CNN网络从视频图像中提取驾驶员骨架节点的像素坐标，第i帧图像的骨架信息以A
t
＝(x1,y1,...,x
i
,y
i
,...x
M
,y
M
)形式储存，(x
i
,y
i
)分别为索引为i的骨架节点的像素横坐标和像素纵坐标；第i帧图像的骨架信息保留驾驶员上半身M个节点坐标，连续T帧图像的骨架信息构成序列Z＝(A1,
…
,A
t
,
…
,A
T
)。4.根据权利要求3所述的基于循环图卷积网络的驾驶员驾驶行为识别方法，其特征在于，步骤4)中，构建的骨架结构图G表示如下：G＝(N,L)；G＝(N,L)；其中，l
ij
为骨架节点n
i
与骨架节点n
j
的连接关系；为预处理后的像素坐标值。5.根据权利要求3所述的基于循环图卷积网络的驾驶员驾驶行为识别方法，其特征在于，步骤5)中，骨架信息空间特征向量其中为节点i的空间特征；征；F
in
为节点状态值；S(n
i
,D)为图采样函数，S(n
i
...

【专利技术属性】
技术研发人员：宋晓琳，潘超鹏，曹昊天，李明俊，
申请(专利权)人：湖南大学，
类型：发明
国别省市：