轻量级卷积时空简单循环单元模型的驾驶动作识别方法技术

本发明专利技术涉及一种轻量级卷积时空简单循环单元模型的驾驶动作识别方法，其对单目摄像头采集的RGB图像序列，采用基于MobileNetV3网络的人体姿态估计算法，逐帧提取驾驶员上肢的关节点坐标，得到与图像序列对应的骨架序列；构建时空域SRU简单循环单元ST‑SRU模型，针对同一帧中不同关节点的时间和空间依赖关系，建立ST‑SRU模型；采用ST‑SRU模型对骨架序列进行分类，实现对多类驾驶动作的识别，并针对步骤一获取的驾驶员上肢关节点的骨架序列，采用步骤二建立的ST‑SRU模型，对骨架序列进行分类。由此，采用基于MobileNetV3的轻量级卷积神经网络获取驾驶员关节点坐标，相对于现有的深层的CNN模型，所提方法大大降低了参数数量，提高了算法的运行速度。计算效率高，提升了驾驶动作识别的准确率。

【技术实现步骤摘要】
轻量级卷积时空简单循环单元模型的驾驶动作识别方法
本专利技术涉及一种驾驶动作识别方法，尤其涉及一种轻量级卷积时空简单循环单元模型的驾驶动作识别方法。
技术介绍
驾驶员在驾驶过程中普遍存在的危险驾驶行为，是引发交通事故的一个重要原因。例如，在驾驶过程中看手机、打电话、喝水、吃东西等行为大大增加了发生交通事故的风险。每年美国发生近1100万起交通事故，据估计，如果驾驶员不存在危险驾驶行为，则可以避免其中近36％的交通事故发生，为了最大程度地减少交通事故的发生，危险驾驶行为识别系统已成为各国专家研究的热点。目前，在对驾驶行为识别方法的研究中，采集驾驶员数据的设备主要有单目摄像头和Kinect深度相机。在基于单目摄像头的研究中，能够被应用于实际场景中的方法大多数集中于对驾驶员头部的监控，没有关注到驾驶员的肢体运动情况。基于Kinect深度相机的研究方法，虽然能够通过三维骨骼数据很好的关注驾驶员的肢体运动情况，并且对多类危险驾驶行为也具有很好的性能。然而，Kinect深度相机价格昂贵、体积大，不能满足实际应用中嵌入式设备或系统的低成本、小尺寸的要求。因此，基于Kinect的方法难以普及，实用性和市场推广性较差。目前将驾驶行为识别算法运行在低成本、小尺寸的嵌入式设备上，并且要求较高的准确性、实时性、鲁棒性，并不是一件容易的事，这仍然是一个需要继续深入研究的问题。同时，人体姿态估计技术是一种能够替代Kinect相机来获取人体关节点坐标的方法，通过人体姿态估计技术对RGB图像提取出驾驶员的上肢关节点坐标并进行分析，可以弥补目前基于单目摄像头的方法中很少能识别驾驶员肢体运动情况的不足。基于卷积神经网络的姿态估计算法能够取得很好的效果并且也是目前的主流方法。然而，为了到达很好的性能，用于姿态估计的CNN模型通常具有复杂的网络结构和很深的深度，由于网络层数深、参数多、计算量大，往往需要通过GPU加速才能够实时运行，这对硬件配置有较高要求。因此，研究用于计算能力较低的嵌入式设备上的轻量级姿态估计算法，也是当前发展的方向之一。近年来，深度学习技术发展迅猛，尤其是深度学习在移动端和嵌入式设备上的应用已经取得了突破性进展，涌现处理许多具有实用性的算法。MobileNet是一种针对移动端设备执行图像分类任务而设计的CNN模型，并且经过两年的优化和改进，2019年发展到了最新的MobileNetV3模型。Tao等于2018年提出的简单循环单元(SimpleRecurrentUnits,SRU)是一种计算效率高、推理速度快的循环网络，可以在许多序列处理任务替换LSTM模型，被广泛应用在机器翻译、语音识别、动作识别等领域。有鉴于上述的缺陷，本设计人，积极加以研究创新，以期创设一种轻量级卷积时空简单循环单元模型的驾驶动作识别方法，使其更具有产业上的利用价值。
技术实现思路
为解决上述技术问题，本专利技术的目的是提供一种轻量级卷积时空简单循环单元模型的驾驶动作识别方法。本专利技术的轻量级卷积时空简单循环单元模型的驾驶动作识别方法，其特征在于包括以下步骤：步骤一，对单目摄像头采集的RGB图像序列，采用基于MobileNetV3网络的人体姿态估计算法，逐帧提取驾驶员上肢的关节点坐标，得到与图像序列对应的骨架序列；步骤二，构建时空域SRU简单循环单元ST-SRU模型，针对同一帧中不同关节点的时间和空间依赖关系，建立ST-SRU模型；步骤三，采用ST-SRU模型对骨架序列进行分类，实现对多类驾驶动作的识别，并针对步骤一获取的驾驶员上肢关节点的骨架序列，采用步骤二建立的ST-SRU模型，对骨架序列进行分类。进一步地，上述的轻量级卷积时空简单循环单元模型的驾驶动作识别方法，其中，所述步骤一中，首先，定义输入是长宽为224×224的三通道RGB图片，通过基于MobileNetV3网络的人体姿态估计算法，输出一个大小为224×224×3J的张量；然后，该张量按照第3个维度，分为3J个224×224的图，分别为J个热力图，J个X方向偏移量图和J个Y方向偏移量图；最后，从热力图、X方向偏移量图和Y方向偏移量图计算出J个关节点坐标的预测值，对于第j个关节点的预测位置，计算公式如下：pxj＝mxj+oxj(mxj,myj)；(2)pyj＝myj+oyj(mxj,myj)；(3)其中，hj是第j张热力图，(mxj,myj)是hj的像素值最大的位置，表示最有可能在第j个关节点附近的位置，oxj表示第j张X方向上的偏移量图，oyj表示第j张Y方向上的偏移量图，由于(mxj,myj)是一个粗略的预测位置，如式(2)和(3)所示，在给(mxj,myj)加上预测的偏移量后，得到相对精确的第j个关节点的预测位置(pxj,pyj)。更进一步地，上述的轻量级卷积时空简单循环单元模型的驾驶动作识别方法，其中，所述步骤二中，用j∈{1,2,...,J}和t∈{1,2,...,T}分别表示骨架序列和同一个骨架中关节点的下标，ST-SRU模型在时空步(j,t)接收了三种输入数据，包括对应于第t个骨架与第j个节点的特征信息Ij,t、前一个空间步的内部状态cj-1,t和前一个时间步的内部状态cj,t-1，ST-SRU模型涉及的计算公式如下：rj,t＝sigmoid(WrIj,t+br)；(7)hj,t＝rj,tetanh(Cj,t)+(1-rj,t)eIj,t；(9)其中，W是输入数据的线性变换矩阵，和Wr分别是时间遗忘门、空间遗忘门和重置门的权重矩阵；所述矩阵的大小都为d×d，其中，d是ST-SRU模型内部状态的尺寸大小，e表示矩阵的点积运算；所述ST-SRU模型拥有两个遗忘门，分别用来忘记时间域和空间域上过去的上下文信息：对应于空间域，对应于时间域，hj,t表示在该时空步对应的输出状态，并通过重置门rj,t进行调节，所述sigmoid和tanh是激活函数。再进一步地，上述的轻量级卷积时空简单循环单元模型的驾驶动作识别方法，其中，所述步骤三中，对于一个长度为T的骨架序列，步骤一获得的第t个骨架的特征表示为xt，t∈{1,2,…,T}，通过3层叠加的ST-SRU模型，上一层ST-SRU模型层的输出作为下一层ST-SRU模型层的输入，在逐步处理完骨架序列后，将最后一层的输出状态hi,t输入到Softmax分类器，计算出驾驶动作的分类结果向量yp，yp＝softmax(wh3,T+b)；(10)其中，softmax是归一化指数函数，w是全连接层的权重矩阵，b是偏置向量，它们用于调整h3,T的大小，当ST-SRU模型内部状态的尺寸大小为d时，对于k个类别的驾驶动作，则w的大小为k×d，b的大小为1×b。借由上述方案，本专利技术至少具有以下优点：1、采用基于MobileNetV3的轻量级卷积神经网络获取驾驶员关节点坐标，相对于现有的深层的CNN模型，所提方法大大降低了参数数量，提本文档来自技高网...

【技术保护点】
1.轻量级卷积时空简单循环单元模型的驾驶动作识别方法，其特征在于包括以下步骤：/n步骤一，对单目摄像头采集的RGB图像序列，采用基于MobileNetV3网络的人体姿态估计算法，逐帧提取驾驶员上肢的关节点坐标，得到与图像序列对应的骨架序列；/n步骤二，构建时空域SRU简单循环单元ST-SRU模型，针对同一帧中不同关节点的时间和空间依赖关系，建立ST-SRU模型；/n步骤三，采用ST-SRU模型对骨架序列进行分类，实现对多类驾驶动作的识别，并针对步骤一获取的驾驶员上肢关节点的骨架序列，采用步骤二建立的ST-SRU模型，对骨架序列进行分类。/n

【技术特征摘要】
1.轻量级卷积时空简单循环单元模型的驾驶动作识别方法，其特征在于包括以下步骤：
步骤一，对单目摄像头采集的RGB图像序列，采用基于MobileNetV3网络的人体姿态估计算法，逐帧提取驾驶员上肢的关节点坐标，得到与图像序列对应的骨架序列；
步骤二，构建时空域SRU简单循环单元ST-SRU模型，针对同一帧中不同关节点的时间和空间依赖关系，建立ST-SRU模型；
步骤三，采用ST-SRU模型对骨架序列进行分类，实现对多类驾驶动作的识别，并针对步骤一获取的驾驶员上肢关节点的骨架序列，采用步骤二建立的ST-SRU模型，对骨架序列进行分类。


2.根据权利要求1所述的轻量级卷积时空简单循环单元模型的驾驶动作识别方法，其特征在于：所述步骤一中，
首先，定义输入是长宽为224×224的三通道RGB图片，通过基于MobileNetV3网络的人体姿态估计算法，输出一个大小为224×224×3J的张量；
然后，该张量按照第3个维度，分为3J个224×224的图，分别为J个热力图，J个X方向偏移量图和J个Y方向偏移量图；
最后，从热力图、X方向偏移量图和Y方向偏移量图计算出J个关节点坐标的预测值，对于第j个关节点的预测位置，计算公式如下：



pxj＝mxj+oxj(mxj,myj)；(2)
pyj＝myj+oyj(mxj,myj)；(3)
其中，hj是第j张热力图，(mxj,myj)是hj的像素值最大的位置，表示最有可能在第j个关节点附近的位置，oxj表示第j张X方向上的偏移量图，oyj表示第j张Y方向上的偏移量图，由于(mxj,myj)是一个粗略的预测位置，如式(2)和(3)所示，在给(mxj,myj)加上预测的偏移量后，得到相对精确的第j个关节点的预测位置(pxj,pyj)。


3.根据权利要求1所述的轻量级卷积时空简单循环单元模型的驾驶动作识别方法，其特征在于：所述步骤二中，

【专利技术属性】
技术研发人员：吴荣，
申请(专利权)人：吴荣，
类型：发明
国别省市：江苏;32