一种基于STT-LSTM网络的手势识别方法及系统技术方案

本发明专利技术公开了一种基于STT‑LSTM网络的手势识别方法，构建STT‑LSTM网络模型，该模型含有两层STT‑LSTM网络；将RGB特征和光流特征分别传进第一层STT‑LSTM网络中，在第一层STT‑LSTM网络的训练过程中，进行初始化全局上下文信息，并将初始化的全局上下文信息传入到第二层STT‑LSTM网络，在第二层STT‑LSTM网络中不断的进行迭代更新，逐步完善上下文信息，将第二层STT‑LSTM网络最终输出的关节点进行重组，形成含手势动作信息的节点管道，并作为多分类器预测交警手势的分类标签。本发明专利技术方法可准确识别手势指挥动作，能够有效地保证交通的畅通与安全性，降低事故发生几率。

【技术实现步骤摘要】
一种基于STT-LSTM网络的手势识别方法及系统
本专利技术涉及图像与视频分析
，具体涉及一种基于STT-LSTM网络的手势识别方法及系统。
技术介绍
随着我国汽车行业的迅速发展，交通拥堵和交通安全问题也随之而来。交通警察在交通行业的重要性也越来越大，其主要职责是维护交通秩序，处理交通事故，查纠道路交通违法行为，负责机动车的登记管理等。而交警手势就是交通警察保证交通运输的畅通与安全的一个重要工具。在机动车行驶时经常会遇到如下问题：首先，接近60％的司机不能完全识别交警的指挥手势含义，造成交警指挥效率降低，行车安全无法保证；其次，在雨雪天气或夜间行车时，能见度低，交警手势难以识别；再有，交通管制路段车流量很大时由于车辆阻挡，交警手势指挥距离有限。针对上述问题，继续研究一种辅助手段来对交警执法的手势指挥动作进行识别，并在车载或佩戴式显示屏上清晰显示出来。这样司机就可以获得明确的指挥信息，并及时做出反应，降低事故发生几率。
技术实现思路
本专利技术的目的在于克服现有技术中的不足，提出了一种基于STT-LSTM网络的手势识别方法及系统，准确识别手势指挥动作，能够有效地保证交通的畅通与安全性本文档来自技高网...

【技术保护点】
1.一种基于STT‑LSTM网络的手势识别方法，其特征是，包括以下步骤：步骤S1，构建STT‑LSTM网络模型，该模型含有两层STT‑LSTM网络，每层STT‑LSTM网络包含有两个LSTM网络和一个全连接层；步骤S2，获取交警手势骨架视频，提取视频所有帧中关节点的RGB特征和光流特征；步骤S3，将RGB特征和光流特征分别传进第一层STT‑LSTM网络中的两个LSTM网络，分别训练两个LSTM网络并将其输出分别输入到全连接层进行融合，获得初始化聚焦包含交警动作信息的关节点和初始化全局上下文信息；步骤S4，将初始化的聚焦包含交警动作信息的关节点和由全局上下文信息计算得出的信息门分别传入第二层ST...

【技术特征摘要】
1.一种基于STT-LSTM网络的手势识别方法，其特征是，包括以下步骤：步骤S1，构建STT-LSTM网络模型，该模型含有两层STT-LSTM网络，每层STT-LSTM网络包含有两个LSTM网络和一个全连接层；步骤S2，获取交警手势骨架视频，提取视频所有帧中关节点的RGB特征和光流特征；步骤S3，将RGB特征和光流特征分别传进第一层STT-LSTM网络中的两个LSTM网络，分别训练两个LSTM网络并将其输出分别输入到全连接层进行融合，获得初始化聚焦包含交警动作信息的关节点和初始化全局上下文信息；步骤S4，将初始化的聚焦包含交警动作信息的关节点和由全局上下文信息计算得出的信息门分别传入第二层STT-LSTM网络中两个LSTM网络，训练两个LSTM网络并将其输出输入全连接层进行融合，融合后获得的关节点和全局上下文信息循环输入第二层STT-LSTM网络，进行不断迭代，直至迭代结束；步骤S5，将第二层STT-LSTM网络最终输出的关节点进行重组，形成含手势动作信息的节点管道，并作为多分类器预测交警手势的分类标签。2.根据权利要求1所述的一种基于STT-LSTM网络的手势识别方法，其特征是，STT-LSTM网络模型构建步骤如下：步骤S1-1，搭建第一层STT-LSTM网络，由两个LSTM网络和一个全连接层构成，两个LSTM网络中，其中一个称为S-LSTM，另一个称为T-LSTM；步骤S1-2，搭建第二层STT-LSTM网络，由两个LSTM网络和一个全连接层构成，两个LSTM网络中，其中一个称为S-LSTM，另一个称为T-LSTM。3.根据权利要求1所述的一种基于STT-LSTM网络的手势识别方法，其特征是，提取手势骨架视频的RGB特征和光流特征的过程如下所述：步骤S2-1，在空间方向上，将交警手势骨架视频集中，同一帧图像中的关节点像链条一样线性排列，作为交警手势骨架视频的RGB特征；步骤S2-2，在时间方向上，将交警手势骨架视频集中，不同帧中的相应位置处的关节点按线性排列的方式进行排列，作为交警手势骨架视频的光流特征。4.根据权利要求2所述的一种基于STT-LSTM网络的手势识别方法，其特征是，步骤S3中，训练第一层STT-LSTM网络过程如下步骤所示：步骤S3-1，RGB特征输入S-LSTM网络，光流特征输入T-LSTM网络；步骤S3-2，根据S-LSTM网络的公式得到h(S)j,t＝fj,t*hj-1,t+ij,t*uj,t，其中h(S)j,t为第t帧中第j个关节点的单元状态，hj-1,t为第t帧中第j-1个关节点的单元状态，fj,t为第t帧中第j个节点处的遗忘门，ij,t为第t帧中第j个关节点的RGB特征，uj,t为第t帧中第j个关节点的记忆，计算出S-LSTM输出特征的值为h(S)j,t(1≤j≤n)，其中j表示RGB特征中第j个关节点，n为RGB特征中的关节点个数，t为时间，在这里表示为第t帧图像；步骤S3-3，根据T-LSTM网络的公式h(T)j,t＝fj,t*hj,t-1+ij,t*uj,t，其中其中h(T)j,t为第t帧中第j个关节点的单元状态，hj-1,t为第t帧中第j-1个关节点的单元状态，fj,t为第...

【专利技术属性】
技术研发人员：李晓飞，汪长江，吴聪，柴磊，
申请(专利权)人：南京邮电大学，
类型：发明
国别省市：江苏,32