基于头部朝向与上半身骨架特征的交警指挥手势识别方法技术

本发明专利技术涉及一种基于头部朝向与上半身骨架特征的交警指挥手势识别方法，其包括以下步骤：车载相机采集得到视频或原始图像序列后，进行交警检测、姿态估计与跟踪，确定目标交警的上半身关节点在图像中的像素坐标；估计交警头部朝向，通过交警头部朝向判断交警的指挥对象是否为自车；交警指挥手势识别，包括提取上半身骨架空间特征、提取上半身骨架时序特征和手势分类。本发明专利技术具有较高的识别准确率，能保证识别的稳定性；在节省计算资源的同时还能避免自车非交警识别对象时对手势的误判。

【技术实现步骤摘要】
基于头部朝向与上半身骨架特征的交警指挥手势识别方法
本专利技术涉及一种自动驾驶领域，特别是关于一种基于头部朝向与上半身骨架特征的交警指挥手势识别方法。
技术介绍
机动车驾驶员必须能够正确识别交警的八种指挥手势，同样地，自动驾驶汽车上路也必须能够准确理解交警的指挥意图，这样才能在需要交警介入协调的特殊情况下，遵照交警指挥手势正确行驶，保证道路交通安全顺畅。交警手势识别技术需应用于广泛的交通场景中，基于可穿戴式传感设备的行为识别方法虽然准确性较好，但使用条件局限性较强，难以在自动驾驶领域推广；而与此同时，视觉传感器在智能汽车上的安装逐渐普及，计算机视觉领域的研究日益成熟，基于视觉的手势识别方法在自动驾驶领域具有更大的应用潜力。当前基于人体骨架信息的手势或动作识别研究非常普遍，人体骨架既保留了人体动作表征，又避免了与动作表征关联较小的外观信息的影响，能够很好地对手势或动作进行建模。基于人体骨架的手势识别一般分为时空特征提取与特征分类两个步骤。针对空间特征提取，一些基于三维骨架信息的动作识别方法中提出了一系列以关节点空间关系描述为核心的特征构建方法，例如以关节点向量的长度、角度等作为特征；针对时序特征提取，通常可采用相邻帧关节点的位置变化来描述，使用循环神经网络通过学习提取时序特征也是常用方法；近几年兴起的图神经网络也是可用于人体骨架时空特征提取的有效方法。针对特征分类，一般可采用支持向量机、随机森林、神经网络等方法。现有的基于人体骨架的手势识别方法在相关数据集上可获得较高的准确率，也可达到实时运行的要求，但对实际交通场景下应用的考虑尚有不足。一方面，由于人流、车流来往复杂，图像中交警被部分遮挡的现象时常发生，为保证手势识别的稳定性，应考虑减少对手势表征作用较小的特征的依赖。另一方面，实际交通中，车载相机拍摄到的交警可能正在指挥其他方向的车辆，自车并非交警的指挥对象，由于训练时所用的数据通常只有交警面向相机进行指挥的情形，因此现有方法直接应用于实际交通中往往会有许多错判结果。
技术实现思路
针对上述问题，本专利技术的目的是提供一种基于头部朝向与上半身骨架特征的交警指挥手势识别方法，其具有较高的识别准确率，能保证识别的稳定性；在节省计算资源的同时还能避免自车非交警识别对象时对手势的误判。为实现上述目的，本专利技术采取以下技术方案：一种基于头部朝向与上半身骨架特征的交警指挥手势识别方法，其包括以下步骤：1)车载相机采集得到视频或原始图像序列后，进行交警检测、姿态估计与跟踪，确定目标交警的上半身关节点在图像中的像素坐标；2)估计交警头部朝向，通过交警头部朝向判断交警的指挥对象是否为自车；3)交警指挥手势识别，包括提取上半身骨架空间特征、提取上半身骨架时序特征和手势分类。进一步，所述步骤1)中，采用YOLOv3检测出图像中的交警和行人，获取包围每个交警或行人个体的边界框的左上角坐标及框的宽度和高度；然后采用AlphaPose对交警目标进行关节点估计，即获取交警关节点的像素坐标，若图像中有多个交警，则利用AlphaPose中的姿态跟踪技术进行跟踪，为每个交警分配唯一ID。进一步，所述步骤1)中，采用的特征关节点包括0-鼻、1-左肩、2-右肩、3-左肘、4-右肘、5-左腕、6-右腕和7-肩膀中点共8个。进一步，所述步骤2)中，具体估计方法包括以下步骤：2.1)根据已经获取的0-鼻和7-肩膀中点的坐标估计交警头部边界框：设头部边界框为正方形，以鼻为正方形中心，两倍鼻至肩膀中点的距离2a为正方形边长；2.2)交警头部朝向估计：采用DeepOrientation朝向估计方法，将RGB图像、深度图像或两者同时作为输入，使用改进的BiternionNet作为网络结构，输出是上半身朝向角度的二元数，即角度的余弦值和正弦值；通过将训练数据替换为行人头部边界框图像，网络输出改为行人头部朝向角度的二元数，重新训练网络；将交警头部边界框图像输入训练好的网络模型，最终得到交警头部朝向角度；2.3)筛选出面向自车进行指挥的交警。进一步，所述步骤2.3)中，筛选规则为：头部朝向角度估计为0°～45°以及315°～360°之间的交警，认为是正在面向自车进行指挥。进一步，所述步骤3)中，具体识别方法包括以下步骤：3.1)提取人体上半身骨架的空间特征：采用互有连接关系的关节点之间的长度和角度特征构成特征向量，用于区分不同手势；3.2)构造循环网络模型提取上半身骨架时序特征并进行手势分类。进一步，所述步骤3.1)中，具体包括以下步骤：3.1.1)关节点对连接关系定义：特征长度和特征角度是针对关节点连线而言，关节点之间的连接关系共有3种，构成10组关节点对，以向量形式表达，分别为：相邻点—左肩-左肘，左肘-左腕，右肩-右肘，右肘-右腕，左肩-右肩；上肢首尾点—左肩-左腕，右肩-右腕；上半身骨架模型末端点—鼻-左腕，鼻-右腕，左腕-右腕；3.1.2)长度特征定义：共定义了10组关节点对，相应产生10段长度，对长度进行标准化处理，以鼻到肩膀中点的距离a作为标准化的分母，设长度特征为F1：a＝‖X0-X7‖式中，C表示所有关节点对连接关系的集合，为具有连接关系c的一组关节点对中的第i个点在图像中的像素坐标，，i＝1,2，序号1表示关节点对向量的起点，2表示终点，当两个关节点中任意一个未被检测出来，直接令其长度为0；X0为交警鼻部的像素坐标，X7为交警左肩和右肩像素坐标的中点，当鼻、左肩、右肩任一关节点未被检测出来，直接令a＝1；3.1.3)角度特征定义：将关节点对向量与重力方向夹角的余弦值和正弦值作为角度特征，设重力方向的单位向量为u0,则角度特征向量F2为：如果任一关节点未被检测出来，直接令角度特征为[0,0]。进一步，所述步骤3.2)中，设t时刻的空间特征向量为将t至t+b-1时刻共b帧空间特征向量输入手势分类模型，模型输出每一时刻的手势分类结果。进一步，所述手势分类模型的建立方法包括以下步骤：3.2.1)采集交警手势视频，建立数据集；3.2.2)计算交警关节点空间特征向量：对每帧图像中的交警计算其空间特征向量；3.2.3)构建网络模型：采用长短时记忆网络LSTM，网络输入的形状为[训练样本数N，时间步长b，特征维数d]，输出每一时刻每种手势的概率，概率最高的手势即为分类结果；3.2.4)训练及验证：在训练过程中引入验证集，验证集中的交警与训练集中的交警不重复，训练过程中，每隔一预先设定周期，在验证集上测试模型性能；3.2.5)分类结果后处理：采用基于投票机制的后处理方法对结果进行处理。进一步，所述步骤3.2.5)中，采用双重投票机制：第一重投票针对模型输出结果，融合最接近输出时刻的多帧分类结果：{Ft-b′+1,…,Ft}→Mo{Ot-j+1,…,Ot}式中，左侧为输入模型的关节点空间特征向量集合，共b′帧；右侧Mo表示求取该序列的众数本文档来自技高网...

【技术保护点】
1.一种基于头部朝向与上半身骨架特征的交警指挥手势识别方法，其特征在于包括以下步骤：/n1)车载相机采集得到视频或原始图像序列后，进行交警检测、姿态估计与跟踪，确定目标交警的上半身关节点在图像中的像素坐标；/n2)估计交警头部朝向，通过交警头部朝向判断交警的指挥对象是否为自车；/n3)交警指挥手势识别，包括提取上半身骨架空间特征、提取上半身骨架时序特征和手势分类。/n

【技术特征摘要】
1.一种基于头部朝向与上半身骨架特征的交警指挥手势识别方法，其特征在于包括以下步骤：
1)车载相机采集得到视频或原始图像序列后，进行交警检测、姿态估计与跟踪，确定目标交警的上半身关节点在图像中的像素坐标；
2)估计交警头部朝向，通过交警头部朝向判断交警的指挥对象是否为自车；
3)交警指挥手势识别，包括提取上半身骨架空间特征、提取上半身骨架时序特征和手势分类。


2.如权利要求1所述交警指挥手势识别方法，其特征在于：所述步骤1)中，采用YOLOv3检测出图像中的交警和行人，获取包围每个交警或行人个体的边界框的左上角坐标及框的宽度和高度；然后采用AlphaPose对交警目标进行关节点估计，即获取交警关节点的像素坐标，若图像中有多个交警，则利用AlphaPose中的姿态跟踪技术进行跟踪，为每个交警分配唯一ID。


3.如权利要求1所述交警指挥手势识别方法，其特征在于：所述步骤1)中，采用的特征关节点包括0-鼻、1-左肩、2-右肩、3-左肘、4-右肘、5-左腕、6-右腕和7-肩膀中点共8个。


4.如权利要求1所述交警指挥手势识别方法，其特征在于，所述步骤2)中，具体估计方法包括以下步骤：
2.1)根据已经获取的0-鼻和7-肩膀中点的坐标估计交警头部边界框：设头部边界框为正方形，以鼻为正方形中心，两倍鼻至肩膀中点的距离2a为正方形边长；
2.2)交警头部朝向估计：采用DeepOrientation朝向估计方法，将RGB图像、深度图像或两者同时作为输入，使用改进的BiternionNet作为网络结构，输出是上半身朝向角度的二元数，即角度的余弦值和正弦值；通过将训练数据替换为行人头部边界框图像，网络输出改为行人头部朝向角度的二元数，重新训练网络；将交警头部边界框图像输入训练好的网络模型，最终得到交警头部朝向角度；
2.3)筛选出面向自车进行指挥的交警。


5.如权利要求4所述交警指挥手势识别方法，其特征在于，所述步骤2.3)中，筛选规则为：头部朝向角度估计为0°～45°以及315°～360°之间的交警，认为是正在面向自车进行指挥。


6.如权利要求1所述交警指挥手势识别方法，其特征在于，所述步骤3)中，具体识别方法包括以下步骤：
3.1)提取人体上半身骨架的空间特征：采用互有连接关系的关节点之间的长度和角度特征构成特征向量，用于区分不同手势；
3.2)构造循环网络模型提取上半身骨架时序特征并进行手势分类。


7.如权利要求6所述交警指挥手势识别方法，其特征在于，所述步骤3.1)中，具体包括以下步骤：
3.1.1)关节点对连接关系定义：特征长度和特征角度是针对关节点连线而言，关节点之间的连接关系共有3种，构成10组关节点对，以向量形式表达，分别为：相邻点—左肩-左肘，...

【专利技术属性】
技术研发人员：江昆，杨殿阁，王思佳，杨蒙蒙，黄晋，付峥，
申请(专利权)人：清华大学，
类型：发明
国别省市：北京;11