【技术实现步骤摘要】
基于头部朝向与上半身骨架特征的交警指挥手势识别方法
本专利技术涉及一种自动驾驶领域，特别是关于一种基于头部朝向与上半身骨架特征的交警指挥手势识别方法。
技术介绍
机动车驾驶员必须能够正确识别交警的八种指挥手势，同样地，自动驾驶汽车上路也必须能够准确理解交警的指挥意图，这样才能在需要交警介入协调的特殊情况下，遵照交警指挥手势正确行驶，保证道路交通安全顺畅。交警手势识别技术需应用于广泛的交通场景中，基于可穿戴式传感设备的行为识别方法虽然准确性较好，但使用条件局限性较强，难以在自动驾驶领域推广；而与此同时，视觉传感器在智能汽车上的安装逐渐普及，计算机视觉领域的研究日益成熟，基于视觉的手势识别方法在自动驾驶领域具有更大的应用潜力。当前基于人体骨架信息的手势或动作识别研究非常普遍，人体骨架既保留了人体动作表征，又避免了与动作表征关联较小的外观信息的影响，能够很好地对手势或动作进行建模。基于人体骨架的手势识别一般分为时空特征提取与特征分类两个步骤。针对空间特征提取，一些基于三维骨架信息的动作识别方法中提出了一系列以关节点空间关系...
【技术保护点】
1.一种基于头部朝向与上半身骨架特征的交警指挥手势识别方法，其特征在于包括以下步骤：/n1)车载相机采集得到视频或原始图像序列后，进行交警检测、姿态估计与跟踪，确定目标交警的上半身关节点在图像中的像素坐标；/n2)估计交警头部朝向，通过交警头部朝向判断交警的指挥对象是否为自车；/n3)交警指挥手势识别，包括提取上半身骨架空间特征、提取上半身骨架时序特征和手势分类。/n
【技术特征摘要】
1.一种基于头部朝向与上半身骨架特征的交警指挥手势识别方法，其特征在于包括以下步骤：
1)车载相机采集得到视频或原始图像序列后，进行交警检测、姿态估计与跟踪，确定目标交警的上半身关节点在图像中的像素坐标；
2)估计交警头部朝向，通过交警头部朝向判断交警的指挥对象是否为自车；
3)交警指挥手势识别，包括提取上半身骨架空间特征、提取上半身骨架时序特征和手势分类。
2.如权利要求1所述交警指挥手势识别方法，其特征在于：所述步骤1)中，采用YOLOv3检测出图像中的交警和行人，获取包围每个交警或行人个体的边界框的左上角坐标及框的宽度和高度；然后采用AlphaPose对交警目标进行关节点估计，即获取交警关节点的像素坐标，若图像中有多个交警，则利用AlphaPose中的姿态跟踪技术进行跟踪，为每个交警分配唯一ID。
3.如权利要求1所述交警指挥手势识别方法，其特征在于：所述步骤1)中，采用的特征关节点包括0-鼻、1-左肩、2-右肩、3-左肘、4-右肘、5-左腕、6-右腕和7-肩膀中点共8个。
4.如权利要求1所述交警指挥手势识别方法，其特征在于，所述步骤2)中，具体估计方法包括以下步骤：
2.1)根据已经获取的0-鼻和7-肩膀中点的坐标估计交警头部边界框：设头部边界框为正方形，以鼻为正方形中心，两倍鼻至肩膀中点的距离2a为正方形边长；
2.2)交警头部朝向估计：采用DeepOrientation朝向估计方法，将RGB图像、深度图像或两者同时作为输入，使用改进的BiternionNet作为网络结构，输出是上半身朝向角度的二元数，即角度的余弦值和正弦值；通过将训练数据替换为行人头部边界框图像，网络输出改为行人头部朝向角度的二元数，重新训练网络；将交警头部边界框图像输入训练好的网络模型，最终得到交警头部朝向角度；
2.3)筛选出面向自车进行指挥的交警。
5.如权利要求4所述交警指挥手势识别方法，其特征在于，所述步骤2.3)中，筛选规则为：头部朝向角度估计为0°～45°以及315°～360°之间的交警，认为是正在面向自车进行指挥。
6.如权利要求1所述交警指挥手势识别方法，其特征在于，所述步骤3)中，具体识别方法包括以下步骤：
3.1)提取人体上半身骨架的空间特征：采用互有连接关系的关节点之间的长度和角度特征构成特征向量，用于区分不同手势；
3.2)构造循环网络模型提取上半身骨架时序特征并进行手势分类。
7.如权利要求6所述交警指挥手势识别方法，其特征在于，所述步骤3.1)中，具体包括以下步骤：
3.1.1)关节点对连接关系定义：特征长度和特征角度是针对关节点连线而言，关节点之间的连接关系共有3种，构成10组关节点对，以向量形式表达，分别为：相邻点—左肩-左肘，...
【专利技术属性】
技术研发人员：江昆，杨殿阁，王思佳，杨蒙蒙，黄晋，付峥，
申请(专利权)人：清华大学，
类型：发明
国别省市：北京;11
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。