一种面向无人驾驶车的多维非穿戴式交警手势识别方法及系统技术方案

本发明专利技术公开了一种面向无人驾驶车的多维非穿戴式交警手势识别方法及系统，其方法是：从安置于道口的四台深度传感器获取交警手势四维数据源，并提取具有描述性和区分性的交警手势特征，结合交警手势特征字典库识别当前交警手势以及指令朝向，并将当前地理位置坐标、交警手势识别结果、指令所属方向经无线广播一并传输至道口的无人驾驶车，车辆对接收到的信息进行解析提取行驶方向上的相应交警指令，并根据指令进入自动响应状态；系统包括交警手势数据获取装置、交警手势识别装置和无人驾驶车响应装置。本发明专利技术识别速度快，不依赖于穿戴式器具，交警指挥自由，不受光照、天气、复杂背景等因素的影响，且具有较好的鲁棒性。

【技术实现步骤摘要】

本专利技术属于计算机视觉与模式识别
，具体地，涉及一种面向无人驾驶车的多维非穿戴式交警手势识别方法及系统。
技术介绍
随着互联网技术的迅速发展，无人驾驶汽车正在逐渐成为现实。作为未来智能交通系统的重要组成部分，能够准确识别交警手势并及时作出判断是无人驾驶汽车安全行驶的重要保障。现有技术，申请号为201410222122.5的中国专利技术专利公开了一种面向无人驾驶车的交通标志识别方法，针对二维静止的交通标志进行识别；申请号为201510208977.7的中国专利技术专利公开了一种应用于无人驾驶汽车的交通灯快速检测算法。但在一些特殊情况，如交通信号灯失灵、突发性交通拥堵的路口、重特大交通事故现场必须要采取交警手势指挥，随着交通拥挤的日趋严重，交警手势的配合很好地弥补了单靠交通灯协调的不足，是道路交通有序、安全、畅通的保障；申请号为200810137513.1的中国专利技术专利公开了基于手势识别的多功能无线交警手势识别系统，依靠佩戴式手套获取交警手部挥动时产生的加速度信号识别交警手势，除了频繁更换电池的不便也给交警指挥带来了自由度的限制；申请号为201110045209.6的中国专本文档来自技高网...

【技术保护点】
一种面向无人驾驶车的多维非穿戴式交警手势识别方法，其特征在于该方法包括如下步骤：第一步，获取交警手势数据集选取数名交警员分别执行8种交警手势，利用深度传感器采集交警员正面、背面的8种交警手势动作片段，每个片段包含连续60帧深度图像，分别得到8种交警手势正面数据集及背面数据集；第二步，提取局部特征向量(1)空间关节点提取分别从8种交警手势正面数据集及背面数据集动作片段的深度图像中提取交警员空间骨架的20个空间关节点，选取其中的13个空间关节点作为交警手势的表征；所述13个空间关节点为臀、左臀、右臀、肩、头、左肩、右肩、左手肘、右手肘、左手腕、右手腕、左手、右手；(2)圆柱坐标系建立采用圆柱体作为...

【技术特征摘要】
1.一种面向无人驾驶车的多维非穿戴式交警手势识别方法，其特征在于该方法包括如下步骤：第一步，获取交警手势数据集选取数名交警员分别执行8种交警手势，利用深度传感器采集交警员正面、背面的8种交警手势动作片段，每个片段包含连续60帧深度图像，分别得到8种交警手势正面数据集及背面数据集；第二步，提取局部特征向量(1)空间关节点提取分别从8种交警手势正面数据集及背面数据集动作片段的深度图像中提取交警员空间骨架的20个空间关节点，选取其中的13个空间关节点作为交警手势的表征；所述13个空间关节点为臀、左臀、右臀、肩、头、左肩、右肩、左手肘、右手肘、左手腕、右手腕、左手、右手；(2)圆柱坐标系建立采用圆柱体作为交警员空间骨架的包络面，利用臀这一空间关节点作为中心，左臀、右臀空间关节点连线作为横轴，以直行这一交警手势的空间骨架距离为半径(直行交警手势对应圆柱包络面半径最大)，确立圆柱坐标系(3)圆柱体网格划分对圆柱体进行网格划分，两个方向上采取均匀划分，z方向进行上下不均匀划分，通过划分完成对网格按顺序作标号处理，每一个关节点都在唯一的区域内，标识出不同交警手势不同片段的空间关节点在圆柱体中所处的位置；(4)获取初始局部特征向量用拉普拉斯分布作为空间关节点在圆柱体三个方向上不同位置分布的概率密度，对除去臀、左臀、右臀的剩余10个空间关节点，即肩、头、左肩、右肩、左手肘、右手肘、左手腕、右手腕、左手、右手，在圆柱体中计算每一个空间节点自身所在网格及相邻8块网格的概率，作为初始局部特征向量，即交警手势动作片段中一帧深度图像特征向量；(5)初始局部特征向量降维采用基于核密度估计(KernelDensity Estimation,KDE)的特征选择算法对上述初始局部特征向量进行特征降维，得到局部特征向量；(6)重复本步(4)、(5)，分别得到8种交警手势正面数据集、背面数据集对应的局部特征向量；第三步，字典学习将第二步(6)的局部特征向量按照稀疏编码的训练过程进行聚类，生成基底向量，构成稀疏字典；第四步，支持向量机SVM分类器训练(1)生成稀疏向量对稀疏字典进行稀疏编码，生成稀疏向量；(2)稀疏向量的最大值合并对稀疏向量使用最大值合并算法，将稀疏向量集合中每一维的最大绝对值保留下来，得到交警手势全局特征向量；(3)SVM分类器1训练将所得交警手势正面数据集、背面数据集对应的全局特征向量用作SVM分类器1的训练；(4)SVM分类器2训练将所得交警手势正面数据集对应的全局特征向量用作SVM分类器2的训练；第五步，获取道口待识别交警手势数据集在道口东西南北四个方向安置4台深度传感器，同时获取交警正面、背面、左侧面、右侧面交警手势的动作片段，每个片段包含连续60帧深度图像，分别得到待识别交警手势左侧面、右侧面、正面、背面数据集，并标记四个方向数据集对应的深度传感器；第六步，提取待识别交警手势数据集全局特征向量(1)空间关节点提取从上述待识别交警手势左侧面、右侧面、正面、背面数据集动作片段的深度图像中提取交警空间骨架的20个空间关节点，选取其中的13个空间关节点作为交警手势的表征；所述13个空间关节点为臀、左臀、右臀、肩、头、左肩、右肩、左手肘、右手肘、左手腕、右手腕、左手、右手；(2)数据预处理根据交警下半身空间关节点的个数剔除左侧面和右侧面的数据集，余留正面、背面数据集；(3)圆柱坐标系建立采用圆柱体作为交警空间骨架的包络面，利用臀这一空间关节点作为中心，左臀、右臀空间关节点连线作为横轴，以直行这一交警手势的空间骨架距离为半径(直行交警手势对应圆柱包络面半径最大)，确立圆柱坐标系(4)圆柱体网格划分对圆柱体进行网格划分，两个方向上采取均匀划分，z方向进行上下不均匀划分，通过划分完成对网格按顺序作标号处理，每一个关节点都能在唯一的区域内，标识出不同交警手势不同片段的...

【专利技术属性】
技术研发人员：邱崧，凌佩佩，蔡茗名，钟阳，徐伟，刘莹莹，贾高杰，金豫，
申请(专利权)人：华东师范大学，
类型：发明
国别省市：上海;31