【技术实现步骤摘要】
基于双分支时空图卷积网络的交警手势识别方法
本专利技术涉及一种智能汽车的环境感知领域,特别是关于一种在基于人工智能技术的交通场景中应用的基于双分支时空图卷积网络的交警手势识别方法。
技术介绍
对于自动驾驶而言,交警手势识别是其环境感知与环境认知任务中的关键部分。交警手势是用于指挥交通,保障道路交通安全畅通的一种方法,熟知交警手势信号有利于我们实现安全文明驾驶。交通行驶规范要求驾驶人能够准确识别八种交警手势,而且在交通场景中交警指挥信号优先级高于交通信号灯,在有交警介入的情形下车辆必须服从交警指挥。因此自动驾驶汽车应当具备识别交警手势的能力,以应对有交警介入的特殊情况,保证道路交通安全畅通。目前对交警手势识别的研究有两大类:基于可穿戴式传感器的方法以及基于视觉传感器的方法,对于自动驾驶汽车而言基于视觉方法更具有可行性。传统的基于视觉的交警手势识别方法分为两步,首先基于视频序列提取交警手势的空间特征,其次对空间特征分类。然而由于交警的身高、衣着,交通场景光照以及复杂度等条件的影响,交警手势空间特征提取存在较大误差;同时传 ...
【技术保护点】
1.一种基于双分支时空图卷积网络的交警手势识别方法,其特征在于包括以下步骤:/n1)对交警手势视频采用深度卷积网络对交警关节点以及骨架进行提取;/n2)使用信息表征方法来双路表征时空图卷积网络的输入信息,对交警关节点时空特征与骨架物理特征进行充分利用以及统一表达,从交警关节点以及交警骨架两个层次来完成交警动作分析;/n3)根据人体的自然骨架结构以及时间序列构建双分支时空图卷积网络,交警关节点信息与交警骨架信息分别输入到双分支时空图卷积网络中,实现交警手势识别。/n
【技术特征摘要】
1.一种基于双分支时空图卷积网络的交警手势识别方法,其特征在于包括以下步骤:
1)对交警手势视频采用深度卷积网络对交警关节点以及骨架进行提取;
2)使用信息表征方法来双路表征时空图卷积网络的输入信息,对交警关节点时空特征与骨架物理特征进行充分利用以及统一表达,从交警关节点以及交警骨架两个层次来完成交警动作分析;
3)根据人体的自然骨架结构以及时间序列构建双分支时空图卷积网络,交警关节点信息与交警骨架信息分别输入到双分支时空图卷积网络中,实现交警手势识别。
2.如权利要求1所述交警手势识别方法,其特征在于:所述步骤1)中,采用OPENPOSE算法提取关节点与骨架。
3.如权利要求1所述交警手势识别方法,其特征在于,所述步骤2)中,信息表征方法具体步骤如下:
2.1)构建交警关节点信息分支:
所述关节点信息分支构建的信息矩阵P=(p0,p1,…,pi,…p17),其中i代表节点序号,t时刻交警某关节点pi的时空特征向量表征为:
式中,分别表示t时刻交警关节点pi的横坐标、纵坐标,表征了该节点在t时刻的空间信息;表征了t时刻下,该节点提取的置信度大小,置信度范围为[0-1];
2.2)构建交警骨架信息分支:
所述骨架信息分支构建的信息矩阵S=(s1,s2,…,sj,…,s13),其中j代表向量序号,同时也是向量指向的节点序号;t时刻交警骨架向量sj表征为:
式中,表示向量编号j中的指向节点横坐标,表示向量编号j中的指向节点纵坐标;表示向量编号j中的指出节点横坐标,表示向量编号j中的指出节点纵坐标;sj代表的物理意义为二维矢量,表示交警因手势变化带来的检测骨架长度以及骨架运动方向的变化。
4.如权利要求3所述交警手势识别方法,其特征在于,所述步骤3)中,双分支时空图卷积网络的构建方法包括以下步骤:
3.1)双分支时空图卷积网络的整体框架;
3.2)构建骨架的图卷积网络结构;
3.3)构建空间图卷积网络;
3.4)构建时间图卷积网络;
3.5)网络整体架构及训练。
5.如权利要求4所述交警手势识别方法,其特征在于,所述步骤3.1)中,将步骤2)中的两个信息分支作为双分支时空图卷积网络的输入单元,通过时空图卷积操作来提取更高层次的特征,双分支分别通过SoftMax分类器得到对应的动作分类,最后根据Adaboost算法,将双分支...
【专利技术属性】
技术研发人员:江昆,付峥,杨蒙蒙,杨殿阁,王思佳,黄晋,
申请(专利权)人:清华大学,
类型:发明
国别省市:北京;11
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。