面向无人驾驶的基于姿态估计的行人行为识别方法技术

本发明专利技术提供一种面向无人驾驶的基于姿态估计的行人行为识别方法，属于人体姿态识别技术领域。该方法首先通过车载单目摄像头捕获交通场景下的行人视频流并解码为RGB序列图像帧，采用目标检测网络在序列图像中检测人体并根据检测目标框提取人体图像得到图像序列对应的人体序列，利用人体姿态估计网络对序列人体图像的关节点热图分布进行估计并回归得到图像序列的人体关节点2D数值坐标，利用人体3D姿态重构网络将图像序列的2D人体姿态重构为人体关节点3D数值坐标，最后利用GCN的网络模型从人体图关节点3D数值坐标序列中获取人体姿态的时空关系，以实现交通环境下人体动作的识别。本发明专利技术用于捕获行人意图，可有效识别复杂交通场景下行人动作。

【技术实现步骤摘要】
面向无人驾驶的基于姿态估计的行人行为识别方法
本专利技术涉及人体姿态识别
，特别是指一种面向无人驾驶的基于姿态估计的行人行为识别方法。
技术介绍
随着计算机视觉在自动驾驶领域的发展，识别复杂交通场景下的物体，实现无人驾驶车辆的主动规避已是目前着重研究的问题。其中行人安全作为道路交通安全最重要的因素之一，识别行人动作意图，减少人车伤害成为研究问题的核心之一。目前，道路交通场景下的行人识别通常用于重要交通路口的固定区域监控，视野区域固定，无法满足无人驾驶环境下的不同场景的行人识别；在行人动作识别中，3D人体骨骼关键点检测的行人动作数据集需要采用体感设备深度摄像头，虽然可以采集更多信息，但场景受限，价格昂贵，在交通行人动作数据集的采集中难以实现。因此，在面对无人驾驶的交通场景中，采用2D人体姿态关键点和3D重建的方法识别行人动作意图。
技术实现思路
本专利技术要解决的技术问题是提供一种面向无人驾驶的基于姿态估计的行人行为识别方法，在复杂交通场景下有效识别行人动作，捕获行人意图，为行人与无人驾驶车辆之间提供保障交通安全本文档来自技高网...

【技术保护点】
1.一种面向无人驾驶的基于姿态估计的行人行为识别方法，其特征在于：包括步骤如下：/n(1)通过车载单目摄像头捕获交通场景下的行人视频流并解码为RGB序列图像帧；/n(2)采用目标检测网络在步骤(1)得到的序列图像中检测人体并根据检测目标框提取人体图像得到图像序列对应的人体序列；/n(3)利用人体姿态估计网络对人体序列图像的关节点热图分布进行估计并回归得到图像序列的人体关节点2D数值坐标，形成图像序列的2D人体姿态；/n(4)利用人体3D姿态重构模型网络将图像序列的2D人体姿态重构为图像序列的人体关节点3D数值坐标；/n(5)利用GCN网络模型从人体关节点3D数值坐标序列中获取人体姿态的时空关系...

【技术特征摘要】
1.一种面向无人驾驶的基于姿态估计的行人行为识别方法，其特征在于：包括步骤如下：
(1)通过车载单目摄像头捕获交通场景下的行人视频流并解码为RGB序列图像帧；
(2)采用目标检测网络在步骤(1)得到的序列图像中检测人体并根据检测目标框提取人体图像得到图像序列对应的人体序列；
(3)利用人体姿态估计网络对人体序列图像的关节点热图分布进行估计并回归得到图像序列的人体关节点2D数值坐标，形成图像序列的2D人体姿态；
(4)利用人体3D姿态重构模型网络将图像序列的2D人体姿态重构为图像序列的人体关节点3D数值坐标；
(5)利用GCN网络模型从人体关节点3D数值坐标序列中获取人体姿态的时空关系，实现交通环境下人体动作的识别。


2.根据权利要求1所述的面向无人驾驶的基于姿态估计的行人行为识别方法，其特征在于：所述步骤(1)中具体为：车载单目摄像头捕获交通场景下的行人视频流，并将视频流传输到车载计算平台上，基于OpenCV的解码算法将YUV格式的图像进行转换获得RGB格式的序列图像帧，同时得到图像帧的分辨率以定义图像帧的像素坐标系。


3.根据权利要求1所述的面向无人驾驶的基于姿态估计的行人行为识别方法，其特征在于：所述步骤(2)中选择行人数据集训练Yolov3目标检测网络以实现人体检测，图像帧经过Yolov3目标检测网络处理后，从中提取出特征图，根据特征图精准定位人体在输入图像帧像素坐标系下的位置，最后根据定位的人体框提取出人体图像；其中，行人数据集是基于实际交通场景自制的数据集，交通场景不少于5万张场景图，行人不少于15万人次。


4.根据权利要求1所述的面向无人驾驶的基于姿态估计的行人行为识别方法，其特征在于：所述步骤(3)中首先用coco-annotator标注工具自制交通场景下的人体姿态数据集，以训练Alphapose人体姿态估计网络，通过数...

【专利技术属性】
技术研发人员：孟宇，王美军，刘立，顾青，许焱，高宇，曲紫畅，
申请(专利权)人：北京科技大学，
类型：发明
国别省市：北京;11