基于图卷积的行人意图识别方法技术

本发明专利技术涉及一种基于图卷积的行人意图识别方法，通过安装在车辆上的前视相机系统拍摄道路环境视频图像；对图像进行行人检测和行人人体关键点信息提取，并基于图论的方法构造邻接矩阵表示行人人体关键点的连接信息；通过图卷积算法从人体关键点的坐标信息和邻接矩阵表示中提取底层特征，并将底层特征通过深度卷积神经网络和深度循环神经网络进行高层次特征提取和时序分析；选择合适的损失函数，基于通过人工标注方法构建的行人意图数据集，对前述模型参数进行优化训练，实现对行人行为意图的分类识别。本发明专利技术有效利用了行人人体关键点信息这一高层次语义特征，使得汽车高级驾驶辅助系统具有理解行人行为意图的能力。

Pedestrian Intention Recognition Method Based on Graph Convolution

The present invention relates to a pedestrian intent recognition method based on graph convolution, which captures road environment video images through a forward-looking camera system mounted on a vehicle, detects pedestrian images and extracts key points information of pedestrian human body, and constructs adjacency matrix based on graph theory to represent the connection information of key points of pedestrian human body; and uses graph convolution algorithm to obtain coordinate information from key points of human body. The underlying features are extracted from the representation of information and adjacency matrix, and the underlying features are extracted and analyzed by deep convolution neural network and deep cyclic neural network. The appropriate loss function is selected, and the parameters of the model are optimized and trained based on the pedestrian graph data set constructed by manual annotation method to realize the classification and recognition of pedestrian behavior intention. The invention effectively utilizes the high-level semantic feature of the key point information of pedestrian human body, and enables the vehicle advanced driving assistance system to have the ability to understand the pedestrian behavior intention.

【技术实现步骤摘要】
基于图卷积的行人意图识别方法
本专利技术涉及一种基于图卷积的行人意图识别技术,属于高级汽车驾驶员辅助

技术介绍
行人检测功能是高级汽车驾驶员辅助系统ADAS(AdvancedDriverAssistanceSystem)的一项重要功能。现有的行人检测系统利用雷达或相机来检测行人位置，当检测到行驶路线上有行人时，及时减速刹车减少事故伤害和避免事故发生。车载相机系统拍摄的车辆行驶环境的图像和视频，包含了行人、环境的相关信息，但目前的行人检测系统由于算法的限制，不能从高抽象层次对环境和行人行为进行理解。中国专利申请公布号CN107406071A的专利公开了一种基于图像的行人识别装置，该装置可检测车辆周围行人，并根据行人运动与否进行碰撞预警，但其模型较为简单，仅能判断行人位置和通过前后时间对比，判断行人是否移动，不能进行细粒度的行人意图识别。
技术实现思路
专利技术目的：本专利技术的目的在于解决现有的基于图像的行人识别装置及其方法模型较为简单，仅能判断行人位置和通过前后时间对比，判断行人是否移动，不能进行细粒度的行人意图识别的问题。技术方案：为实现上述目的，本专利技术提供以下技术方案：本文档来自技高网...

【技术保护点】
1.一种基于图卷积的行人意图识别方法，其特征在于，包括以下步骤：1)通过安装在车辆上的前视相机系统拍摄道路环境视频图像；2)对图像进行行人检测和行人人体关键点信息提取，并基于图论的方法构造邻接矩阵表示行人人体关键点的连接信息；3)通过图卷积算法从人体关键点的坐标信息和邻接矩阵表示中提取底层特征，并将底层特征通过深度卷积神经网络和深度循环神经网络进行高层次特征提取和时序分析；4)选择合适的损失函数，基于通过人工标注方法构建的行人意图数据集，对前述模型参数进行优化训练，实现对行人行为意图的分类识别。

【技术特征摘要】
1.一种基于图卷积的行人意图识别方法，其特征在于，包括以下步骤：1)通过安装在车辆上的前视相机系统拍摄道路环境视频图像；2)对图像进行行人检测和行人人体关键点信息提取，并基于图论的方法构造邻接矩阵表示行人人体关键点的连接信息；3)通过图卷积算法从人体关键点的坐标信息和邻接矩阵表示中提取底层特征，并将底层特征通过深度卷积神经网络和深度循环神经网络进行高层次特征提取和时序分析；4)选择合适的损失函数，基于通过人工标注方法构建的行人意图数据集，对前述模型参数进行优化训练，实现对行人行为意图的分类识别。2.根据权利要求1所述的基于图卷积的行人意图识别方法，其特征在于，所述步骤2)中，行人检测和行人人体关键点信息提取采用MaskRCNN的算法和预训练模型，该算法可识别18个行人关键点坐标信息，并输出每个关键点识别的置信...

【专利技术属性】
技术研发人员：秦文虎，张哲，孙立博，张仕超，王昭东，尚昊，
申请(专利权)人：东南大学，
类型：发明
国别省市：江苏,32