一种基于深度学习的行人轨迹预测方法和系统技术方案

本发明专利技术公开了一种基于深度学习的行人轨迹预测方法和系统，包括以下步骤，采集模块采集复杂环境下行人和车辆数据；转换模块将采集来的数据转换为统一以摄像设备为基础的坐标系；行人数据标签和车辆数据标签分开命名利用区分模块区分；所述数据输入深度学习算法模型进行训练，当观测结果达到收敛效果时训练结束。本发明专利技术的有益效果：一是行人与行人间、行人与车辆和车辆与车辆间的相互关系，包括交通信息，这种综合信息能够提高行人轨迹预测的精度，最大程度的模拟行人在真实场景下所考虑的因素来预测轨迹。

A method and system of pedestrian trajectory prediction based on deep learning

【技术实现步骤摘要】
一种基于深度学习的行人轨迹预测方法和系统
本专利技术涉及行人轨迹预测的
，尤其涉及一种基于深度学习的复杂环境下行人轨迹预测方法和行人轨迹预测系统。
技术介绍
近年来随着人工智能产业的兴起，无人驾驶领域也在不断发展，其中行人检测得到广泛关注，近年来国内外学者对行人预测也展开了研究，但在无人驾驶系统中研究较少，行人预测是通过目标已有的运动轨迹对其未来固定时刻的位置坐标进行预测。无人驾驶领域内，行人轨迹预测是至关重要的。如果没有预测，无人车不知下一阶段如何进行驾驶操作，以至于无人车会非常的不安全。例如：无人车右前方有一个行人，下一阶段车辆是应该刹车、减速、或者变道呢，如果不加预测，任何一种操作都有可能导致驾驶感觉非常不好，或者产生危险的操作。在以往轨迹预测领域，要么是基于车辆动力学模型，或者是基于行人之间的交互，对于复杂情况下(十字路口等人多、车多的情况下)效果非常不理想。
技术实现思路
本部分的目的在于概述本专利技术的实施例的一些方面以及简要介绍一些较佳实施例。在本部分以及本申请的说明书摘要和专利技术名称中可能会做些简化或省略以避免使本部分、说明书摘要和专利技术名称的目的模糊，而这种简化或省略不能用于限制本专利技术的范围。鉴于上述现有存在的问题，提出了本专利技术。因此，本专利技术解决的一个技术问题是：提出一种基于深度学习的复杂环境下行人轨迹预测方法，解决在复杂场景下行人轨迹无法预测或者预测效果非常不好的问题。为解决上述技术问题，本专利技术提供如下技术方案：一种基于深度学习的行人轨迹预测方法，包括以下步骤，采集模块采集复杂环境下行人和车辆数据；转换模块将采集来的数据转换为统一以摄像设备为基础的坐标系；行人数据标签和车辆数据标签分开命名利用区分模块区分；所述数据输入深度学习算法模型进行训练，当观测结果达到收敛效果时训练结束。作为本专利技术所述的基于深度学习的行人轨迹预测方法的一种优选方案，其中：所述采集模块使用摄像设备采集人脸图像包括以下环境要求，摄像设备位置要足够的高，要求清晰的看到场景内的所有行人和车辆，所述摄像头的角度垂直地面；在行驶的车辆上部署摄像头，车辆配备激光雷达高精度测距仪器。作为本专利技术所述的基于深度学习的行人轨迹预测方法的一种优选方案，其中：所述区分模块还包括对数据进行处理，把行人、车辆和车辆周围环境的目标进行打标签。作为本专利技术所述的基于深度学习的行人轨迹预测方法的一种优选方案，其中：所述深度学习算法模型包括考虑到行人与车辆、车辆与车辆间的相互关系进行行人轨迹预测的参考，以及参考交通信号标识，综合考虑路上交通信息，进行策略判断。作为本专利技术所述的基于深度学习的行人轨迹预测方法的一种优选方案，其中：所述深度学习算法模型包括以下训练步骤，利用深度卷积神经网络结构将行人历史轨迹、车辆历史轨迹数据送入深度神经网络模型算法；定义算法模型为：通过编解码深度神经网络和鉴别网络，结合真实轨迹值计算网络输出；反复执行，直到输出结果比较满意。作为本专利技术所述的基于深度学习的行人轨迹预测方法的一种优选方案，其中：行人预测算法流程如下：采集多个十字路口和多个时间段的数据进行处理；将采集的数据集输入到深度卷积神经网络中进行训练；根据在训练过程中给出的训练误差调整网络的参数，重复训练的过程，直至网络的损失极小。作为本专利技术所述的基于深度学习的行人轨迹预测方法的一种优选方案，其中：所述网络的损失采用L2范式化损失，如下：其中Yi表示真实未来轨迹，Yi_hat表示预测的轨迹输出。本专利技术解决的另一个技术问题是：提出一种基于深度学习的复杂环境下行人轨迹预测系统，解决在复杂场景下行人轨迹无法预测或者预测效果非常不好的问题。为解决上述技术问题，本专利技术提供如下技术方案：一种基于深度学习的行人轨迹预测系统，包括采集模块、转换模块、区分模块和深度学习算法模型；所述采集模块用于采集复杂环境下行人和车辆数据；所述转换模块与所述采集模块连接，用于将采集来的数据转换为统一以摄像设备为基础的坐标系；所述区分模块用于将行人数据标签和车辆数据标签分开命名和区分；所述深度学习算法模型用于接收实时数据对输出预测轨迹。本专利技术的有益效果：一是行人与行人间、行人与车辆和车辆与车辆间的相互关系，包括交通信息，这种综合信息能够提高行人轨迹预测的精度，最大程度的模拟行人在真实场景下所考虑的因素来预测轨迹。附图说明为了更清楚地说明本专利技术实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。其中：图1为本专利技术第一种实施例所述基于深度学习的行人轨迹预测示意图；图2为本专利技术第二种实施例所述基于深度学习的行人轨迹预测系统的整体原理示意图；图3为本专利技术所述实时仿真输出预测轨迹的示意图。具体实施方式为使本专利技术的上述目的、特征和优点能够更加明显易懂，下面结合说明书附图对本专利技术的具体实施方式做详细的说明，显然所描述的实施例是本专利技术的一部分实施例，而不是全部实施例。基于本专利技术中的实施例，本领域普通人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本专利技术的保护的范围。在下面的描述中阐述了很多具体细节以便于充分理解本专利技术，但是本专利技术还可以采用其他不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本专利技术内涵的情况下做类似推广，因此本专利技术不受下面公开的具体实施例的限制。其次，此处所称的“一个实施例”或“实施例”是指可包含于本专利技术至少一个实现方式中的特定特征、结构或特性。在本说明书中不同地方出现的“在一个实施例中”并非均指同一个实施例，也不是单独的或选择性的与其他实施例互相排斥的实施例。本专利技术结合示意图进行详细描述，在详述本专利技术实施例时，为便于说明，表示器件结构的剖面图会不依一般比例作局部放大，而且所述示意图只是示例，其在此不应限制本专利技术保护的范围。此外，在实际制作中应包含长度、宽度及深度的三维空间尺寸。同时在本专利技术的描述中，需要说明的是，术语中的“上、下、内和外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本专利技术和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本专利技术的限制。此外，术语“第一、第二或第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。本专利技术中除非另有明确的规定和限定，术语“安装、相连、连接”应做广义理解，例如：可以是固定连接、可拆卸连接或一体式连接；同样可以是机械连接、电连接或直接连接，也可以通过中间媒介间接相连，也可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本专利技术中的具体含义。实施例1参照图1的示意，为本实施例提出一种基于深度学习的行人轨迹预测方法，包括以下步骤，S1本文档来自技高网...

【技术保护点】
1.一种基于深度学习的行人轨迹预测方法，其特征在于：包括以下步骤，/n采集模块(100)采集复杂环境下行人和车辆数据；/n转换模块(200)将采集来的数据转换为统一以摄像设备为基础的坐标系；/n行人数据标签和车辆数据标签分开命名并利用区分模块(300)区分；/n区分后的所述数据输入深度学习算法模型(400)进行训练，当观测结果达到收敛效果时训练结束；/n利用所述深度学习算法模型(400)预测行人轨迹。/n

【技术特征摘要】
1.一种基于深度学习的行人轨迹预测方法，其特征在于：包括以下步骤，
采集模块(100)采集复杂环境下行人和车辆数据；
转换模块(200)将采集来的数据转换为统一以摄像设备为基础的坐标系；
行人数据标签和车辆数据标签分开命名并利用区分模块(300)区分；
区分后的所述数据输入深度学习算法模型(400)进行训练，当观测结果达到收敛效果时训练结束；
利用所述深度学习算法模型(400)预测行人轨迹。


2.如权利要求1所述的基于深度学习的行人轨迹预测方法，其特征在于：所述采集模块(100)使用摄像设备采集人脸图像包括以下环境要求，
摄像设备位置要足够的高，要求清晰的看到场景内的所有行人和车辆，所述摄像头的角度垂直地面；
在行驶的车辆上部署摄像头，车辆配备激光雷达高精度测距仪器。


3.如权利要求1或2所述的基于深度学习的行人轨迹预测方法，其特征在于：所述区分模块(300)还包括对数据进行处理，把行人、车辆和车辆周围环境的目标进行打标签。


4.如权利要求3所述的基于深度学习的行人轨迹预测方法，其特征在于：所述深度学习算法模型(400)包括考虑到行人与车辆、车辆与车辆间的相互关系进行行人轨迹预测的参考，以及参考交通信号标识，综合考虑路上交通信息，进行策略判断。


5.如权利要求1～2或4任一所述的基于深度学习的行人轨迹预测方法，其特征在于：所述深度学习算法模型(4...

【专利技术属性】
技术研发人员：秦童，
申请(专利权)人：的卢技术有限公司，
类型：发明
国别省市：江苏;32