一种基于旋转等变卷积神经网络的行人轨迹预测方法技术

本发明专利技术公开了一种基于旋转等变卷积神经网络的行人轨迹预测方法，属于轨迹预测技术领域，包括以下步骤：获取鸟瞰视角下的地面

【技术实现步骤摘要】
一种基于旋转等变卷积神经网络的行人轨迹预测方法


[0001]本专利技术属于轨迹预测
，尤其涉及一种基于旋转等变卷积神经网络的行人轨迹预测方法
。

技术介绍

[0002]轨迹预测是根据过去的行为和环境线索来预测行人或其他物体未来位置的任务，在自动驾驶
、
机器人导航
、
行人跟踪和人机交互等领域具有重要意义
。
然而，由于行人行为
、
交互以及场景动态的复杂性和不确定性，与基于规则分布数据的物理定律推断相比，行人轨迹预测是一项极具挑战性的任务
。
[0003]近年来，随着深度学习的发展，从序列数据中提取特征并使用它们来预测未来吸引了许多领域的研究，如天气预测
、
交通预测和物理模拟等
。
相比于与用物理定律或特定规则进行推理相比，行人有着较高机动性的同时受到较少约束，且本身具有多模态的特性，这使得对行人轨迹进行预测具有很大挑战
。
[0004]传统的工作使用确定性模型来预测行人轨迹确定性模型不能有效地捕捉这种多模态特性
。
在长期轨迹预测中，确定性模型的这种缺点变得更加明显
。
在最近的工作中，基于深度学习的行人轨迹预测方法取得了较好的结果，但当前模型仍存在预测不够鲁棒的缺陷
。

技术实现思路

[0005]为解决上述问题，本专利技术提供了如下方案：
[0006]一种基于旋转等变卷积神经网络的行人轨迹预测方法，包括以下步骤：
[0007]获取鸟瞰视角下的地面
RGB
图像和行人历史轨迹数据；
[0008]对所述地面
RGB
图像和行人历史轨迹数据进行预处理，获得行人轨迹数据集，并将所述行人轨迹数据集划分为训练集和测试集；
[0009]将训练集中的地面
RGB
图像输入到语义分割网络中进行语义分割，获得地面语义分割图；
[0010]基于训练集中的行人历史轨迹数据获得历史轨迹热力图；
[0011]将所述地面语义分割图和历史轨迹热力图进行通道维度拼接处理，获得拼接图，将所述拼接图输入到编码器中通过旋转等变卷积模块对特征进行编码，提取特征并学习旋转等变性，获得编码特征；
[0012]将所述图像特征输入到目标点热力图解码器，输出目标点热力图；
[0013]将所述编码特征与目标点热力图进行特征融合，得到特征融合图，将所述特征融合图输入到未来轨迹预测解码器中，获得行人轨迹预测结果
。
[0014]优选地，所述获取鸟瞰视角下的地面
RGB
图像和行人历史轨迹数据的方法包括：通过无人机拍摄鸟瞰视角下地面
RGB
图像和行人历史轨迹数据；所述地面
RGB
图像包括行人
、
道路
、
建筑
、
植被；行人历史轨迹数据包括行人坐标位置信息
。
[0015]优选地，所述预处理的方法包括：将行人历史轨迹数据中的行人坐标位置信息与地面
RGB
图像进行匹配和对齐
。
[0016]优选地，所述地面语义分割图通过
U
‑
Net
语义分割网络得到，
U
‑
Net
语义分割网络以动作类别对地面
RGB
图像进行分割，所述动作类别包括行走
、
站立
、
运行
。
[0017]优选地，所述获得历史轨迹热力图的方法包括：通过行人历史轨迹数据和无人机拍摄地面背景图像空间位置建立对应的位置关系坐标；将无人机拍摄图像中的行人位置刻画在无人机拍摄地面
RGB
图像相同尺寸的图像中，获得行人历史轨迹图；通过热力图转换的方式获得历史轨迹热力图
。
[0018]优选地，编码器的神经网络包括三个模组，其中第一个模组包括一个旋转等变卷积模块，第二个模组包括一个最大池化层和两个旋转等变卷积模块，第三个模组包括一个最大池化模块
。
[0019]优选地，所述旋转等变卷积模块包括一个旋转等变卷积层和一个
ReLU
激活函数层；
[0020]基于
ReLU
激活函数得到大小相同的特征图
。
[0021]优选地，所述目标点热力图解码器包括六个模组，其中第一个模组包括两个旋转等边卷积模块，第二个模组包括一个上采样卷积模块和两个旋转等变卷积模块，第三个模组包括一个上采样卷积模块和两个旋转等变卷积模块，第四个模组包括一个上采样卷积模块和两个旋转等变卷积模块，第五个模组包括一个上采样卷积模块和两个旋转等变卷积模块，第五个模组包括一个上采样卷积模块和一个预测模块
。
[0022]优选地，所述上采样卷积模块包括一个上采样层和一个旋转等变卷积层，通过上采样卷积模块增大信息的空间分辨率；
[0023]所述预测模块包括一个旋转等变卷积层和一个
Sigmoid
层
。
[0024]优选地，所述未来轨迹预测解码器与目标点热力图解码器网络结构相同
。
[0025]与现有技术相比，本专利技术具有如下优点和技术效果：
[0026]本专利技术通过设计旋转等变卷积神经网络对未来行人轨迹进行预测，其模型训练时间更短，预测精度更高，能够实现鸟瞰视角下对行人进行短期
、
长期多模态未来轨迹预测；
[0027]本专利技术使用旋转等变卷积层不同于传统的经典卷积层，在模型训练的过程中能够学习行人运动的等变特征，在不增加额外参数的情况下提高模型预测精度和预测鲁棒性
。
附图说明
[0028]构成本申请的一部分的附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定
。
在附图中：
[0029]图1为本专利技术实施例的基于旋转等变卷积神经网络的行人轨迹预测方法示意图；
[0030]图2为本专利技术实施例的基于旋转等变卷积神经网络的行人轨迹预测方法流程图
。
具体实施方式
[0031]需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合
。
下面将参考附图并结合实施例来详细说明本申请
。
[0032]需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的
计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤
。
[0033]实施例一
[0034]如图1‑2所示，本实施例的基于旋转等变卷积神经网络的行人轨迹预测方法包括如下步骤：
[0035]S1
：使用无人机拍摄方式获取鸟瞰视角下地面背景的
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种基于旋转等变卷积神经网络的行人轨迹预测方法，其特征在于，包括以下步骤：获取鸟瞰视角下的地面
RGB
图像和行人历史轨迹数据；对所述地面
RGB
图像和行人历史轨迹数据进行预处理，获得行人轨迹数据集，并将所述行人轨迹数据集划分为训练集和测试集；将训练集中的地面
RGB
图像输入到语义分割网络中进行语义分割，获得地面语义分割图；基于训练集中的行人历史轨迹数据获得历史轨迹热力图；将所述地面语义分割图和历史轨迹热力图进行通道维度拼接处理，获得拼接图，将所述拼接图输入到编码器中通过旋转等变卷积模块对特征进行编码，提取特征并学习旋转等变性，获得编码特征；将所述图像特征输入到目标点热力图解码器，输出目标点热力图；将所述编码特征与目标点热力图进行特征融合，得到特征融合图，将所述特征融合图输入到未来轨迹预测解码器中，获得行人轨迹预测结果
。2.
根据权利要求1所述的基于旋转等变卷积神经网络的行人轨迹预测方法，其特征在于，所述获取鸟瞰视角下的地面
RGB
图像和行人历史轨迹数据的方法包括：通过无人机拍摄鸟瞰视角下地面
RGB
图像和行人历史轨迹数据；所述地面
RGB
图像包括行人
、
道路
、
建筑
、
植被；行人历史轨迹数据包括行人坐标位置信息
。3.
根据权利要求1所述的基于旋转等变卷积神经网络的行人轨迹预测方法，其特征在于，所述预处理的方法包括：将行人历史轨迹数据中的行人坐标位置信息与地面
RGB
图像进行匹配和对齐
。4.
根据权利要求1所述的基于旋转等变卷积神经网络的行人轨迹预测方法，其特征在于，所述地面语义分割图通过
U
‑
Net
语义分割网络得到，
U
‑
Net
语义分割网络以动作类别对地面
RGB
图像进行分割，所述动作类别包括行走
、...

【专利技术属性】
技术研发人员：程纪钧，魏宪，王昊，邵东恒，杨剑，陈铭松，汤璇，
申请(专利权)人：华东师范大学，
类型：发明
国别省市：