一种基于时空图注意力网络的行人轨迹预测方法技术

本发明专利技术提供了一种基于时空图注意力网络的行人轨迹预测方法，步骤包括：采集行人轨迹数据构建数据集；数据预处理提取轨迹特征；时间注意力机制计算时间状态特征；空间注意力机制计算时空状态特征；预测未来轨迹，训练预测模型；本方法一方面利用时间注意力机制提取每个行人的时间特征，考虑了每个行人自身过去不同的历史时刻信息对当前预测结果的影响，有效提高预测结果的准确性；另一方面空间注意力机制将上一步时间注意力机制提取的场景中所有行人的时间状态特征作为输入，利用图注意力神经网络对每个行人的相邻行人分配合理的注意力系数从而融合相邻行人的特征信息，模拟行人之间包含社交因素的空间交互作用，保证预测结果的合理性。果的合理性。果的合理性。

【技术实现步骤摘要】
一种基于时空图注意力网络的行人轨迹预测方法


[0001]本专利技术属于自动驾驶
，涉及一种行人轨迹预测模型建立方法，更加具体来讲，涉及一种基于时空图注意力网络的行人轨迹预测方法。

技术介绍

[0002]近年来随着人工智能技术的不断发展，自动驾驶领域的研究也在不断地深入。自动驾驶系统主要分为环境感知、决策规划和运动控制三个模块。通过传感器从交通场景中获得道路使用者的位姿信息对其未来运动轨迹进行精准预测，能够提高决策规划系统的合理性和准确性。保证交通场景中道路使用者的自身安全是自动驾驶汽车被普及应用的前提条件，而行人作为弱势道路使用者，通过对目标行人未来运动位置的精准预测，可以减少车辆与行人碰撞事故的发生，提高自动驾驶汽车的行驶安全性。除此之外，根据行人未来的行动轨迹可以帮助自动驾驶系统制定更加合理的行驶策略，解决交通拥堵等问题。因此，研究行人轨迹预测问题对于自动驾驶技术的发展具有重要的现实意义。
[0003]行人轨迹预测的任务是根据行人过去一段时间的轨迹，预测其未来时刻的运动位置坐标。行人轨迹预测的挑战性在于行人的运动复杂灵活，难以建立合理的动力学模型，且行人的运动会受到外界环境多样性因素的影响。现有的轨迹预测方法根据建模方法主要分为两类：一类是基于模型的方法，这类方法都依赖于手工函数，无法模拟复杂情景的交互作用并且泛化能力差；另一类是近年来发展迅速的基于深度学习的预测方法。得益于神经网络的广泛应用，其完备的知识体系和丰富的网络模型为提高行人轨迹预测的准确度和合理性提供了必要条件。目前大部分的行人轨迹预测方法只考虑空间上的约束和交互作用，而忽略时间连续性，预测精度不够。

技术实现思路

[0004]针对现有技术存在的问题，为了提升行人轨迹预测精度，本专利技术提出了一种基于时空图注意力网络的行人轨迹预测方法。
[0005]为实现上述目的，本专利技术是采用如下技术方案实现的：
[0006]一种基于时空图注意力网络的行人轨迹预测方法，应用于自动驾驶领域，针对行人横穿马路场景进行行人的行为分析和预测，利用自动驾驶汽车感知系统装备的车载摄像机采集行人信息，其特征在于，具体步骤如下：
[0007]步骤一、采集行人轨迹数据构建数据集：
[0008]利用自动驾驶汽车感知系统装备的车载摄像机采集车辆行驶过程中前方和两侧的道路视频数据，运用语义分割、图像分类和数据标注与转换技术手段提取行人信息，其中包括道路视频每帧中每个行人在图像坐标系下的坐标值，构建行人轨迹数据集，进一步分为训练数据集和测试数据集；
[0009]步骤二、数据预处理提取轨迹特征：
[0010]对行人轨迹训练数据集进行预处理，为了在保证预测精度的前提下减小计算量，
对输入的数据进行合理采样，提取每个行人的历史观测坐标，定义每个行人在历史时刻t的观测坐标为：
[0011][0012]其中，i表示场景中第i个行人，t表示历史时刻，T
obs
表示观测时域长度，N表示场景中的行人总数量，表示第i个行人在图像坐标系下在历史时刻t沿x轴方向的观测坐标值和沿y轴方向的观测坐标值；
[0013]定义每个行人在预测时刻t
p
的真实坐标为：
[0014][0015]其中，i表示场景中第i个行人，t
p
表示预测时刻，T
pre
表示预测时域长度，N表示场景中的行人总数量，表示第i个行人在图像坐标系下在预测时刻t
p
沿x轴方向的真实坐标值和沿y轴方向的真实坐标值；
[0016]计算每个行人在历史时刻t与上一个历史时刻t
‑
1的历史相对位置
[0017][0018][0019]其中，表示第i个行人在图像坐标系下在历史时刻t沿x轴方向的历史相对值和沿y轴方向的历史相对值；
[0020]利用嵌入函数φ(
·
)对历史相对位置进行升维，得到每个行人在历史时刻t的嵌入向量
[0021][0022]其中，表示第i个行人在历史时刻t的嵌入向量且维数为16，φ(
·
)表示嵌入函数，嵌入函数由全连接层组成，W
e
表示可学习的全连接网络参数，网络的输入特征维数为2，输出特征维数为16，层数为1；
[0023]接着将每个行人在历史时刻t的嵌入向量输入到长短期记忆网络LSTM中，计算得到每个行人在历史时刻t的隐藏状态特征
[0024][0025]其中，表示第i个行人在历史时刻t的隐藏状态特征且维数为32，LSTM(
·
)由长短期记忆网络单元组成，W
en
为可学习得到的长短期记忆网络权重参数，网络的输入特征维数为16，输出特征维数为32，隐藏特征维数为32，层数为1；
[0026]步骤三、时间注意力机制计算时间状态特征：
[0027]通过时间注意力机制计算包含时间相关性的时间状态特征
利用时间注意力机制计算每个行人的其他历史时刻r,r∈{1,...,t}隐藏状态特征对历史时刻t隐藏状态特征的时间注意力系数，提取每个行人的历史轨迹的时间相关性，具体过程如下：
[0028]首先，输入每个行人的隐藏状态特征计算第i个行人在其他历史时刻r的隐藏状态特征对历史时刻t的隐藏状态特征的时间注意力系数计算过程如下：
[0029][0030][0031]其中，f(
·
)表示余弦相似性函数，用来计算相似性值，表示第i个行人在其他历史时刻r的隐藏状态特征，softmax(
·
)表示归一化指数函数，表示第i个行人在其他历史时刻r的时间注意力系数；
[0032]接着，利用第i个行人在其他历史时刻r的时间注意力系数计算第i个行人在历史时刻t的时间状态特征计算过程如下：
[0033][0034]其中，表示第i个行人在历史时刻t的时间状态特征且维数为32；
[0035]步骤四、空间注意力机制计算时空状态特征：
[0036]空间注意力机制将每个行人的时间状态特征输入到图注意力网络中，场景中的所有行人对应图结构中的各个节点，行人之间的交互对应图结构中的各个边，基于图注意力网络融合第i个行人在历史时刻t与相邻行人的轨迹交互特征，得到的时空状态特征即包含了时间相关性，也包含了空间交互性，具体过程如下：
[0037]首先，定义在图结构中，第i个行人的相邻行人集合为N
i
，将所有行人的时间状态特征输入到图注意力网络中，计算在历史时刻t同一场景中第j个行人对第i个行人的空间注意力系数
[0038][0039]其中，j∈{1,...,N}且j∈N
i
，表示在历史时刻t同一场景中第j个行人对第i个行人的空间注意力系数，N
i
表示第i个行人的相邻行人集合，表示第j个行人在历史时刻t的时间状态特征，表示第i个行人的任一相邻的第m个行人在历史时刻t的时间状态特征，m∈{1,...,N}且m∈N
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于时空图注意力网络的行人轨迹预测方法，应用于自动驾驶领域，针对行人横穿马路场景进行行人的行为分析和预测，利用自动驾驶汽车感知系统装备的车载摄像机采集行人信息，其特征在于，具体步骤如下：步骤一、采集行人轨迹数据构建数据集：利用自动驾驶汽车感知系统装备的车载摄像机采集车辆行驶过程中前方和两侧的道路视频数据，运用语义分割、图像分类和数据标注与转换技术手段提取行人信息，其中包括道路视频每帧中每个行人在图像坐标系下的坐标值，构建行人轨迹数据集，进一步分为训练数据集和测试数据集；步骤二、数据预处理提取轨迹特征：对行人轨迹训练数据集进行预处理，为了在保证预测精度的前提下减小计算量，对输入的数据进行合理采样，提取每个行人的历史观测坐标，定义每个行人在历史时刻t的观测坐标为：其中，i表示场景中第i个行人，t表示历史时刻，T
obs
表示观测时域长度，N表示场景中的行人总数量，表示第i个行人在图像坐标系下在历史时刻t沿x轴方向的观测坐标值和沿y轴方向的观测坐标值；定义每个行人在预测时刻t
p
的真实坐标为：其中，i表示场景中第i个行人，t
p
表示预测时刻，T
pre
表示预测时域长度，N表示场景中的行人总数量，表示第i个行人在图像坐标系下在预测时刻t
p
沿x轴方向的真实坐标值和沿y轴方向的真实坐标值；计算每个行人在历史时刻t与上一个历史时刻t
‑
1的历史相对位置1的历史相对位置1的历史相对位置其中，表示第i个行人在图像坐标系下在历史时刻t沿x轴方向的历史相对值和沿y轴方向的历史相对值；利用嵌入函数φ(
·
)对历史相对位置进行升维，得到每个行人在历史时刻t的嵌入向量的嵌入向量其中，表示第i个行人在历史时刻t的嵌入向量且维数为16，φ(
·
)表示嵌入函数，嵌入函数由全连接层组成，W
e
表示可学习的全连接网络参数，网络的输入特征维数为2，输出特征维数为16，层数为1；
接着将每个行人在历史时刻t的嵌入向量输入到长短期记忆网络LSTM中，计算得到每个行人在历史时刻t的隐藏状态特征个行人在历史时刻t的隐藏状态特征其中，表示第i个行人在历史时刻t的隐藏状态特征且维数为32，LSTM(
·
)由长短期记忆网络单元组成，W
en
为可学习得到的长短期记忆网络权重参数，网络的输入特征维数为16，输出特征维数为32，隐藏特征维数为32，层数为1；步骤三、时间注意力机制计算时间状态特征：通过时间注意力机制计算包含时间相关性的时间状态特征利用时间注意力机制计算每个行人的其他历史时刻r,r∈{1,...,t}隐藏状态特征对历史时刻t隐藏状态特征的时间注意力系数，提取每个行人的历史轨迹的时间相关性，具体过程如下：首先，输入每个行人的隐藏状态特征计算第i个行人在其他历史时刻r的隐藏状态特征对历史时刻t的隐藏状态特征的时间注意力系数计算过程如下：计算过程如下：其中，f(
·
)表示余弦相似性函数，用来计算相似性值，表示第i个行人在其他历史时刻r的隐藏状态特征，softmax(
·
)表示归一化指数函数，表示第i个行人在其他历史时刻r的时间注意力系数；接着，利用第i个行人在其他历史时刻r的时间注意力系数计算第i个行人在历史时刻t的时间状态特征计算过程如下：其中，表示第i个行人在历史时刻t的时间状态特征且维数为32；步骤四、空间注意力机制计算时空状态特征：空间注意力机制将每个行人的时间状态特征输入到图注意力网络中，场景中的所有行人对应图结构中的各个节点，行人之间的交互对应图结构中的各个边，基于图注意力网络融合第i个行人在历史时刻t与相邻行人的轨迹交互特征，得到的时空状态特征即包含了时间相关性，也包含了空间交互性，具体过程如下：首先，定义在图结构中，第i个行人的相邻行人集合为N
i
，将所有行人的时间状态特征输入到图注意力网络中，计算在历史时刻t同一场景中第j个行人对第i个行人的空间注意力系数
其中，j∈{1,...,N}且j∈N
i
，表示在历史时刻t同一场景中第j个行人对第i个行人的空间注意力系数...

【专利技术属性】
技术研发人员：郭洪艳，刘嫣然，孟庆瑜，李嘉霖，
申请(专利权)人：吉林大学，
类型：发明
国别省市：