基于多重交互的行人轨迹预测方法、系统、设备和介质技术方案

本发明专利技术涉及一种基于多重交互的行人轨迹预测方法、系统、设备和介质，包括：对采集的车辆及环境信息进行提取，得到预设历史时间段内各个时刻的行人特征、车辆特征和环境特征；基于各个时刻的行人特征和车辆特征，利用预先建立的基于时序交叉注意力机制的人车交互模型，得到行人与车辆的交互特征；基于各个时刻的行人特征和环境特征，利用预先建立的行人与环境交互模型，得到行人与环境的交互特征；基于预设历史时间段内的行人特征、行人与车辆的交互特征、行人与环境的交互特征，利用预先建立的轨迹预测模型，得到行人轨迹预测结果。本发明专利技术可以广泛应用于智能汽车的环境感知领域。可以广泛应用于智能汽车的环境感知领域。可以广泛应用于智能汽车的环境感知领域。

【技术实现步骤摘要】
基于多重交互的行人轨迹预测方法、系统、设备和介质


[0001]本专利技术涉及智能汽车的环境感知领域，具体涉及一种基于多重交互的行人轨迹预测方法、系统、设备和介质。

技术介绍

[0002]自动驾驶车辆在行驶过程中，对行人的感知极其重要，自动驾驶车辆不仅要对行人进行检测、追踪，而且还要进一步预测出行人轨迹，这样才能帮助自动驾驶车辆做出最优决策，提升自动驾驶车辆的安全性、可靠性。
[0003]行人的轨迹预测与车辆的轨迹预测不同，行人的自主性强，在行进过程中会与其他行人、车辆以及环境产生交互，进而改变自己的行进策略。实际中，自动驾驶车辆在行进过程中会与其周围的行人发生交互，交互过程是一个动态博弈过程，而现有的算法并未针对这一本质交互问题进行建模；与此同时，行人与环境之间的交互是由场景的全局信息与局部信息共同决定的，目前针对行人与环境的建模问题大多是将全局的语义分割结果直接与行人特征进行拼接，这种方式不仅忽略了行人所处当前环境的空间对应关系，而且引入全局的语义分割结果也会给行人的轨迹预测带来干扰。所以在实际应用中，行人轨迹预测中的交互建模问题仍然存在较大挑战。

技术实现思路

[0004]针对上述问题，本专利技术的目的是提供一种基于多重交互的行人轨迹预测方法、系统、设备和介质，通过对行人与车辆的交互特征、行人与环境的交互特征进行研究，对行人轨迹进行预测，提高了行人轨迹预测结果的准确性。
[0005]为实现上述目的，本专利技术采取以下技术方案：第一方面，本专利技术提供一种基于多重交互的行人轨迹预测方法，包括以下步骤：对采集的车辆及环境信息进行提取，得到预设历史时间段内各个时刻的行人特征、车辆特征和环境特征；基于各个时刻的行人特征和车辆特征，利用预先建立的基于时序交叉注意力机制的人车交互模型，得到行人与车辆的交互特征；基于各个时刻的行人特征和环境特征，利用预先建立的行人与环境交互模型，得到行人与环境的交互特征；基于预设历史时间段内的行人特征、行人与车辆的交互特征、行人与环境的交互特征，利用预先建立的轨迹预测模型，得到行人轨迹预测结果。
[0006]进一步，所述基于各个时刻的行人特征和车辆特征，利用预先建立的基于时序交叉注意力机制的人车交互模型，得到行人与车辆的交互特征，包括：将行人特征和车辆特征分别进行特征编码处理，得到行人特征编码和车辆特征编码；将行人特征编码和车辆特征编码输入预先建立的基于时序交叉注意力机制的人
车交互模型，得到行人与车辆的交互特征。
[0007]进一步，所述将行人特征和车辆特征分别进行特征编码处理，得到行人特征编码和车辆特征编码，包括：分别对每一时刻的行人特征进行GRU时序编码和位置编码，并将行人特征的GRU时序编码和位置编码按照时刻对应相加，得到行人特征编码；分别对每一时刻的车辆特征进行GRU时序编码和位置编码，并将车辆特征的GRU时序编码和位置编码按照时刻对应相加，得到车辆特征编码。
[0008]进一步，所述基于时序交叉注意力机制的人车交互模型包括：交叉注意力机制模块和RNN编码器模块，其中，所述交叉注意力机制模块用于根据行人特征编码和车辆特征编码，计算得到基于交叉注意力机制的行人特征；所述RNN编码器模块用于从基于交叉注意力机制的行人特征中提取其时序特征，得到行人与车辆的交互特征。
[0009]进一步，所述基于行人特征和环境特征，利用预先建立的行人与环境交互模型，得到行人与环境的交互特征，包括：利用预设的行人局部高斯核对行人特征进行处理，生成每个时刻的行人热度图；将环境特征向量和行人热度图输入预先建立的行人与环境交互模型，得到行人与环境的交互特征。
[0010]进一步，所述行人局部高斯核表示为：
[0011]其中，x,y为遍历特征图的每个特征点坐标；cx,cy分别为行人检测框的中心点坐标，w,h分别为行人检测框的宽和高。
[0012]进一步，所述基于预设历史时间段内的行人特征、行人与车辆的交互特征、行人与环境的交互特征，利用预先建立的轨迹预测模型，得到行人轨迹预测结果，包括：构建轨迹预测模型；确定网络损失函数及训练参数，并基于训练数据对搭建的轨迹预测模型进行训练，得到训练好的轨迹预测模型；将预设历史时间段内的行人特征、行人与车辆的交互特征、行人与环境的交互特征，输入训练好的轨迹预测模型，得到行人轨迹预测结果。
[0013]第二方面，本专利技术提供一种基于多重交互的行人轨迹预测系统，包括：数据获取模块，用于对采集的车辆及环境信息进行提取，得到预设历史时间段内各个时刻的行人特征、车辆特征和环境特征；人
‑
车交互特征获取模块，用于基于各个时刻的行人特征和车辆特征，利用预先建立的基于时序交叉注意力机制的人车交互模型，得到行人与车辆的交互特征；人
‑
环境交互特征获取模块，用于基于各个时刻的行人特征和环境特征，利用预先建立的行人与环境交互模型，得到行人与环境的交互特征；轨迹预测模块，用于基于行人特征、行人与车辆的交互特征、行人与环境的交互特征，利用预先建立的轨迹预测模型，得到行人轨迹预测结果。
[0014]第三方面，本专利技术提供一种处理设备，所述处理设备至少包括处理器和存储器，所述存储器上存储有计算机程序，所述处理器运行所述计算机程序时执行以实现所述基于多重交互的行人轨迹预测方法的步骤。
[0015]第四方面，本专利技术提供一种计算机存储介质，其上存储有计算机可读指令，所述计算机可读指令可被处理器执行以实现所述基于多重交互的行人轨迹预测方法的步骤。
[0016]本专利技术由于采取以上技术方案，其具有以下优点：1、本专利技术由于利用人
‑
车交互特征、人
‑
环境交互特征以及行人特征共同进行行人轨迹预测，基于多重交互的行人轨迹预测框架可以有效地提升行人轨迹预测精度。
[0017]2、本专利技术由于使用cross
‑
attention机制建模行人与自车之间的交互可以有效捕捉自车与目标行人的动态博弈过程，提升自动驾驶车辆对行人意图的预测。
[0018]3、本专利技术由于采用基于热度图的全局与局部环境信息融合架构来建模行人与当前环境的空间关系，并使用卷积LSTM，利用行人的时空特征来提取行人与环境的交互特征，不仅包含了行人关注到的全局特征，同时也保留了行人在场景中的空间关系。
[0019]本专利技术可以广泛应用于智能汽车的环境感知领域。
附图说明
[0020]通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本专利技术的限制。在整个附图中，用相同的附图标记表示相同的部件。在附图中：图1是本专利技术实施例提供的基于多重交互的行人轨迹预测方法流程图；图2是本专利技术实施例提供的基于多重交互的行人轨迹预测框架图；图3是本专利技术实施例提供的人
‑
车交互示意图，图中表示行人历史信息，表示车辆历史信息；图4是本专利技术实施例提供的人
‑
环境交互示意图；图5本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多重交互的行人轨迹预测方法，其特征在于包括以下步骤：对采集的车辆及环境信息进行提取，得到预设历史时间段内各个时刻的行人特征、车辆特征和环境特征；基于各个时刻的行人特征和车辆特征，利用预先建立的基于时序交叉注意力机制的人车交互模型，得到行人与车辆的交互特征；基于各个时刻的行人特征和环境特征，利用预先建立的行人与环境交互模型，得到行人与环境的交互特征；基于预设历史时间段内的行人特征、行人与车辆的交互特征、行人与环境的交互特征，利用预先建立的轨迹预测模型，得到行人轨迹预测结果。2.如权利要求1所述的一种基于多重交互的行人轨迹预测方法，其特征在于，所述基于各个时刻的行人特征和车辆特征，利用预先建立的基于时序交叉注意力机制的人车交互模型，得到行人与车辆的交互特征，包括：将行人特征和车辆特征分别进行特征编码处理，得到行人特征编码和车辆特征编码；将行人特征编码和车辆特征编码输入预先建立的基于时序交叉注意力机制的人车交互模型，得到行人与车辆的交互特征。3.如权利要求2所述的一种基于多重交互的行人轨迹预测方法，其特征在于，所述将行人特征和车辆特征分别进行特征编码处理，得到行人特征编码和车辆特征编码，包括：分别对每一时刻的行人特征进行GRU时序编码和位置编码，并将行人特征的GRU时序编码和位置编码按照时刻对应相加，得到行人特征编码；分别对每一时刻的车辆特征进行GRU时序编码和位置编码，并将车辆特征的GRU时序编码和位置编码按照时刻对应相加，得到车辆特征编码。4.如权利要求2所述的一种基于多重交互的行人轨迹预测方法，其特征在于，所述基于时序交叉注意力机制的人车交互模型包括：交叉注意力机制模块和RNN编码器模块，其中，所述交叉注意力机制模块用于根据行人特征编码和车辆特征编码，计算得到基于交叉注意力机制的行人特征；所述RNN编码器模块用于从基于交叉注意力机制的行人特征中提取其时序特征，得到行人与车辆的交互特征。5.如权利要求1所述的一种基于多重交互的行人轨迹预测方法，其特征在于，所述基于各个时刻的行人特征和环境特征，利用预先建立的行人与环境交互模型，得到行人与环境的交互特征，包括：利用预设的...

【专利技术属性】
技术研发人员：陈俊杰，江昆，杨蒙蒙，付峥，杨殿阁，
申请(专利权)人：清华大学，
类型：发明
国别省市：