一种多智能体统一交互轨迹预测方法、系统、设备和介质技术方案

本发明专利技术涉及一种多智能体统一交互轨迹预测方法、系统、设备和介质，包括以下步骤：根据当前交通场景构建2D空间图并进行空间增强表征，得到空间注意力矩阵；将得到的空间注意力矩阵输入预先训练的时空transformer网络，得到多智能体统一交互轨迹预测结果。本发明专利技术通过对2D空间图进行了空间图增强表征，完成了交通场景内各种交互关系的交互建模，同时通过建立时空transformer网络，可以有效提升多智能体轨迹预测精度，满足实际应用需求。因此，本发明专利技术可以广泛应用于智能汽车轨迹预测领域。可以广泛应用于智能汽车轨迹预测领域。可以广泛应用于智能汽车轨迹预测领域。

【技术实现步骤摘要】
一种多智能体统一交互轨迹预测方法、系统、设备和介质


[0001]本专利技术涉及智能汽车轨迹预测领域，具体涉及基于人工智能技术的交通场景中多类别交通参与者的轨迹预测领域，特别是涉及一种多智能体统一交互轨迹预测方法、系统、设备和介质。

技术介绍

[0002]在复杂交通场景中会存在行人、骑车人、车辆等多类别交通参与者，而交通参与者虽然产生的交互方式不同，但其都对彼此的行驶策略产生作用。因此自动驾驶车辆需要对多种类型的交通参与者建立统一的交互关系模型，这样才能帮助自动驾驶车辆车辆做出最优决策，进而提升自动驾驶车辆的安全性和可靠性。
[0003]交通参与者的交互涉及到时间维度和空间维度两个方面，而目前的研究工作往往仅从空间方面来考虑各个智能体的交互，忽略了时间维度。同时在交互关系的建立过程中，行人
‑
行人交互、行人
‑
车辆交互，行人
‑
骑车人以及车辆
‑
骑车人等多种组合下的智能体之间的交互是不一样的，因此在实际应用中，亟需要一种统一的时空交互架构来预测多智能体的轨迹。

技术实现思路

[0004]针对上述问题，本专利技术的目的是提供一种多智能体统一交互轨迹预测方法、系统、设备和介质，不仅可以利用空间图强化特种交互组合的交互关系，同时也可以将多个智能体的时空特征耦合，捕捉交通场景中各个智能体之间的时空交互特征，有效提升多智能体轨迹预测精度，满足实际应用需求。
[0005]为实现上述目的，本专利技术采取以下技术方案：第一方面，本专利技术提供一种多智能体统一交互轨迹预测方法，包括以下步骤：根据当前交通场景构建2D空间图并进行空间增强表征，得到空间注意力矩阵；将得到的空间注意力矩阵输入预先训练的时空transformer网络，得到多智能体统一交互轨迹预测结果。
[0006]进一步，所述根据当前交通场景构建2D空间图并进行空间增强表征，得到空间注意力矩阵，包括：根据当前交通场景构建2D空间图；对2D空间图进行时序聚合；对时序聚合后的2D空间图进行空间图增强表征，得到融合了空间交互特征的空间注意力矩阵。
[0007]进一步，所述根据当前交通场景构建2D空间图，包括：将当前交通场景中的所有交通参与者作为2D空间图的节点；根据交通参与者的不同类别设计注意力半径，并将在注意力半径内的其他交通参与者设置为邻居，用空间边来表示不同节点的连接，得到2D空间图。
[0008]进一步，所述对2D空间图进行时序聚合，包括：基于时序信息，对相邻两帧2D空间图上的同一智能体之间用时间边连接。
[0009]进一步，所述对时序聚合后的2D空间图进行空间图增强表征，得到融合了空间交互特征的空间注意力矩阵，包括：对2D空间图中各智能体的信息数据进行特征编码，并利用self
‑
attention机制，学习当前2D空间图中各个智能体的交互关系，得到自注意力矩阵；基于2D空间图中每个智能体之间的距离进行空间编码，得到空间编码矩阵；基于2D空间图中每个智能体的类别进行边权编码，得到边权编码矩阵；基于自注意力矩阵、空间编码矩阵和边权编码矩阵，得到融合了空间交互特征的空间注意力矩阵。
[0010]进一步，所述将得到的空间注意力矩阵输入预先训练的时空transformer网络，得到多智能体统一交互轨迹预测结果，包括：对空间注意力矩阵进行预处理，作为时空transformer网络的输入特征；搭建时空transformer网络，并利用训练数据和损失函数进行训练；将预处理后的空间注意力矩阵输入训练好的时空transformer网络，得到多智能体统一交互轨迹预测结果。
[0011]进一步，所述对空间注意力矩阵进行预处理，是指将所述空间注意力矩阵按照时间维度进行展开，并进行soft
‑
sparse归一化。
[0012]第二方面，本专利技术提供一种多智能体统一交互轨迹预测系统，包括：数据处理模块，用于根据当前交通场景构建2D空间图并进行空间增强表征，得到空间注意力矩阵；轨迹预测模块，用于将得到的空间注意力矩阵输入预先训练的时空transformer网络，得到多智能体统一交互轨迹预测结果。
[0013]第三方面，本专利技术提供一种存储一个或多个程序的计算机可读存储介质，所述一个或多个程序包括指令，所述指令当由计算设备执行时，使得所述计算设备执行所述方法中的任一方法。
[0014]第四方面，本专利技术提供一种计算设备，包括：一个或多个处理器、存储器及一个或多个程序，其中一个或多个程序存储在所述存储器中并被配置为所述一个或多个处理器执行，所述一个或多个程序包括用于执行所述方法中的任一方法的指令。
[0015]本专利技术由于采取以上技术方案，其具有以下优点：1、本专利技术通过对2D空间图进行了空间图增强表征，完成了交通场景内各种交互关系的交互建模。
[0016]2、本专利技术在基于交通场景构建的2D空间图进行了时序聚合，耦合了智能体的时空特征，更符合实际交通参与者的交互特点。
[0017]3、本专利技术通过建立时空transformer网络，并对多种智能体形成的空间注意力矩阵分别设计soft
‑
sparse机制处理“过交互”情况，同时设计根据任务设计loss函数进行监督，从而保证网络收敛速度与稳定。
[0018]本专利技术可以广泛应用于智能汽车轨迹预测领域。
附图说明
[0019]通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本专利技术的限制。在整个附图中，用相同的附图标记表示相同的部件。在附图中：图1是本专利技术实施例提供的多智能体统一交互轨迹预测方法流程图；图2a和图2b是本专利技术实施例提供的2D空间图的构建示意图；图3是本专利技术实施例提供的3D traffic
‑
graph图的构建示意图，图中各节点间的实线是空间边，各节点间的虚线是时间边；图4是本专利技术实施例提供的空间增强模块意图；图5是本专利技术实施例提供的时空transformer网络结构示意图。
具体实施方式
[0020]为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例的附图，对本专利技术实施例的技术方案进行清楚、完整地描述。显然，所描述的实施例是本专利技术的一部分实施例，而不是全部的实施例。基于所描述的本专利技术的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本专利技术保护的范围。
[0021]需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
[0022]本专利技术的一些实施例中，提供一种多智能体统一交互轨迹预测方法，首先，根据当前交通场景构建2D空间图，将所有交本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种多智能体统一交互轨迹预测方法，其特征在于，包括以下步骤：根据当前交通场景构建2D空间图并进行空间增强表征，得到空间注意力矩阵；将得到的空间注意力矩阵输入预先训练的时空transformer网络，得到多智能体统一交互轨迹预测结果。2.如权利要求1所述的一种多智能体统一交互轨迹预测方法，其特征在于，所述根据当前交通场景构建2D空间图并进行空间增强表征，得到空间注意力矩阵，包括：根据当前交通场景构建2D空间图；对2D空间图进行时序聚合；对时序聚合后的2D空间图进行空间图增强表征，得到融合了空间交互特征的空间注意力矩阵。3.如权利要求2所述的一种多智能体统一交互轨迹预测方法，其特征在于，所述根据当前交通场景构建2D空间图，包括：将当前交通场景中的所有交通参与者作为2D空间图的节点；根据交通参与者的不同类别设计注意力半径，并将在注意力半径内的其他交通参与者设置为邻居，用空间边来表示不同节点的连接，得到2D空间图。4.如权利要求2所述的一种多智能体统一交互轨迹预测方法，其特征在于，所述对2D空间图进行时序聚合，包括：基于时序信息，对相邻两帧2D空间图上的同一智能体之间用时间边连接。5.如权利要求2所述的一种多智能体统一交互轨迹预测方法，其特征在于，所述对时序聚合后的2D空间图进行空间图增强表征，得到融合了空间交互特征的空间注意力矩阵，包括：对2D空间图中各智能体的信息数据进行特征编码，并利用self
‑
attention机制，学习当前2D空间图中各个智能体的交互关系，得到自注意力矩阵；基于2D空间图中每个智能体之间的距离进行空间编码，得到空间编码矩阵；基于2D空间图中每个智能体的类别进行边权编...

【专利技术属性】
技术研发人员：江昆，陈俊杰，杨蒙蒙，付峥，杨殿阁，
申请(专利权)人：清华大学，
类型：发明
国别省市：