一种基于异构图卷积网络的智能体运动预测方法技术

本发明专利技术涉及一种基于异构图卷积网络的智能体运动预测方法，包括：构建表征动态场景的动态有向异构图，其中所述动态有向异构图联合编码了道路网络的拓扑结构和智能体的时空信息；以及基于所述动态有向异构图利用异构图卷积网络预测智能体的运动轨迹。通过构建动态有向异构图来表征场景中不同元素的变化及其间复杂的交互，利用动态图中的高阶交互信息和时序信息通过异构图卷积网络能够准确地预测智能体未来的轨迹。能体未来的轨迹。能体未来的轨迹。

【技术实现步骤摘要】
一种基于异构图卷积网络的智能体运动预测方法


[0001]本专利技术涉及运动预测与动态场景表征
，尤其涉及一种基于异构图卷积网络的智能体运动预测方法。

技术介绍

[0002]运动预测旨在基于周围车辆(智能体，agent)的历史轨迹与地图、环境等信息预测它们的未来轨迹。运动预测作为路径规划模块的前端依赖单元，是实现安全舒适的自动驾驶的整个流程中至关重要的一环。预测本身即具有不确定性和多模态性。智能体的历史轨迹和高清(HD)地图等信息为刻画车辆所处的动态场景提供了背景信息，使得合理的运动预测成为可能。
[0003]然而，利用上述信息并非易事，因为(i)高度异构的场景元素，包括自动驾驶车辆周围的智能体、道路的车道、红绿灯等；(ii)复杂且多重的交互，例如智能体
‑
智能体、智能体
‑
道路间的交互；(iii)交错的时空信息，例如智能体的轨迹。
[0004]为了解决这些问题，一些基于光栅化(rasterization)的方法首先被提出。例如，Multipath将场景上下文表示为俯视图，利用卷积神经网络(CNN)来学习场景特征，并通过基于锚点的解码器进行预测。尽管基于光栅化的场景表示简单直观，但它在建模和利用智能体与环境之间的交互方面具有固有的局限性。此外，它在处理道路网络的稀疏结构方面效率较低。
[0005]进一步地，一系列基于图神经网络(GNN)的方法于近期被提出。例如，Vectornet提出了一个两级图网络，其中局部网络提取每个场景元素(包括智能体的轨迹和道路车道中心线片段等)的特征，然后全局图网络进一步处理这些对象之间的交互。基于Vectornet的表示，TNT设计了一个基于目标点的预测解码器，DensenTNT通过引入密集的目标候选集与用于增强预测多模态性的基于离线优化的策略，来进一步改进预测解码器。此外，LaneGCN构建了一个道路图网络来利用地图信息，并提出了一个融合网络来刻画智能体和道路之间的交互。在此基础上，LaneRCNN提出了一个针对于每个智能体的子图来融合每个智能体的运动信息及其各自的局部环境信息，以便利用细粒度信息。同时，其通过在全局道路图中使用池化运算来实现各个元素间的交互。类似地，Gohome借助车道片段级图网络对道路网络的拓扑进行编码，并通过热力图来预测智能体的位置。
[0006]此外，TPCN引入点云处理的模型来处理运动预测。它包含一个用于提取道路特征以及地图信息的空间模块和一个用来描述智能体时序信息的时间模块。SceneTransformer提出了一种基于Transformer的多智能体轨迹预测模型。其使用分解的注意力(factorized attention)机制以解耦的方式表征智能体、车道线和时间状态间的复杂交互。Multipath++设计了一个上下文门控单元来融合各种交互，并利用模型集成来进一步来改进预测的多模态性。
[0007]运动预测是自动驾驶中的一个具有挑战性的问题，并且依赖于动态场景中复杂交互(包含智能体
‑
智能体，智能体
‑
道路)的有效表示。现有的大多数运动预测方法具有如下
缺点：
[0008](1)忽略场景元素(节点)及其间关系(边)的异质性。现有的基于图神经网络的方法或者仅用图来刻画高清地图的拓扑结构(单一节点、关系类型)，或通过全局图不加区别地表征所有不同元素及其间多样的关系。
[0009](2)以解耦的方式处理本身交织的空间交互与时序信息。这将阻碍模型提取时空信息的内在相关性。
[0010]因此，本领域需要另辟蹊径，从而克服上述缺点。

技术实现思路

[0011]本专利技术的任务是提供一种基于异构图卷积网络的智能体运动预测方法，通过构建动态有向异构图来表征场景中不同元素的变化及其间复杂的交互，进一步通过异构图卷积网络利用动态有向异构图中的高阶交互信息和时序信息能够准确地预测智能体未来的轨迹。
[0012]针对现有技术中存在的问题，本专利技术提供一种基于异构图卷积网络的智能体运动预测方法来解决，包括：
[0013]构建表征动态场景的动态异构图，其中所述动态异构图联合编码了道路网络的拓扑结构和智能体的时空信息及其间的复杂交互；以及
[0014]基于所述动态有向异构图利用异构图卷积网络预测智能体的运动轨迹。
[0015]在本专利技术的一个实施例中，其中构建表征动态场景的动态异构图包括节点的构造和节点之间动态边的构造，其中所述节点包括智能体节点和车道节点，每个智能体作为一个智能体节点，每个道路车道段作为一个车道节点，在所述节点之间构造动态边来表征节点之间的交互，包括车道
‑
车道交互、智能体
‑
车道交互、车道
‑
智能体交互以及智能体
‑
智能体交互。
[0016]在本专利技术的一个实施例中，将时间片段t＝[
‑
T
′
+1,
‑
T
′
+2,
…
,0]分割成P个等时间间隔τ(τ*P＝T
′
)的组，τ表示时间间隔长度，并利用每个时间间隔内的信息(
‑
τ*p,
‑
τ*(p
‑
1)]来构造动态异构图在相应时间间隔的离散快照G
p
，p＝1,2,
…
,P。
[0017]在本专利技术的一个实施例中，利用给定智能体的一系列历史状态S
h
＝[s
‑
T
′
+1
,s
‑
T
′
+2
,
…
,s0]，构造了动态有向异构图{G
p
}，p＝1,2,
…
,P，动态有向异构图单个时间片段的离散快照G
p
＝{V
p
,ε
p
}，所述离散快照由节点集合和边集合构成，p＝1,2,
…
,P，其中和分别表示不同类型的节点集和边集；
[0018]节点特征X
p
,其中x
p,i
＝x
p
(v
i
)为对应节点v
i
∈V
p
的特征，X
p
＝[x
p,i
,x
p,2
,
…
,x
p,n
]T
；
[0019]假设节点集合V
p
在动态异构图{G
p
}中保持相同，p＝1,2,
…
,P，除了节点集合的属性随p而变化。
[0020]在本专利技术的一个实施例中，按照道路网络的拓扑结构为车道节点构建边来表征车道
‑
车道交互，包括：
[0021]如果车道节点和按照道路方向首尾相连，则在车道节点和之间构造有向边由于道本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于异构图卷积网络的智能体运动预测方法，其特征在于，包括：构建表征动态场景的动态有向异构图，其中所述动态有向异构图联合编码了道路网络的拓扑结构和智能体的时空信息；以及基于所述动态有向异构图利用异构图卷积网络预测智能体的运动轨迹。2.根据权利要求1所述的基于异构图卷积网络的智能体运动预测方法，其特征在于，其中构建表征动态场景的动态异构图包括节点的构造和节点之间动态边的构造，其中所述节点包括智能体节点和车道节点，每个智能体作为一个智能体节点，每个道路车道段作为一个车道节点，在所述节点之间构造动态边来表征节点之间的交互，包括车道
‑
车道交互、智能体
‑
车道交互、车道
‑
智能体交互以及智能体
‑
智能体交互。3.根据权利要求2所述的基于异构图卷积网络的智能体运动预测方法，其特征在于，将时间片段t＝[
‑
T
′
+1，
‑
T
′
+2，
…
，0]分割成P个等时间间隔τ(τ*P＝T
′
)的组，τ表示时间间隔长度，并利用每个时间间隔内的信息(
‑
τ*p，
‑
τ*(p
‑
1)]来构造动态异构图在相应时间间隔的离散快照G
p
，p＝1，2，
…
，P。4.根据权利要求3所述的基于异构图卷积网络的智能体运动预测方法，其特征在于，利用给定智能体的一系列历史状态S
h
＝[s
‑
T
′
+1
，s
‑
T
′
+2
，
…
，s0]，构造了动态有向异构图{G
p
}，p＝1，2，
…
，P，动态有向异构图单个时间片段的离散快照G
p
＝{V
p
，ε
p
}，所述离散快照由节点集合和边集合构成，p＝1，2，
…
，P，其中和分别表示不同类型的节点集和边集；节点特征X
p
，其中x
p，i
＝x
p
(v
i
)为对应节点v
i
∈V
p
的特征，X
p
＝[x
p，i
，x
p，2
，
…
，x
p，n
]
T
；假设节点集合V
p
在动态异构图{G
p
}中保持相同，p＝1，2，
…
，P，除了节点集合的属性随p而变化。5.根据权利要求4所述的基于异构图卷积网络的智能体运动预测方法，其特征在于，按照道路网络的拓扑结构为车道节点构建边来表征车道
‑
车道交互，包括：如果车道节点和按照道路方向首尾相连，则在车道节点和之间构造有向边由于道路拓扑是静态的，ε0在动态有向异构图的不同离散快照G
p
中是相同的。6.根据权利要求5所述的基于异构图卷积网络的智能体运动预测方法，其特征在于，基于车道节点之间边集ε0来进一步构建智能体节点和车道节点之间的动态边来表征智能体
‑
车道交互和车道
‑
智能体交互，包括：对于每一个智能体节点i，首先基于智能体节点i在t＝
‑
τ*(p
‑
1)，p＝1,2,
…
,P，时刻的位置c
p,i
,为其找到k个最近的车道节点，并舍弃其中属于反向车道的车道节点，其中在路口的道路车道段上，保留所有k个节点；从找到的邻近车道节点开始，沿ζ0中的边执行深度优先搜索来探索智能体未来可能到达的车道节点，其中所述深度优先...

【专利技术属性】
技术研发人员：李怡康，高星，贾晓港，
申请(专利权)人：上海人工智能创新中心，
类型：发明
国别省市：