【技术实现步骤摘要】
多模态多代理轨迹预测
[0001]本说明书涉及预测环境中的代理的未来轨迹。
技术介绍
[0002]环境可以是真实世界的环境，并且代理可以是例如环境中的车辆。预测代理的未来轨迹是运动规划所需的任务，例如，由自主车辆进行。
[0003]自主车辆包括自动驾驶汽车、船只和航空器。自主车辆使用各种车载传感器和计算机系统来检测附近的物体，并使用这种检测来做出控制和导航决策。
[0004]一些自主车辆具有车载计算机系统，其实现神经网络、其他类型的机器学习模型或两者，用于各种预测任务，例如图像内的对象分类。例如，神经网络能够被用于确定车载摄像机捕获的图像很可能是附近汽车的图像。神经网络，或者为了简洁起见，网络，是机器学习模型，其采用多层操作来从一个或多个输入预测一个或多个输出。神经网络通常包括位于输入层和输出层之间的一个或多个隐藏层。每一层的输出被用作网络中另一层的输入，例如下一个隐藏层或输出层。
技术实现思路
[0005]本说明书总体上描述了一种在一个或多个位置的一台或多台计算机上被实现为计算机程序的系统，...
【技术保护点】
【技术特征摘要】
1.一种由一台或多台计算机执行的方法，所述方法包括：获得表征环境的情境数据，所述情境数据包括表征在当前时间点的环境中的多个代理的数据，并且所述情境数据包括表征在当前时间点的多个代理中的每一个的轨迹的数据；根据情境数据确定一个或多个相互作用代理对，其中，每个相互作用代理对包括来自多个代理的两个代理，所述两个代理可能在当前时间点之后的未来时间段期间彼此相互作用；根据情境数据并为相互作用代理对中的每一个，确定相互作用代理对的相应时空点预测，其表征(i)代理对在环境中可能相互作用的位置和(ii)代理对可能相互作用的未来时间；以及根据情境数据和相应时空点预测，为一个或多个代理中的每一个代理生成表征在当前时间点之后代理的预测未来轨迹的相应未来轨迹预测。2.根据权利要求1所述的方法，进一步包括：根据情境数据生成表示环境的初始图的初始图数据，其中：环境的初始图包括多个节点和多个边，每个节点表示多个代理中的相应一个，并且每个边连接相应的一对节点，并且初始图数据包括多个代理中的每一个的相应的每个节点的初始节点特征和每个边的初始边特征。3.根据权利要求2所述的方法，其中：生成初始图数据包括通过使用骨干编码器神经网络处理情境数据为每个节点生成相应的初始节点特征，以为多个代理中的每一个生成相应的初始节点特征。4.根据权利要求2或3所述的方法，其中：生成初始图数据包括通过计算表示由边连接的节点表示的代理之间的空间关系的特征来生成相应的初始边特征。5.根据权利要求2
‑
4中任一项所述的方法，其中，根据情境数据确定一个或多个相互作用代理对包括：使用第一图神经网络处理表示环境的初始图的初始图数据，第一图神经网络被配置为处理初始图数据以生成包括每个边的第一更新边特征的第一更新图数据；以及根据每个边的第一更新边特征，确定一个或多个相互作用代理对。6.根据权利要求5所述的方法，其中，根据每个边的第一更新边特征，确定一个或多个相互作用代理对包括：对于初始图中的每个边，使用第一神经网络来处理所述边的第一更新边特征以生成相互作用预测，所述相互作用预测预测由在图中该边连接的节点对表示的代理对将在未来时间段期间相互作用的可能性；以及基于对初始图中的边的相互作用预测来选择一个或多个相互作用代理对。7.根据权利要求2
‑
6中任一项所述的方法，其中，根据情境数据并为相互作用代理对中的每一个，确定相互作用代理对的相应时空点预测包括：使用第二图神经网络处理初始图数据，第二图神经网络被配置为处理初始图数据以生成包括每个边的第二更新边特征的第二更新图数据；以及根据连接表示相互作用代理对中的一个的节点的边的第二更新边特征，来确定每个相
互作用代理对的相应时空点预测。8.根据权利要求7所述的方法，其中，根据连接表示相互作用代理对中的一个的节点的边的第二更新边特征，来确定每个相互作用代理对的相应时空点预测包括，对于每个相互作用代理对：使用第二神经网络来处理连接表示相互作用代理对的节点的边的第二更新边特征以生成相互作用代理对的相应时空点预测。9.根据权利要求2
‑
6中任一项所述的方法，其中，根据情境数据并为相互作用代理对中的每一个，确定相互作用代理对的相应时空点预测包括：使用第二图神经网络处理初始图数据，第二图神经网络被配置为处理初始图数据以生成包括每个节点的第二更新节点特征的第二更新图数据；以及对于相互作用对中的每个代理，根据表示所述代理的节点的第二更新节点特征，来确定所述代理的相应时空点预测。10.根据权...
【专利技术属性】
技术研发人员：P孙，H赵，A麦考利，B萨普，J高，D安格洛夫，X黄，KC夏利斯，
申请(专利权)人：伟摩有限责任公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。