【技术实现步骤摘要】
用于提供社交级时空多模态未来预报的系统和方法
[0001]相关申请的交叉引用
[0002]本专利申请要求2020年7月17日提交的美国临时申请63/053,394的优先权，该专利申请明确地以引用方式并入本文。
技术介绍
[0003]预报动态场景中代理的轨迹是一系列应用程序诸如自主导航、驾驶员辅助系统、监视、人机交互、群模拟和游戏/娱乐的重要研究问题。解决该问题的挑战在于对人类行为的可变性和不确定性以及相关联的社会和文化规范进行建模。在许多情况下，现有方法缺乏复杂的路径预测，尤其是在高度不饱和的场景中，并且涉及代理之间或代理与环境之间的复杂交互。
技术实现思路
[0004]根据一个方面，一种用于提供社交级时空多模态未来预报的计算机实现的方法，该方法包括接收与自我意识车辆的周围环境相关联的环境数据。该计算机实现的方法还包括实现图卷积以获得分别与位于周围环境内的代理相关联的关注权重。该计算机实现的方法还包括对这些代理中的每个代理的多模态轨迹和概率进行解码。确定这些代理中的每个代理的预测轨迹，并且输出与概率相关联的排序，该概率...
【技术保护点】
【技术特征摘要】
1.一种用于提供社交级时空多模态未来预报的计算机实现的方法，所述方法包括：接收与自我意识车辆的周围环境相关联的环境数据；实现图卷积以获得分别与位于所述周围环境内的代理相关联的关注权重；对所述代理的中的每个代理的多模态轨迹和概率进行解码，其中针对所述代理中的每个代理确定预测轨迹，并且输出与概率相关联的排序，所述概率与所述预测轨迹中的每个预测轨迹相关联；以及基于与所述代理中的每个代理相关联的所述预测轨迹和与所述概率相关联的所述排序来控制所述自我意识车辆的至少一个车辆系统。2.根据权利要求1所述的计算机实现的方法，其中接收与所述周围环境相关联的所述环境数据包括接收在多个时间步长处捕获的位于所述自我意识车辆的所述周围环境内的所述代理的图像和LiDAR测量结果。3.根据权利要求2所述的计算机实现的方法，其中接收与所述周围环境相关联的所述环境数据包括聚合与在所述多个时间步长处捕获的所述代理的所述图像和LiDAR测量结果相关联的图像数据和LiDAR数据，其中基于聚合的图像数据和LiDAR数据来确定所述代理在所述多个时间步长期间的历史位置。4.根据权利要求3所述的计算机实现的方法，还包括将时空图处理为所述代理在所述多个时间步长中的每个时间步长处的历史位置的图形表示，其中输出来自所述多个时间步长和图顶点的与所述代理的所述历史位置相关联的邻接矩阵。5.根据权利要求4所述的计算机实现的方法，其中实现所述图卷积以获得所述关注权重包括将来自所述多个时间步长和所述图顶点的与所述代理的所述历史位置相关联的所述邻接矩阵输入到图卷积，以获得分别与所述代理中的每个代理相关联的所述关注权重。6.根据权利要求5所述的计算机实现的方法，还包括执行多重关注函数以关注与所述代理相关联的特征，其中完成编码函数以编码和输出与分别与所述代理中的每个代理相关联的预测关注权重相关联的多重关注特征。7.根据权利要求6所述的计算机实现的方法，其中对所述多个代理的每个代理的所述多模态轨迹和所述概率进行解码包括对所述多个关注特征进行解码以解码并输出多个预测轨迹作为每个模式和代理的多模态轨迹。8.根据权利要求7所述的计算机实现的方法，其中对所述代理中的每个代理的所述多模态轨迹和所述概率进行解码包括通过预测所述概率并输出具有与概率相关联的所述排序的所述预测轨迹来利用用于排序模式的交叉熵损失。9.根据权利要求1所述的计算机实现的方法，其中控制所述自我意识车辆的所述至少一个车辆系统包括比较与所述概率相关联的所述排序，以确定所述排序是否被分级为高于预定概率阈值，其中输出自主控制参数，以基于与所述代理中的每个代理相关联的所述预测轨迹和与所述概率相关联的所述排序在所述自我意识车辆的所述周围环境内自主地控制所述自我意识车辆。10.一种用于提供社交级时空多模态未来预报的系统，所述系统包括：存储指令的存储器，所述指令在由处理器执行时使得所述处理器：接收与自我意识车辆的周围环境相关联的环境数据；实现图卷积以获得分别与位于所述周围环境内的代理相关联的关注权重；
对所述代理的中的每个代理的多模态轨迹和概率进行解码，其中针对所述代理中的每个代理确定预测轨迹，并且输出与概率相关联的排序，所述概率与所述预测轨迹中的每个预测轨迹相关联；以及基于与所述代理中的每个代理相关联的所...
【专利技术属性】
技术研发人员：斯里坎特，
申请(专利权)人：本田技研工业株式会社，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。