对自上而下场景的轨迹预测制造技术

讨论了用于基于环境的自上而下的表示确定预测轨迹的技术。第一车辆的传感器可以捕获环境的传感器数据，其可以包括与第一车辆分离的(多个)代理，例如，第二车辆或行人。可以基于传感器数据生成表示(多个)代理的自上而下视图和环境并包括语义信息的多通道图像。语义信息可以包括与代理相关联的边界框和速度信息、地图数据以及其他语义信息。可以生成表示随着时间的推移的环境的多个图像。(多个)图像可以被输入到预测系统中，该预测系统被配置为输出热图，该热图包括与代理在未来的可能位置相关联的预测概率。可以基于预测概率生成预测轨迹并将其输出以控制第一车辆的操作。

【技术实现步骤摘要】
【国外来华专利技术】对自上而下场景的轨迹预测相关申请的交叉引用本专利申请要求享有于2018年10月4日提交的序列号为16/151,607的美国技术专利申请的优先权。序列号为6/151,607的申请通过引用方式完全并入本文。
技术介绍
预测技术可以用于确定环境中实体的未来状态。即，可以使用预测技术来确定特定实体在未来可能如何表现。当前的预测技术通常涉及基于物理学的建模或道路规则模拟，以预测环境中的实体的未来状态。附图说明参考附图描述了具体实施方式。在附图中，附图标记的最左边的数字标识该附图标记在其中首次出现的附图。在不同附图中使用相同的附图标记指示相似或相同的组件或特征。图1是根据本公开的实施例的示例过程的图形流程图，该示例过程用于捕获传感器数据、将表示环境的自上而下视图的图像输入到预测系统中、接收与预测概率相关联的热图(heatmap)以及至少部分地基于预测概率生成预测轨迹。图2描绘了用于实现本文描述的技术的示例系统的框图。图3是根据本公开的实施例的示例过程的图形流程图，该示例过程用于接收与预测概率相关联的热图、至少部分地基于每个本文档来自技高网...

【技术保护点】
1.一种系统，包括：/n一个或多个处理器；以及/n一个或多个计算机可读介质，其存储能够由所述一个或多个处理器执行的指令，其中，所述指令在被执行时使所述系统执行包括以下各项的操作：/n接收由车辆的传感器捕获的环境的传感器数据；/n至少部分地基于所述传感器数据生成表示所述环境的自上而下视图的图像，所述图像包括与对象相关联的信息；/n至少部分地基于所述图像确定与关联于所述对象的可能位置的预测概率相关联的热图；/n至少部分地基于所述热图确定与所述对象相关联的预测轨迹；以及/n至少部分地基于所述预测轨迹确定用于所述车辆在所述环境中行进的轨迹。/n

【技术特征摘要】
【国外来华专利技术】20181004 US 16/151,6071.一种系统，包括：
一个或多个处理器；以及
一个或多个计算机可读介质，其存储能够由所述一个或多个处理器执行的指令，其中，所述指令在被执行时使所述系统执行包括以下各项的操作：
接收由车辆的传感器捕获的环境的传感器数据；
至少部分地基于所述传感器数据生成表示所述环境的自上而下视图的图像，所述图像包括与对象相关联的信息；
至少部分地基于所述图像确定与关联于所述对象的可能位置的预测概率相关联的热图；
至少部分地基于所述热图确定与所述对象相关联的预测轨迹；以及
至少部分地基于所述预测轨迹确定用于所述车辆在所述环境中行进的轨迹。


2.根据权利要求1所述的系统，其中，与所述对象相关联的所述信息包括边界框信息或速度信息中的一个或多个，并且其中，确定所述预测轨迹包括：
至少部分地基于与所述热图的部分相关联的最高概率部分以及成本确定预测点，所述成本与至少部分地基于所述预测点确定所述预测轨迹相关联。


3.根据权利要求2所述的系统，其中：
所述预测点是第一预测点；
所述最高概率部分是第一最高概率部分；
所述部分是第一部分；
所述成本是第一成本；
所述预测轨迹是第一预测轨迹；以及
所述操作还包括：
掩盖所述热图的与所述第一预测点相关联的第二部分作为被掩盖的热图，其中，所述热图的所述第二部分至少包括所述第一部分；
将与所述被掩盖的热图的第三部分相关联的第二最高概率部分确定为第二预测点；以及
至少部分地基于所述第二预测点以及第二成本确定第二预测轨迹，所述第二成本与至少部分地基于所述第二预测点确定所述第二预测轨迹相关联。


4.根据权利要求2至3中任一项所述的系统，其中，所述图像包括：
与所述边界框相关联的第一通道以及与所述对象相关联的语义信息；以及
与所述速度信息相关联的第二通道，所述速度信息与所述对象相关联，以及
其中，所述操作还包括将所述第一通道和所述第二通道输入到机器学习模型中。


5.根据权利要求1至4中任一项所述的系统，所述操作还包括将所述图像输入到机器学习模型中以确定所述热图，其中，所述机器学习模型包括：
卷积神经网络(CNN)；以及
与所述CNN耦合的长短期记忆(LSTM)组件。


6.一种方法，包括：
接收环境的传感器数据；
生成表示所述环境中的对象的自上而下视图的图像，其中，所述图像包括与所述对象或所述环境相关联的信息；
将所述图像输入到被配置为生成与所述对象的预测位置相关联的概率分布的算法中；
至少部分地基于所述概率分布确定与所述对象相关联的预测轨迹；以及
至少部分地基于所述预测轨迹控制车辆。


7.根据权利要求6所述的方法，其中，所述概率分布被表示为使所述环境...

【专利技术属性】
技术研发人员：X·J·洪，B·J·萨普，
申请(专利权)人：祖克斯有限公司，
类型：发明
国别省市：美国;US