用于预测传感器信息的系统和方法技术方案

本发明专利技术题为“用于预测传感器信息的系统和方法”。本发明专利技术提供了用于控制车辆的系统和方法。在一个实施方案中，一种预测自主车辆的传感器信息的方法包括：接收从与车辆相关联的环境感测到的点云数据；通过处理器用卷积神经网络(CNN)处理点云数据以产生存储在一组存储器单元中的分段的组；通过处理器用循环神经网络(RNN)处理CNN的分段的组以预测未来点云数据；通过处理器处理该未来点云数据以确定动作；以及基于该动作控制车辆。

System and method for predicting sensor information

【技术实现步骤摘要】
用于预测传感器信息的系统和方法
本专利技术整体涉及自主车辆，并且更具体地涉及用于预测与自主车辆的环境相关的传感器信息的系统和方法。自主车辆为能够在用户输入很少或没有用户输入的情况下感测车辆的环境并导航的车辆。它通过使用感测设备诸如雷达、激光雷达、图像传感器等来实现这一目的。自主车辆还使用来自全球定位系统(GPS)技术、导航系统、车辆到车辆通信、车辆到基础设施技术的信息并且/或者由有线系统驱动来导航车辆并执行交通预测。虽然近年来预测系统已取得了重大进展，但此类系统在多个方面仍有可能改进。例如，在正常操作期间，自主车辆通常会遇到许多车辆和其他物体，车辆和其他物体中的每个车辆和其他物体可能表现出其自身的难以预测的行为。例如，由于一些物体可能暂时位于建筑物或另一车辆的后面，因此这些物体可能不可见或变成为暂时不可见。因此，对此类物体的未来定位或轨迹进行预测是困难的。因此，期望提供能够预测未来传感器信息的系统和方法。还期望使用预测的传感器信息来预测物体行为和在控制车辆时使用的其他信息。此外，通过结合附图以及前述
和
技术介绍
采取的后续具体实施方式和所附权利要求，本专利技术的其他期望特征和特性将变得显而易见。
技术实现思路
本专利技术提供了用于控制车辆的系统和方法。在一个实施方案中，一种预测自主车辆的传感器信息并基于其控制车辆的方法包括：接收从与车辆相关联的环境感测到的点云数据；通过处理器用卷积神经网络(CNN)处理点云数据以产生存储在一组存储器单元中的激光雷达分段的组；通过处理器用循环神经细胞(RNN)处理CNN的该激光雷达分段的组以预测未来点云数据；通过处理器处理未来点云数据以确定动作；以及基于该动作控制车辆。在各种实施方案中，该方法包括生成来自激光雷达传感器的第一扫描的点云数据。在各种实施方案中，第一扫描介于30度和180度之间。在各种实施方案中，未来点云数据对应于第一扫描。在各种实施方案中，循环神经网络包括长短期存储器。在各种实施方案中，循环神经网络包括门控循环单元。在各种实施方案中，用CNN处理点云数据包括用CNN处理点云数据以确定空间属性。在各种实施方案中，用RNN处理分段的组包括用RNN处理分段的组以确定时间属性。在一个实施方案中，一种系统包括：第一非暂态模块，该第一非暂态模块被配置为通过处理器来接收从与车辆相关联的环境感测到的点云数据，以及用卷积神经网络(CNN)处理点云数据以产生存储在一组存储器单元中的分段的组；第二非暂态模块，该第二非暂态模块被配置为通过处理器用循环神经网络(RNN)处理CNN的该分段的组以预测未来点云数据；和第三非暂态模块，该第三非暂态模块被配置为通过处理器处理该未来点云数据以确定动作并基于该动作控制车辆。在各种实施方案中，第一非暂态模块生成来自激光雷达传感器的第一扫描的点云数据。在各种实施方案中，第一扫描介于30度和180度之间。在各种实施方案中，未来点云数据对应于第一扫描。在各种实施方案中，循环神经网络包括长短期存储器。在各种实施方案中，循环神经网络包括门控循环单元。在各种实施方案中，第二非暂态模块通过用CNN处理点云数据以确定空间属性来用CNN处理点云数据。在各种实施方案中，第三非暂态模块通过用RNN处理分段的组以确定时间属性来用RNN处理分段的组。在一个实施方案中，提供了一种自主车辆。该自主车辆包括：传感器系统，该传感器系统包括被配置为观察与自主车辆相关联的环境的激光雷达；和控制器，该控制器被配置为通过处理器接收从与车辆相关联的环境感测到的点云数据，用卷积神经网络(CNN)处理该点云数据以产生存储在一组存储器单元中的激光雷达分段的组，用循环神经网络(RNN)处理该激光雷达分段的组以预测未来点云数据，以及处理该未来点云数据以确定动作并基于该动作控制车辆。在各种实施方案中，控制器生成来自激光雷达传感器的第一扫描的点云数据，其中第一扫描介于30度和180度之间，并且其中未来点云数据对应于第一扫描。在各种实施方案中，循环神经网络包括长短期存储器和门控循环单元。在各种实施方案中，控制器通过用CNN处理点云数据以确定空间属性来用CNN处理点云数据，并且其中控制器通过用RNN处理分段的组以确定时间属性来用RNN处理分段的组。附图说明示例性实施方案将在下文中结合以下附图进行描述，其中类似的数字代表类似的元件，并且其中：图1为根据各种实施方案的功能框图，该功能框图示出具有预测系统的自主车辆；图2为根据各种实施方案的功能框图，该功能框图示出具有如图1所示的一种或多种自主车辆的运输系统；图3为根据各种实施方案的功能框图，该功能框图示出与自主车辆相关联的自主驾驶系统(ADS)；图4为根据各种实施方案的数据流图表，该数据流图表示出传感器信息预测模块；图5为根据各种实施方案的功能框图，该功能框图示出传感器信息预测模块的神经网络；并且图6为根据各种实施方案的流程图，该流程图示出一种用于控制自主车辆的控制方法。具体实施方式以下具体实施方式仅是示例性的，并非旨在限制应用和使用。此外，不旨在受前述
、
技术介绍
、
技术实现思路
或以下具体实施方式中所提出的任何表达或暗示的理论的约束。如本文所用，术语“模块”是指单独地或以任何组合的任何硬件、软件、固件、电子控制部件、处理逻辑和/或处理器设备，包括但不限于：专用集成电路(ASIC)、现场可编程门阵列(FPGA)、电子电路、处理器(共享、专用或组)和执行一个或多个软件或固件程序的存储器、组合逻辑电路和/或提供所述功能的其他合适的部件。本公开的实施方案可在本文中根据功能块部件和/或逻辑块部件和各种处理步骤来进行描述。应当理解，此类块部件可由被配置为执行指定功能的任何数量的硬件、软件和/或固件部件来实现。例如，本公开的实施方案可采用各种集成电路部件，例如，存储器元件、数字信号处理元件、逻辑元件、查找表等，该集成电路部件可在一个或多个微处理器或其他控制设备的控制下执行各种功能。此外，本领域的技术人员将会知道，本公开的实施方案可以与任何数量的系统结合实施，并且本文所述的系统仅是本公开的示例性实施方案。为简明起见，本文可能未详细描述与信号处理、数据传输、信令、控制、机器学习模型、雷达、激光雷达、图像分析和系统的其他功能方面(以及系统的各个操作部件)相关的常规技术。此外，本文所包含的各种附图中所示的连接线旨在表示各种元件之间的示例性功能关系和/或物理联接。应该指出的是，许多替代或附加功能关系或物理连接可存在于本公开的实施方案中。参照图1，根据各种实施方案，通常显示为100的预测系统与车辆10相关联。一般来讲，预测系统(或简单地为“系统”)100被配置为预测与车辆10的环境相关联的未来传感器信息。在各种实施方案中，预测系统100使用经训练的神经网络的组合来观察空间属性和时间属性二者，以便预测未来传感器信息。然后基于预测的未来传感器信息控制车辆10。如图1所描绘，示例性车辆10通常包本文档来自技高网...

【技术保护点】
1.一种控制车辆的方法，包括：/n接收从与所述车辆相关联的环境感测到的点云数据；/n通过处理器用卷积神经网络(CNN)处理点云数据以产生存储在一组存储器单元中的分段的组；/n通过所述处理器用循环神经网络(RNN)处理所述CNN的所述分段的组以预测未来点云数据；/n通过所述处理器处理所述未来点云数据以确定动作；以及/n基于所述动作控制所述车辆。/n

【技术特征摘要】
20181029 US 16/1731121.一种控制车辆的方法，包括：
接收从与所述车辆相关联的环境感测到的点云数据；
通过处理器用卷积神经网络(CNN)处理点云数据以产生存储在一组存储器单元中的分段的组；
通过所述处理器用循环神经网络(RNN)处理所述CNN的所述分段的组以预测未来点云数据；
通过所述处理器处理所述未来点云数据以确定动作；以及
基于所述动作控制所述车辆。


2.根据权利要求1所述的方法，还包括生成来自激光雷达传感器的第一扫描的所述点云数据。


3.根据权利要求2所述的方法，其中所述第一扫描介于30度和180度之间。


4.根据权利要求3所述的方法，其中所述未来点云数据对应于所述第一扫描。


5.根据权利要求1所述的方法，其中所述循环神经网络包括长短期存储器。


6.根据权利要求5所述的方法，其中所述循环神经网络包括门控循环单...

【专利技术属性】
技术研发人员：S·比尔，E·布兰森，C·尼尔，S·亚伯拉罕斯，N·曼迪，D·约翰逊，H·努齐，
申请(专利权)人：通用汽车环球科技运作有限责任公司，
类型：发明
国别省市：美国;US