时空嵌入制造技术

用于生成点云的序列的时空嵌入的方法、系统和装置，包括编码在计算机存储介质上的计算机程序。方法中的一种方法包括：获得包括对应于多个时间点中的每个时间点的相应点云输入的时间序列，每个点云输入包括从由载具的一个或多个传感器在相应时间点处捕获的传感器数据生成的点云数据；使用第一神经网络处理每个点云输入，以生成表征点云输入的相应空间嵌入；以及使用第二神经网络处理点云输入的空间嵌入，以生成表征时间序列中的点云输入的时空嵌入。嵌入。嵌入。

【技术实现步骤摘要】
【国外来华专利技术】时空嵌入

技术介绍

[0001]本说明书涉及自主载具。
[0002]自主载具包括自驾驶汽车、船只和飞行器。自主载具使用各种机载传感器和计算机系统检测附近的对象，并使用这样的检测来做出控制和导航决策。
[0003]一些自主载具具有实现用于各种预测任务(例如图像内的对象分类)的神经网络、其他类型的机器学习模型或两者的机载计算机系统。例如，神经网络可以用于确定由机载相机捕获的图像可能是附近汽车的图像。神经网络(或简而言之，网络)是采用多层操作来从一个或多个输入预测一个或多个输出的机器学习模型。神经网络典型地包括处于输入层和输出层之间的一个或多个隐藏层。每个层的输出用作对网络中另一层(例如，下一个隐藏层或输出层)的输入。
[0004]神经网络的每个层指定要对该层的输入执行的一个或多个变换操作。一些神经网络层具有被称为神经元的操作。每个神经元接收一个或多个输入并生成由另一个神经网络层接收的输出。通常，每个神经元接收来自其他神经元的输入，并且每个神经元向一个或多个其他神经元提供输出。
[0005]神经网络的架构指定网络中所包括的层和层的属性以及网络中本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种方法，包括：获得包括对应于多个时间点中的每个时间点的相应点云输入的时间序列，每个点云输入包括从由载具的一个或多个传感器在相应时间点处捕获的传感器数据生成的点云数据；使用第一神经网络处理每个点云输入，以生成表征点云输入的相应空间嵌入；以及使用第二神经网络处理点云输入的空间嵌入，以生成表征时间序列中的点云输入的时空嵌入。2.如权利要求1所述的方法，还包括：使用多个专用任务的神经网络中的每个专用任务的神经网络来处理时空嵌入，其中，每个专用任务的神经网络被配置为处理时空嵌入以生成用于不同预测任务的预测输出。3.如权利要求2所述的方法，其中，已经在第一预测任务上联合训练第一神经网络和第二神经网络，并且，其中，所述第一预测任务不是与多个专用任务的神经网络对应的不同预测任务中的一个。4.如权利要求1
‑
3中任一项所述的方法，其中，处理每个点云输入包括：将点云数据划分为多个体素，生成包括每个体素的特征的特征表示，以及使用所述第一神经网络处理特征表示以生成空间嵌入。5.如权利要求4所述的方法，其中，生成特征表示包括：使用一个或多个视图神经网络处理点云数据，其中，视图神经网络从关于一定视点的点云数据中提取特征；以及组合所述一个或多个视图神经网络的输出以生成特征表示。6.如权利要求5所述的方法，其中，所述一个或多个视图神经网络包括提取关于鸟瞰视图的特征的鸟瞰视图神经网络和提取关于透视视图的特征的透视视图神经网络。7.如权利要求5或6中任一项所述的方法，其中，使用一个或多个视图神经网络处理点云数据包括利用由所述一个或多个视图神经网络共享的完全连接层处理点云数据中的每个点，以将点嵌入到高维度特征空间中。8.如权利要求5或6中任一项所述的方法，其中，组合所述一个或多个视图神经网络的输出包括级联所述一个或多个视图神经网络的输出。9.如权利要求1
‑
8中任一项所述的方法，其中，使用所述第二神经网络处理空间嵌入包括利用一维卷积神经网络层处理空间嵌入。10.一种系统，包括一个或多个计算机和存储可操作的指令的一个或多个存储设备，所述可操作的指令在由所述一个或多个计算机执行时使所述一个或多个计算机执行的操作包括：获得包括对应于多个时间点中的每个时间点的相应点云输入的时间序列，每个点云输入包括从由载具的一个或多个传感器在相应时间点处捕获的传感器数据生成的点云数据；使用第一神经网络处理每个点云输入，以生成表征点云输入的相应空间嵌入；以及使用第二神经网络处理点云输入的空间嵌入，以生成表征时间序列中的点云输入的时空嵌入。11.如权利要求10所述的系统，其中，所述操作还包括...

【专利技术属性】
技术研发人员：J高，Z郭，C李，
申请(专利权)人：伟摩有限责任公司，
类型：发明
国别省市：