交叉模态传感器数据对准制造技术

用于确定交叉模态传感器数据之间的对准的方法、系统和装置，包括编码在计算机存储介质上的计算机程序。在一个方面，一种方法包括：获得(i)表征环境的视觉外观的图像，以及(ii)表征环境的三维几何形状的包括数据点的集合的点云；使用视觉嵌入神经网络来处理图像的多个区域中的每个区域，以生成每个图像区域的相应嵌入；使用形状嵌入神经网络来处理点云的多个区域中的每个区域，以生成每个点云区域的相应嵌入；以及使用图像区域的嵌入和点云区域的嵌入来识别多个区域对。嵌入来识别多个区域对。嵌入来识别多个区域对。

【技术实现步骤摘要】
【国外来华专利技术】交叉模态传感器数据对准

技术介绍

[0001]本说明书涉及处理由相机传感器和探测(surveying)传感器生成的交叉模态传感器数据。
[0002]相机传感器可以生成表征环境的视觉外观的图像。探测传感器(例如，雷达或激光雷达传感器)可以生成表征环境的三维(3D)几何形状的点云。
[0003]由相机传感器和探测传感器生成的传感器数据可以由机器学习模型处理。神经网络是采用一层或多层非线性单元来预测对于接收到的输入的输出的机器学习模型。一些神经网络是除了输出层之外还包括一个或多个隐藏层的深度神经网络。每个隐藏层的输出用作网络中下一层(即下一隐藏层或输出层)的输入。网络的每一层根据相应参数集的当前值从接收到的输入中生成输出。

技术实现思路

[0004]本说明书描述了在一个或多个位置的一个或多个计算机上实施为计算机程序的系统，该系统可以确定交叉模态传感器数据之间的对准。确定两个传感器数据集之间的对准(例如，图像数据与点云数据之间的对准)是指确定表征环境的相同地方(area)的两个传感器数据集的相应区域之间的映射。
[0005]根据第一方面，本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种由一个或多个数据处理装置执行的方法，所述方法包括：获得：(i)由相机传感器生成的表征环境的视觉外观的图像，以及(ii)由探测传感器生成的表征环境的三维几何形状的包括数据点的集合的点云，其中每个数据点定义环境中的表面上的点的相应三维空间位置；使用视觉嵌入神经网络来处理所述图像的多个区域中的每个区域，以生成图像区域中的每个的相应嵌入；使用形状嵌入神经网络来处理所述点云的多个区域中的每个区域，以生成点云区域中的每个的相应嵌入；以及使用图像区域的嵌入和点云区域的嵌入来识别多个区域对，其中每个区域对包括表征环境的相同相应地方的相应图像区域和相应点云区域。2.根据权利要求1所述的方法，其中，所述探测传感器是激光雷达传感器或雷达传感器。3.根据权利要求1
‑
2中任一项所述的方法，其中，所述相机传感器和所述探测传感器被安装在载具上。4.根据权利要求1所述的方法，其中，所述点云中的每个数据点另外定义光脉冲的反射强度，所述光脉冲由所述探测传感器发送并且从由所述数据点定义的三维空间位置处的环境的表面上的点反射。5.根据权利要求1
‑
4中任一项所述的方法，还包括：使用所述多个区域对来确定所述相机传感器和所述探测传感器是否被准确地校准。6.根据权利要求1
‑
5中任一项所述的方法，还包括：获得定义对象在所述图像中的位置的数据；以及基于(i)所述对象在所述图像中的位置和(ii)所述多个区域对来识别所述对象在所述点云中的对应位置。7.根据权利要求6所述的方法，其中，基于(i)所述对象在所述图像中的位置和(ii)所述多个区域对来识别所述对象在所述点云中的对应位置包括：识别特定区域对，其中，对于每个特定区域对，所述区域对的图像区域对应于所述对象在所述图像中的位置；以及基于每个特定区域对的相应点云区域来确定所述对象在所述点云中的位置。8.根据权利要求1
‑
7中任一项所述的方法，还包括：获得定义对象在所述点云中的位置的数据；以及基于(i)所述对象在所述点云中的位置和(ii)所述多个区域对来识别所述对象在所述图像中的对应位置。9.根据权利要求8所述的方法，其中基于(i)所述对象在所述点云中的位置和(ii)所述多个区域对来识别所述对象在所述图像中的对应位置包括：识别...

【专利技术属性】
技术研发人员：CA布雷利，V伊万钦科，张羽，
申请(专利权)人：伟摩有限责任公司，
类型：发明
国别省市：