具有未知关联的基于2D到3D线的配准制造技术

一种用于确定2D图像数据和3D点云数据之间的刚体变换的系统，包括被配置为捕获环境的图像数据的第一传感器，被配置为捕获环境的点云数据的第二传感器；通信地耦合到第一传感器和第二传感器的计算设备。计算设备被配置为接收来自第一传感器的图像数据和来自第二传感器的点云数据，参数化来自图像数据的一条或多条2D线，参数化来自点云数据的一条或多条3D线，通过求解被公式化为混合整数线性规划的配准问题，将一条或多条2D线与一条或多条3D线对准，以同时求解投影变换向量和数据关联集，并生成包括与点云数据对准的图像数据的数据网格。格。格。

【技术实现步骤摘要】
【国外来华专利技术】具有未知关联的基于2D到3D线的配准
[0001]相关申请的交叉引用
[0002]本申请要求2020年3月30日提交的美国非临时申请第16/834,466号的权益或优先权，该申请要求2019年9月13日提交的美国临时申请第62/900,102号的权益或优先权，其每篇的内容通过引用全文并入本文。


[0003]本说明书通常涉及用于确定具有已知或未知数据关联的2D数据和3D数据之间的刚体变换(rigid
‑
body transformation)的系统和方法。更具体地，本说明书公开了用于在利用基于2D和3D线的配准的环境内校准和/或定位传感器的系统和方法。

技术介绍

[0004]确定2D图像数据和3D点云数据之间的刚体变换具有用于移动机器人的应用，包括传感器校准和到先验地图的定位。假设2D线数据和3D线数据之间的数据关联是已知的，2D
‑
3D配准的常用方法使用最小二乘求解器，这些数据关联通常由启发式前端(heuristic front
‑
end)提供。2D图像数据和3D点云数据提供本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种系统，包括：被配置为捕获环境的图像数据的第一传感器；被配置为捕获环境的点云数据的第二传感器；通信地耦合到第一传感器和第二传感器的计算设备，其中所述计算设备被配置为：接收来自第一传感器的图像数据和来自第二传感器的点云数据；参数化来自图像数据的一条或多条2D线；参数化来自点云数据的一条或多条3D线；通过求解被公式化为混合整数线性规划的配准问题，将所述一条或多条2D线与所述一条或多条3D线对准，以同时求解投影变换向量和数据关联集；和基于投影变换向量生成包括与点云数据对准的图像数据的数据网格。2.根据权利要求1所述的系统，其中，所述计算设备还被配置为：接收第一传感器的校准值和第二传感器的校准值，其中第一传感器是经校准的传感器；基于第一传感器的校准值和投影变换向量生成第二传感器的预期校准值；确定第二传感器的校准值是否在预定义的误差幅度内与预期校准值匹配；和响应于确定第二传感器的校准值在预定义的误差幅度内与预期校准值不匹配，基于投影变换向量更新第二传感器的校准值，使得第二传感器参考经校准的第一传感器被校准。3.根据权利要求1所述的系统，其中，所述计算设备还被配置为：接收第一传感器的校准值和第二传感器的校准值，其中第二传感器是经校准的传感器；基于第二传感器的校准值和投影变换向量生成第一传感器的预期校准值；确定第一传感器的校准值是否在预定义的误差幅度内与预期校准值匹配；和响应于确定第一传感器的校准值在预定义的误差幅度内与预期校准值不匹配，基于投影变换向量更新第一传感器的校准值，使得第一传感器参考经校准的第二传感器被校准。4.根据权利要求3所述的系统，其中，所述校准值包括外在参数和固有参数。5.根据权利要求1所述的系统，其中，求解被公式化为混合整数线性规划的配准问题包括最小化R
S
范数。6.根据权利要求1所述的系统，其中，所述一条或多条2D线与所述一条或多条3D线之间的数据关联最初是未知的，使得关于定义所述数据关联的对应关系的初始猜测和最近邻启发式算法被应用以求解配准问题。7.根据权利要求1所述的系统，其中，在所述环境的所述图像数据中所捕获的所述环境的视场和在所述环境的所述点云数据中所捕获的所述环境的视场包括重叠的所述环境的至少一部分视野。8.根据权利要求1所述的系统，其中，所述第二传感器包括LIDAR传感器、RADAR传感器或RGB
‑
D相机中的至少一种。9.一种系统，包括：被配置为捕获定义环境的数据的第一传感器，其中所述数据包括图像数据或点云数据中的至少一种；通信地耦合到第一传感器的计算设备，其中所述计算设备被配置为：
接收来自第一传感器的数据；检索环境的地图数据；参数化来自从第一传...

【专利技术属性】
技术研发人员：S，
申请(专利权)人：丰田研究所股份有限公司，
类型：发明
国别省市：