自动驾驶车辆的激光雷达和图像校准制造技术

使用手眼方程将自动驾驶车辆的相机坐标系校准为激光雷达模块的坐标系。然而，传统手眼方程的解是基于围绕三个轴的稳固旋量。在校准汽车的相机时，通常只有一个轴有稳健的旋量。围绕两个轴的旋量退化使得传统的手眼方程难以求解。定义具有缩放值的旋转向量。通过使用旋转向量，可以求解手眼方程，以将相机的姿态校准为激光雷达模块的姿态。态校准为激光雷达模块的姿态。态校准为激光雷达模块的姿态。

【技术实现步骤摘要】
【国外来华专利技术】自动驾驶车辆的激光雷达和图像校准
交叉引用
[0001]本申请要求2020年7月8日提交的申请号为16/924,000的美国非临时专利申请的优先权，在此通过引用将其全部内容并入本申请。

技术介绍

[0002]光转向通常涉及在预定方向上投射光，以促进，例如，物体的检测和测距、物体的照明和扫描等。光转向可用于许多不同的应用领域包括，例如，自动驾驶车辆、医疗诊断设备等。
[0003]现代车辆通常配备一套环境检测传感器，旨在实时检测车辆周围的物体和景观特征，这些传感器可用作许多现有和新兴技术的基础，例如辅助变道、防撞和自动驾驶功能。一些常用的传感系统包括光学传感器(例如，红外线、相机等)、用于检测其他车辆或物体的存在、方向、距离和速度的无线电探测和测距(雷达)、磁力计(例如，大型铁质物体的无源传感，如卡车、汽车或轨道车)，以及光探测和测距(激光雷达)。
[0004]激光雷达通常使用脉冲光源和检测系统来估计与环境特征(例如，车辆、结构等)的距离。在一些系统中，激光或光脉冲(脉冲)通过透镜组件发射和聚焦，并且由接收器收集从物体上反射的脉冲。可以测量脉冲从发射时间到接收反射时间的飞行时间(TOF)，和/或可以计算相位差，这可以表现为单个数据点。这个过程可以在任何所需的范围内非常快速地重复(对于地面车辆来说，通常是360
°
的2D平面，而对于飞机来说则是3D区域)，以形成实时动态和连续更新的点集合，形成“点云”。点云数据可用于估计物体相对于激光雷达系统的距离、尺寸和位置，通常具有非常高的保真度(例如，在5厘米以内)。
[0005]尽管激光雷达和其他传感系统为全自动交通的持续发展带来了希望，但仍还有一些挑战限制了它的广泛采用。激光雷达系统通常昂贵、庞大且笨重。在一些情况下，可能需要多个发射器来准确跟踪场景，特别是对于需要在大范围和视场(FOV)上的精度的系统。尽管在将自动驾驶车辆技术推向更大的商业应用方面取得了重大进展，但仍需要进一步改进。

技术实现思路

[0006]在一些实施例中，本申请公开了一种不使用专门目标而使用激光雷达系统校准相机的方法。
[0007]在一些实施例中，用于校准带有多维测距装置的视觉装置的系统包括扫描仪(例如，激光雷达模块)、包括一个或多个图像传感器的相机；和一个或多个处理器。一个或多个处理器被配置为使用所述相机获取第一图像；基于所述第一图像计算所述相机的第一姿态；使用所述相机获取第二图像；基于所述第二图像计算所述相机的第二姿态；基于所述相机的所述第一姿态和所述相机的所述第二姿态计算第一姿态变化；使用所述激光雷达模块生成场景的第一三维图；基于所述场景的所述第一三维图计算所述激光雷达模块的第一姿态；使用所述激光雷达模块生成所述场景的第二三维图；基于所述场景的所述第二三维图
计算所述激光雷达模块的第二姿态；基于所述激光雷达模块的所述第一姿态和所述激光雷达模块的所述第二姿态计算第二姿态变化；使用旋转向量将所述第一姿态变化的旋量与所述第二姿态变化的旋量关联起来；基于缩放旋转向量的初始值加上缩放值定义缩放旋转向量；分析所述第一姿态变化、所述第二姿态变化和所述缩放旋转向量之间的关系，以求解所述相机的所述第一姿态和所述激光雷达模块的所述第一姿态之间的旋量；以及，基于所述相机的所述第一姿态和所述激光雷达模块的所述第一姿态之间的旋量，使用所述激光雷达模块校准所述相机。在一些实施例中，激光雷达模块安装在车辆上；阻止所述相机和所述激光雷达模块之间的相对运动和旋转；在将所述缩放值与所述缩放旋转向量的所述初始值相加之前，将所述缩放值乘以所述第一姿态变化的所述旋量和所述第二姿态变化的所述旋量的总和；和/或分析是最小二乘法分析。
[0008]在一些实施例中，用于校准带有多维距离测量装置的视觉装置的方法包括使用相机获取第一图像；基于所述第一图像计算所述相机的第一姿态；使用所述相机获取第二图像；基于所述第二图像计算所述相机的第二姿态；基于所述相机的所述第一姿态和所述相机的所述第二姿态计算第一姿态变化；使用扫描仪生成场景的第一三维图；基于所述场景的所述第一三维图计算所述扫描仪的第一姿态；使用所述扫描仪生成所述场景的第二三维图；基于所述场景的所述第二三维图计算所述扫描仪的第二姿态；基于所述扫描仪的所述第一姿态和所述扫描仪的所述第二姿态计算第二姿态变化；使用旋转向量将所述第一姿态变化的旋量与所述第二姿态变化的旋量关联起来；基于缩放旋转向量的初始值加上缩放值定义缩放旋转向量；分析所述第一姿态变化、所述第二姿态变化和所述缩放旋转向量之间的关系，以求解所述相机的所述第一姿态和所述扫描仪的所述第一姿态之间的旋量；以及基于所述相机的所述第一姿态和所述扫描仪的所述第一姿态之间的旋量，使用所述扫描仪校准所述相机。在一些实施例中，所述相机和所述扫描仪的运动被限制在一个平面内，以使围绕第一轴的旋量远大于围绕第二轴的旋量；以及所述第二轴与所述第一轴正交；围绕所述第一轴的旋量是围绕所述第二轴线的旋量的两倍以上；所述相机和所述扫描仪的运动来自在平坦地面上行驶的车辆；还包括用所述扫描仪同时校准四个或更多个相机，求解所述缩放值以求解所述相机的所述第一姿态和所述扫描仪的所述第一姿态之间的旋量，和/或将所述第一姿态变化的时间与所述第二姿态变化的时间同步在将所述缩放值与所述缩放旋转向量的初始值相加之前，将所述缩放值乘以所述第一姿态变化的所述旋量和所述第二姿态变化的所述旋量的总和；所述分析是最小二乘法分析；和/或所述扫描仪是激光雷达模块的一部分。
[0009]从下文提供的详细描述中，本说明书的其他应用领域将变得显而易见。应当理解的是，详细描述和具体示例虽然指示了各种实施例，但仅旨在用于说明的目的，而不旨在限制本说明书的范围。
附图说明
[0010]参照附图进行详细描述。
[0011]图1示出了利用所公开技术的一些实施例的某些方面的自动驾驶车辆。
[0012]图2示出了相机的中心和激光雷达的中心。
[0013]图3示出了相机与激光雷达的未对准以及相机与激光雷达的对准。
[0014]图4示出了对准计算的流程图。
[0015]图5示出了相应的矩阵。
[0016]图6示出了不同坐标系下的旋转向量。
[0017]图7示出了估计用激光雷达系统校准相机系统的旋转向量的方法的实施例的流程图。
[0018]图8示出了用激光雷达系统校准相机系统的方法的实施例的流程图。
[0019]图9示出了与相机和激光雷达系统接口的计算机系统的实施例的框图。
[0020]在附图中，相似的组件和/或特征可以具有相同的参考标记。此外，可以通过在参考标记后加上破折号和区分相似组件的第二标签来区分相同类型的各种组件。如果说明书中仅使用了第一参考标记，则该描述适用于任何具有相同第一参考标记的类似部件，而与第二参考标记无关。
具体实施方式
[0021]本说明书的各个方面总体上涉及校准两个光学系统。更具体地且非限制性地，本说明书涉及在不使用目标、不使用人类交互或不同时使用目标和人本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种用于校准带有多维测距装置的视觉装置的系统，其特征在于，所述系统包括：激光雷达模块；包括一个或多个图像传感器的相机；一个或多个处理器，所述一个或多个处理器被配置为：使用所述相机获取第一图像；基于所述第一图像计算所述相机的第一姿态；使用所述相机获取第二图像；基于所述第二图像计算所述相机的第二姿态；基于所述相机的所述第一姿态和所述相机的所述第二姿态计算第一姿态变化；使用所述激光雷达模块生成场景的第一三维图；基于所述场景的所述第一三维图计算所述激光雷达模块的第一姿态；使用所述激光雷达模块生成所述场景的第二三维图；基于所述场景的所述第二三维图计算所述激光雷达模块的第二姿态；基于所述激光雷达模块的所述第一姿态和所述激光雷达模块的所述第二姿态计算第二姿态变化；使用旋转向量将所述第一姿态变化的旋量与所述第二姿态变化的旋量关联起来；基于缩放旋转向量的初始值加上缩放值定义缩放旋转向量；分析所述第一姿态变化、所述第二姿态变化和所述缩放旋转向量之间的关系，以求解所述相机的所述第一姿态和所述激光雷达模块的所述第一姿态之间的旋量；以及基于所述相机的所述第一姿态和所述激光雷达模块的所述第一姿态之间的旋量，使用所述激光雷达模块校准所述相机。2.根据权利要求1所述的系统，其特征在于，所述激光雷达模块安装在车辆上。3.根据权利要求1所述的系统，其特征在于，阻止所述相机和所述激光雷达模块之间的相对运动和旋转。4.根据权利要求1所述的系统，其特征在于，在将所述缩放值与所述缩放旋转向量的所述初始值相加之前，将所述缩放值乘以所述第一姿态变化的所述旋量和所述第二姿态变化的所述旋量的总和。5.根据权利要求1所述的系统，其特征在于，所述分析是最小二乘法分析。6.一种用于校准带有多维测距装置的视觉装置的方法，其特征在于，所述方法包括：使用相机获取第一图像；基于所述第一图像计算所述相机的第一姿态；使用所述相机获取第二图像；基于所述第二图像计算所述相机的第二姿态；基于所述相机的所述第一姿态和所述相机的所述第二姿态计算第一姿态变化；使用扫描仪生成场景的第一三维图；基于所述场景的所述第一三维图计算所述扫描仪的第一姿态；使用所述扫描仪生成所述场景的第二三维图；基于所述场景的所述第二三维图计算所述扫描仪的第二姿态；基于所述扫描仪的所述第一姿态和所述扫描仪的所述第二姿态计算第二姿态变化；
使用旋转向量将所述第一姿态变化的旋量与所述第二姿态变化的旋量关联起来；基于缩放旋转向量的初始值加上缩放值定义缩放旋转向量；分析所述第一姿态变化、所述第二姿态变化和所述缩放旋转向量之间的关系，以求解所述相机的所述第一姿态和所述扫描仪的所述第一姿态之间的旋量；以及基于所述相机的所述第一姿态和所述扫描仪的所述第一姿态之间的旋量，使用所述扫描仪校准所述相机。7.根据权利要求6所述的方法，其...

【专利技术属性】
技术研发人员：干灵文，王镇，
申请(专利权)人：北京航迹科技有限公司，
类型：发明
国别省市：