联合标定方法、设备和存储介质技术

本申请提供一种联合标定方法、设备及存储介质，所述方法包括：获取针对温控标定板的粗配准红外图像、以及与粗配准红外图像同步的粗配准点云；基于粗配准红外图像和粗配准点云，确定红外拍摄设备的内参参数，并根据红外拍摄设备的内参参数确定红外拍摄设备与所述激光雷达设备之间的粗配准外参参数；获取红外拍摄设备与激光雷达设备针对同一目标场景分别采集且时间同步的精配准红外图像和精配准点云；基于精配准红外图像和精配准点云，对粗配准外参参数进行迭代优化，得到红外拍摄设备与激光雷达设备之间的精配准外参参数。如此，实现精准且简便的红外拍摄设备与激光雷达设备的联合标定。合标定。合标定。

【技术实现步骤摘要】
联合标定方法、设备和存储介质


[0001]本申请涉及图像处理领域，尤其是涉及一种红外拍摄设备与激光雷达设备的联合标定方法、智能处理设备和计算机可读存储介质。

技术介绍

[0002]在现代自动驾驶系统中，感知系统是不可或缺的组成部分，旨在准确估计周围环境的状态，并为预测和规划提供可靠的观察结果。然而，单一传感器不可避免的存在局限性，为了提高系统的稳健性，一般采取多传感器融合的方案。感知系统的输入一般是多传感器数据(来自摄像头的图像数据、来自LiDAR的点云、高精地图等)，并且会预测道路上关键要素的几何和语义信息。高质量的融合感知结果可作为轨迹预测和路径规划等后续步骤的可靠依据。作为广泛使用的车载传感器，激光雷达和拍摄设备融合可以实现3D目标检测，能够获取目标物体的位置、类别、大小和方向等信息。
[0003]为了实现激光雷达和相机的信息交互和取长补短，需要对两者进行精准标定。然而，如何实现一种精准且简便的红外拍摄设备与激光雷达设备的联合标定已成为当务之急。

技术实现思路

[0004]有鉴于此，本申请提供一种红外拍摄设备与激光雷达设备的联合标定方法、装置、智能处理设备和计算机可读存储介质，可以通过粗配准和精配准两个标定阶段，将目标标定和无目标标定两种标定方法的优点进行结合，实现精准且简便的红外拍摄设备与激光雷达设备的联合标定。
[0005]为达到上述目的，本申请实施例的技术方案是这样实现的：
[0006]第一方面，本申请实施例提供一种红外拍摄设备与激光雷达设备的联合标定方法，包括：<br/>[0007]获取红外拍摄设备采集的针对温控标定板的粗配准红外图像、以及激光雷达设备采集的与粗配准红外图像同步的粗配准点云；
[0008]基于粗配准红外图像和粗配准点云，确定红外拍摄设备的内参参数，并根据红外拍摄设备的内参参数确定红外拍摄设备与所述激光雷达设备之间的粗配准外参参数；
[0009]获取红外拍摄设备与激光雷达设备针对同一目标场景分别采集且时间同步的精配准红外图像和精配准点云；
[0010]基于精配准红外图像和精配准点云，对粗配准外参参数进行迭代优化，得到红外拍摄设备与激光雷达设备之间的精配准外参参数。
[0011]第二方面，本申请实施例提供一种红外拍摄设备与激光雷达设备的联合标定装置，包括：
[0012]粗配准数据获取模块，用于获取红外拍摄设备采集的针对温控标定板的粗配准红外图像、以及激光雷达设备采集的与所述粗配准红外图像同步的粗配准点云；
[0013]粗配准外参参数确定模块，用于基于粗配准红外图像和粗配准点云，确定红外拍摄设备的内参参数，并根据红外拍摄设备的内参参数确定红外拍摄设备与所述激光雷达设备之间的粗配准外参参数；
[0014]精配准数据获取模块，用于获取红外拍摄设备与激光雷达设备针对同一目标场景分别采集且时间同步的精配准红外图像和精配准点云；
[0015]精配准外参参数得到模块，用于基于精配准红外图像和精配准点云，对粗配准外参参数进行迭代优化，得到红外拍摄设备与激光雷达设备之间的精配准外参参数。
[0016]第三方面，本申请实施例提供一种智能处理设备，包括处理器及存储器，所述存储器内存储有可被所述处理器执行的计算机程序，所述计算机程序被所述处理器执行时实现如本申请任一实施例所述的红外拍摄设备与激光雷达设备的联合标定方法。
[0017]第四方面，本申请实施例提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被控制器执行时本申请任一实施例所述的红外拍摄设备与激光雷达设备的联合标定方法。
[0018]本申请上述实施例提供的红外拍摄设备与激光雷达设备的联合标定方法、装置、智能处理设备以及计算机存储介质，可以获取红外拍摄设备采集的针对温控标定板的粗配准红外图像、以及激光雷达设备采集的与粗配准红外图像同步的粗配准点云，并基于粗配准红外图像和粗配准点云，确定红外拍摄设备的内参参数以及红外拍摄设备与激光雷达设备之间的粗配准外参参数。如此，将针对温控标定板同步采集的粗配准红外图像与粗配准点云作为粗配准数据，进行外参参数的粗配准标定，可以实现基于温控标定板的有目标标定，提供一个较为准确的粗配准外参参数。获取红外拍摄设备与激光雷达设备针对同一目标场景分别采集且时间同步的精配准红外图像和精配准点云，并基于精配准红外图像和精配准点云，对粗配准外参参数进行迭代优化，得到红外拍摄设备与激光雷达设备之间的精配准外参参数。如此，将粗配准外参参数作为初始迭代值，对粗配准外参参数进行迭代优化，得到匹配效果最好的精配准外参参数，从而通过将标定流程划分为粗配准和精配准两个阶段，可以将基于温控标定板的有目标标定与可基于实际场景的无目标标定的优点相结合，使得红外拍摄设备与激光雷达之间的联合标定精准，可以适用于红外拍摄设备与激光雷达之间不同距离的精准标定，并且无需人工操作，使得红外拍摄设备与激光雷达之间的联合标定操作简便，便于工程化落地。
附图说明
[0019]图1示出本申请实施例提供的一种红外拍摄设备与激光雷达设备的应用系统的示意图；
[0020]图2示出本申请实施例提供的一种红外拍摄设备与激光雷达设备的联合标定方法的流程示意图；
[0021]图3示出本申请实施例提供的另一种红外拍摄设备与激光雷达设备的联合标定方法的流程示意图；
[0022]图4示出本申请实施例提供的一种粗配准方法的流程示意图；
[0023]图5示出本申请实施例提供的一种精配准方法的流程示意图；
[0024]图6示出本申请实施例提供的一种红外拍摄设备与激光雷达设备的联合标定装置
的结构示意图；
[0025]图7示出本申请提供的一种智能处理设备的结构示意图。
具体实施方式
[0026]以下结合说明书附图及具体实施例对本申请技术方案做进一步的详细阐述。
[0027]为了使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请作进一步地详细描述，所描述的实施例不应视为对本申请的限制，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。
[0028]在以下的描述中，涉及到“一些实施例”的表述，其描述了所有可能实施例的子集，需要说明的是,“一些实施例”可以是所有可能实施例的相同子集或不同子集，并且可以在不冲突的情况下相互结合。
[0029]在以下的描述中，所涉及的术语“第一、第二、第三”仅仅是区别类似的对象，不代表针对对象的特定排序，可以理解地，“第一、第二、第三”在允许的情况下可以互换特定的顺序或先后次序，以使这里描述的本申请实施例能够以除了在这里图示或描述的以外的顺序实施。
[0030]除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的
的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本申请实施例的目的，不是旨在限制本申请。
[0031]联合标定的作用是建立点云的点与图像像素本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种红外拍摄设备与激光雷达设备的联合标定方法，其特征在于，包括：获取红外拍摄设备采集的针对温控标定板的粗配准红外图像、以及激光雷达设备采集的与所述粗配准红外图像同步的粗配准点云；基于所述粗配准红外图像和所述粗配准点云，确定所述红外拍摄设备的内参参数，并根据所述红外拍摄设备的内参参数确定所述红外拍摄设备与所述激光雷达设备之间的粗配准外参参数；获取所述红外拍摄设备与所述激光雷达设备针对同一目标场景分别采集且时间同步的精配准红外图像和精配准点云；基于所述精配准红外图像和所述精配准点云，对所述粗配准外参参数进行迭代优化，得到所述红外拍摄设备与所述激光雷达设备之间的精配准外参参数。2.根据权利要求1所述的联合标定方法，其特征在于，所述基于所述粗配准红外图像和所述粗配准点云，确定所述红外拍摄设备的内参参数，并根据所述红外拍摄设备的内参参数确定所述红外拍摄设备与所述激光雷达设备之间的粗配准外参参数，包括：检测每帧所述粗配准红外图像中的角点坐标，基于每帧所述角点坐标确定所述红外拍摄设备的内参参数、以及每帧所述粗配准红外图像对应的所述温控标定板在相机坐标系下的第一法向量和在像素坐标系下的第一中心点坐标；针对每帧所述粗配准点云中提取温控标定板成像区域的标定板点云，将所述标定板点云进行平面拟合，得到每帧所述粗配准点云对应的所述温控标定板在雷达坐标系下的第二法向量和第二中心点坐标；根据所述红外拍摄设备的内参参数、所述第一中心点坐标、所述第二中心点坐标、所述第一法向量以及所述第二法向量，确定所述红外拍摄设备与所述激光雷达设备之间的粗配准外参参数。3.根据权利要求2所述的联合标定方法，其特征在于，所述基于每帧所述角点坐标确定所述红外拍摄设备的内参参数、以及每帧所述粗配准红外图像对应的所述温控标定板在相机坐标系下的第一法向量和在像素坐标系下的第一中心点坐标，包括：基于每帧所述角点坐标以及所述温控标定板的尺寸，得到每帧所述粗配准红外图像对应的所述温控标定板在像素坐标系下的第一中心点坐标；根据所述像素坐标系与世界坐标系的第一转换关系以及每帧所述角点坐标，确定所述红外拍摄设备的内参参数，以及得到每帧所述粗配准红外图像对应的所述世界坐标系到所述像素坐标系的旋转参数；将所述旋转参数进行罗德里格斯变换，得到各帧所述粗配准红外图像对应的所述温控标定板在相机坐标系下的第一法向量。4.根据权利要求2所述的联合标定方法，其特征在于，所述针对每帧所述粗配准点云中提取温控标定板成像区域的标定板点云，将所述标定板点云进行平面拟合，得到每帧所述粗配准点云对应的所述温控标定板在雷达坐标系下的第二法向量和第二中心点坐标，包括：对每帧所述粗配准点云进行滤波，得到各帧所述粗配准点云中温控标定板成像区域的标定板点云；将所述标定板点云进行平面拟合，得到各帧所述粗配准点云的标定板平面点云；
根据各帧所述标定板平面点云，得到所述各帧所述粗配准点云对应的所述温控标定板在雷达坐标系下的第二法向量；根据所述温控标定板的几何尺寸以及各帧所述标定板平面点云，得到各帧所述粗配准点云对应的所述温控标定板在雷达坐标系下的第二中心点坐标。5.根据权利要求2所述的联合标定方法，其特...

【专利技术属性】
技术研发人员：曲春燕，李春柳，
申请(专利权)人：烟台艾睿光电科技有限公司，
类型：发明
国别省市：