传感器自动标定方法及电子设备和存储介质技术

本发明专利技术实施例提供一种传感器自动标定方法及电子设备和存储介质。该方法包括：获取激光设备采集的激光点云数据，相机采集的图像数据；根据移动装置的行驶状态，对激光点云数据中与行驶状态相关的场景目标进行识别，得到场景目标在激光点云坐标系下的第一坐标；根据移动装置的行驶状态，对图像数据中与行驶状态相关的场景目标进行识别，得到场景目标在图像坐标系下的第二坐标；将第一坐标重投影为图像坐标系下的第三坐标；对第二坐标与第三坐标在图像坐标系下进行匹配，得到匹配结果；基于匹配结果，对激光设备和相机之间的外参进行标定。本发明专利技术实施例不依赖于传统的标定场景，可实现激光设备和相机之间外参更精准的自动化标定。激光设备和相机之间外参更精准的自动化标定。激光设备和相机之间外参更精准的自动化标定。

【技术实现步骤摘要】
传感器自动标定方法及电子设备和存储介质


[0001]本专利技术涉及自动驾驶领域，尤其涉及一种传感器自动标定方法及电子设备和存储介质。

技术介绍

[0002]自动驾驶通常由感知系统、决策系统、执行系统、通信系统构成，其通过车辆自身采集数据，并进行数据处理输出，最终决策控制。由于自动驾驶的安全性要求很高，就需要传感器能更充分的采集周围环境信息，从而做出可靠推断。
[0003]然而，没有单独的一款传感器能达到感知包含距离，物体信息都很全面的特征。因此，为了获得更全面的特征，可靠的传感器感知集成方案有激光雷达和相机。激光雷达可以更好的感知周围物体的位置信息，准度较高，但激光雷达数据比较稀疏，对自动驾驶中碰到的部分障碍物无法给出比较明确的类型特征。同时，针对下雨，下雪，轻量灰尘等情况下，均可能会失效，虽然通过多次回波的方案可优化此类应用，但后端仍需要进行异常目标的过滤。相机能较好的识别场景中的语义信息，识别交通障碍物，但在部分场景下分割容易失效，例如边界不明显的物体，就可能会使整体检测出现异常。
[0004]因此，结合激光雷达和相机的特征融合相关信息，能更好的辅助自动驾驶感知操作。在融合使用之前，需要对参数进行标定，使激光中的对应目标位置和相机目标位置无明显偏差。从而更好的完成对目标的融合感知。
[0005]在实现本专利技术过程中，专利技术人发现相关技术中至少存在如下问题：
[0006]相机和激光雷达的集成已经固定，自动驾驶车辆在行驶过程中难免因为颠簸、急刹车等可能导致已经集成固定的相机和激光雷达的相对位置发生变化，此时相机和激光雷达在集成时的标定参数将不再适用，需要重新标定相机和激光雷达之间的外参，然而，对于已经集成固定的传感器而言，寻找合适场景下的标定环境较为困难，而且具体的场景参数需要进行特殊的目标物体，重新标定难度比较大。因此，如何能够实现相机和激光雷达的外参自动标定则成为目前亟待解决的技术问题。

技术实现思路

[0007]本专利技术技术方案解决现有技术中自动驾驶车辆在行驶过程中导致相机和激光雷达相对位置发生变化时，无法实现自动标定相机和激光雷达的外参的技术问题。第一方面，本专利技术实施例提供一种传感器自动标定方法，应用于移动装置，包括：
[0008]获取激光设备采集的激光点云数据；
[0009]获取相机采集的图像数据；
[0010]根据所述移动装置的行驶状态，对所述激光点云数据中与所述行驶状态相关的场景目标进行识别，得到所述场景目标在激光点云坐标系下的第一坐标；
[0011]根据所述移动装置的行驶状态，对所述图像数据中与所述行驶状态相关的所述场景目标进行识别，得到所述场景目标在图像坐标系下的第二坐标；
[0012]将所述第一坐标重投影为图像坐标系下的第三坐标；
[0013]对所述第二坐标与所述第三坐标在所述图像坐标系下进行匹配，得到匹配结果；
[0014]基于所述匹配结果，对所述激光设备和所述相机之间的外参进行标定。
[0015]第二方面，本专利技术实施例提供一种传感器自动标定装置，其特征在于，包括：
[0016]点云获取模块，用于获取激光设备采集的激光点云数据；
[0017]图像获取模块，用于获取相机采集的图像数据；
[0018]第一坐标确定模块，用于根据所述移动装置的行驶状态，对所述激光点云数据中与所述行驶状态相关的场景目标进行识别，得到所述场景目标在激光点云坐标系下的第一坐标；
[0019]第二坐标确定模块，用于根据所述移动装置的行驶状态，对所述图像数据中与所述行驶状态相关的所述场景目标进行识别，得到所述场景目标在图像坐标系下的第二坐标；
[0020]第三坐标确定模块，用于将所述第一坐标重投影为图像坐标系下的第三坐标；
[0021]匹配模块，用于对所述第二坐标与所述第三坐标在所述图像坐标系下进行匹配，得到匹配结果；
[0022]标定模块，用于基于所述匹配结果，对所述激光设备和所述相机之间的外参进行标定。
[0023]第三方面，提供一种电子设备，其包括：至少一个处理器，以及与所述至少一个处理器通信连接的存储器，其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本专利技术任一实施例的传感器自动标定方法的步骤。
[0024]第四方面，本专利技术实施例提供一种移动装置，包括本体和所述本体上安装的本专利技术任一实施例所述的电子设备。
[0025]第五方面，本专利技术实施例提供一种存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现本专利技术任一实施例的传感器自动标定方法的步骤。
[0026]第六方面，本专利技术实施例还提供一种计算机程序产品，当所述计算机程序产品在计算机上运行时，使得所述计算机执行本专利技术实施例中任意一项所述的传感器自动标定方法。
[0027]本专利技术实施例的有益效果在于：本专利技术技术方案，基于移动装置的行驶状态选取相应的场景目标，通过对场景目标的激光点云坐标和图像坐标进行匹配，根据匹配结果实现相机和激光雷达之间的外参的自动标定，本方案不依赖于传统的标定场景，可实现激光设备和相机之间的标定的更加精准的自动化标定。
附图说明
[0028]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0029]图1是本专利技术一实施例提供的一种传感器自动标定方法的流程图；
[0030]图2是本专利技术一实施例提供的一种传感器自动标定方法的点云数据中高度及反射率过滤的标识牌点云特征的示意图；
[0031]图3是本专利技术一实施例提供的一种传感器自动标定方法的图像数据中的道路标识牌检测效果示意图；
[0032]图4是本专利技术一实施例提供的一种传感器自动标定方法的交通标识牌点云和图像融合显示示意图；
[0033]图5是本专利技术一实施例提供的一种传感器自动标定方法的图像和点云的行人车辆投影匹配示意图；
[0034]图6是本专利技术一实施例提供的一种传感器自动标定方法的激光点云和图像融合标定流程图；
[0035]图7是本专利技术一实施例提供的一种传感器自动标定装置的结构示意图；
[0036]图8为本专利技术一实施例提供的一种传感器自动标定的电子设备的实施例的结构示意图。
具体实施方式
[0037]为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0038]本领域技术人员知道，本申请的实施方式可以本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种传感器自动标定方法，应用于移动装置，所述传感器包括激光设备和相机，所述方法包括：获取激光设备采集的激光点云数据；获取相机采集的图像数据；根据所述移动装置的行驶状态，对所述激光点云数据中与所述行驶状态相关的场景目标进行识别，得到所述场景目标在激光点云坐标系下的第一坐标；根据所述移动装置的行驶状态，对所述图像数据中与所述行驶状态相关的所述场景目标进行识别，得到所述场景目标在图像坐标系下的第二坐标；将所述第一坐标重投影为图像坐标系下的第三坐标；对所述第二坐标与所述第三坐标在所述图像坐标系下进行匹配，得到匹配结果；基于所述匹配结果，对所述激光设备和所述相机之间的外参进行标定。2.根据权利要求1所述的方法，其特征在于，当所述行驶状态为启动后的静止状态时，所述场景目标为预定的静态目标。3.根据权利要求2所述的方法，其特征在于，当所述行驶状态为启动后的静止状态时，对所述第二坐标与所述第三坐标在所述图像坐标系下进行匹配，得到匹配结果包括：在将所述第一坐标重投影为图像坐标系下的第三坐标后，基于所述第三坐标确定所述静态目标的点云检测框；基于所述第二坐标确定所述静态目标的视觉检测框；当所述点云检测框和所述视觉检测框的交并比大于设定比值时，基于所述激光点云坐标系和所述图像坐标系之间的重投影关系，确定所述激光设备和所述相机之间的相对位姿，作为匹配结果。4.根据权利要求2所述的方法，其特征在于，所述静态目标包括车道线和/或标识牌。5.根据权利要求1
‑
4中任一项所述的方法，其特征在于，当所述行驶状态为运动时，所述场景目标为预定的动态目标。6.根据权利要求5所述的方法，其特征在于，当所述行驶状态为运动时，对所述第二坐标与所述第三坐标在所述图像坐标系下进行匹配，得到匹配结果包括：在将所述第一坐标重投影为图像坐标系下的第三坐标后，对所述第三坐标中的第一数量的动态目标与所述第二坐标中的第二数量的动态目标进行多目标模型的匹配；对匹配的结果进行多点透...

【专利技术属性】
技术研发人员：李旭兴，张蓉，
申请(专利权)人：武汉智行者科技有限公司，
类型：发明
国别省市：