传感器联合标定方法、装置、电子设备及存储介质制造方法及图纸

本申请涉及自动驾驶领域，提供一种传感器联合标定方法、装置、电子设备及存储介质，其中方法包括：获取包含多个圆形标定孔的三维点云和二维图像；所述三维点云是基于车载激光雷达获取的，所述二维图像是基于车载相机获取的；确定每一圆形标定孔的圆心在三维点云中的三维坐标，以及确定每一圆形标定孔的圆心在二维图像中的二维坐标；基于每一圆形标定孔的圆心的三维坐标和二维坐标，确定所述三维点云所在的点云坐标系和二维图像所在的图像坐标系之间的坐标变换关系。本申请提供的方法、装置、电子设备及存储介质，降低了标定难度，提高了标定结果的准确性。

【技术实现步骤摘要】
传感器联合标定方法、装置、电子设备及存储介质
本申请涉及自动驾驶
，具体涉及一种传感器联合标定方法、装置、电子设备及存储介质。
技术介绍
随着计算机视觉技术、传感器技术和车联网技术等的不断发展，自动驾驶技术取得了巨大的进步。自动驾驶技术通过多个传感器对车辆周围的环境进行感知后，完成数据融合，并根据融合后的数据实现自动控制车辆行驶。数据融合的基础是各个传感器之间的联合标定。现有技术中，对于激光雷达和相机进行联合标定，通常是通过相机拍摄二维码得到世界坐标点和图像坐标点，利用相机内部参数反推目标点的三维坐标，该方法借助二维码作为标志物，标定过程复杂，标定难度高，标定结果的准确性差。
技术实现思路
本申请提供一种传感器联合标定方法、装置、电子设备及存储介质，降低了标定难度，提高了标定结果的准确性。本申请提供一种传感器联合标定方法，包括：获取包含多个圆形标定孔的三维点云和二维图像；所述三维点云是基于车载激光雷达获取的，所述二维图像是基于车载相机获取的；确定每一圆形标定孔的圆心在三维点云中的三维坐标，以及确定每一圆形标定孔的圆心在二维图像中的二维坐标；基于每一圆形标定孔的圆心的三维坐标和二维坐标，确定所述三维点云所在的点云坐标系和二维图像所在的图像坐标系之间的坐标变换关系。根据本申请提供的一种传感器联合标定方法，所述多个圆形标定孔分布在至少两个标定板上。根据本申请提供的一种传感器联合标定方法，所述至少两个标定板布置在所述车载相机的视野中的不同位置。根据本申请提供的一种传感器联合标定方法，所述确定每一圆形标定孔的圆心在三维点云中的三维坐标，包括：确定每一标定板所在的点云平面；基于每一标定板所在的点云平面，确定每一标定板上的圆形标定孔对应的点云；对每一标定板上的圆形标定孔对应的点云进行最小二乘拟合，确定每一圆形标定孔的圆心在三维点云中的三维坐标。根据本申请提供的一种传感器联合标定方法，所述确定每一圆形标定孔的圆心在二维图像中的二维坐标，包括：基于霍夫变换对所述二维图像进行圆检测，确定每一圆形标定孔的圆心在二维图像中的二维坐标。根据本申请提供的一种传感器联合标定方法，所述圆形标定孔的数量不少于9。根据本申请提供的一种传感器联合标定方法，所述基于每一圆形标定孔的圆心的三维坐标和二维坐标，确定所述三维点云所在的点云坐标系和二维图像所在的图像坐标系之间的坐标变换关系，包括：基于EPnP算法、UPnP算法、DLT算法和P3P算法中的至少一种，以及所述每一圆形标定孔的圆心的三维坐标和二维坐标，确定所述三维点云所在的点云坐标系和二维图像所在的图像坐标系之间的坐标变换关系。本申请还提供一种传感器联合标定装置，包括：获取单元，用于获取包含多个圆形标定孔的三维点云和二维图像；确定单元，用于确定每一圆形标定孔的圆心在三维点云中的三维坐标，以及确定每一圆形标定孔的圆心在二维图像中的二维坐标；标定单元，用于基于每一圆形标定孔的圆心的三维坐标和二维坐标，确定所述三维点云所在的点云坐标系和二维图像所在的图像坐标系之间的坐标变换关系。本申请还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述传感器联合标定方法的步骤。本申请还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述传感器联合标定方法的步骤。本申请提供的传感器联合标定方法、装置、电子设备及存储介质，通过获取包含多个圆形标定孔的三维点云和二维图像，根据每一圆形标定孔的圆心的三维坐标和二维坐标，确定三维点云所在的点云坐标系和二维图像所在的图像坐标系之间的坐标变换关系，从而实现联合标定车载激光雷达和车载相机，由于圆形标定孔形状特征明显并且容易检测，降低了标定难度，同时，采用多个圆形标定孔进行标定，提高了标定结果的准确性。附图说明为了更清楚地说明本申请或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本申请提供的传感器联合标定方法的流程示意图；图2为本申请提供的三维坐标确定方法的流程示意图；图3为本申请提供的标定板的结构示意图；图4为本申请提供的传感器联合标定装置的结构示意图；图5为本申请提供的三维坐标确定子单元的结构示意图；图6为本申请提供的电子设备的结构示意图。具体实施方式为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。图1为本申请提供的传感器联合标定方法的流程示意图，如图1所示，该方法包括：步骤110，获取包含多个圆形标定孔的三维点云和二维图像；三维点云是基于车载激光雷达获取的，二维图像是基于车载相机获取的。具体地，本申请中的传感器包括车载激光雷达和车载相机。可以根据圆形标定孔，对车载激光雷达和车载相机进行联合标定。相对于其他几何形状的标定孔，圆形标定孔具有形状特征明显且易于提取的优点。为了确保取得良好的标定效果，可以选择一定数量的圆形标定孔进行联合标定。在进行联合标定之前，将多个圆形标定孔布置于车辆前进方向的同一视野，通过安装在车辆上的车载激光雷达得到包含多个圆形标定孔的三维点云，通过安装在车辆上的车载相机得到包含多个圆形标定孔的二维图像。圆形标定孔的大小可以根据实际需要进行设置，例如，可以将圆形标定孔的直径大小设置为15厘米。步骤120，确定每一圆形标定孔的圆心在三维点云中的三维坐标，以及确定每一圆形标定孔的圆心在二维图像中的二维坐标。具体地，对得到的三维点云进行特征提取，可以得到每一圆形标定孔对应的点云，进而拟合得到每一圆形标定孔的圆心及其三维坐标。例如，可以基于PCL(PointCloudLibrary，点云库)实现三维点云的特征提取，得到每一圆形标定孔的圆心及其三维坐标。对得到的二维图像进行圆检测，可以得到二维图像中的圆形标定孔，以及每一圆形标定孔的圆心及其二维坐标。例如，可以对二维图像进行霍夫圆检测、轮廓跟踪和最小二乘拟合中的至少一种操作，得到圆形标定孔。步骤130，基于每一圆形标定孔的圆心的三维坐标和二维坐标，确定三维点云所在的点云坐标系和二维图像所在的图像坐标系之间的坐标变换关系。具体地，本申请中联合标定的目的是获取三维点云所在的点云坐标系和二维图像所在的图像坐标系之间的坐标变换关系。例如本文档来自技高网...

【技术保护点】
1.一种传感器联合标定方法，其特征在于，包括：/n获取包含多个圆形标定孔的三维点云和二维图像；所述三维点云是基于车载激光雷达获取的，所述二维图像是基于车载相机获取的；/n确定每一圆形标定孔的圆心在三维点云中的三维坐标，以及确定每一圆形标定孔的圆心在二维图像中的二维坐标；/n基于每一圆形标定孔的圆心的三维坐标和二维坐标，确定所述三维点云所在的点云坐标系和二维图像所在的图像坐标系之间的坐标变换关系。/n

【技术特征摘要】
1.一种传感器联合标定方法，其特征在于，包括：
获取包含多个圆形标定孔的三维点云和二维图像；所述三维点云是基于车载激光雷达获取的，所述二维图像是基于车载相机获取的；
确定每一圆形标定孔的圆心在三维点云中的三维坐标，以及确定每一圆形标定孔的圆心在二维图像中的二维坐标；
基于每一圆形标定孔的圆心的三维坐标和二维坐标，确定所述三维点云所在的点云坐标系和二维图像所在的图像坐标系之间的坐标变换关系。


2.根据权利要求1所述的传感器联合标定方法，其特征在于，所述多个圆形标定孔分布在至少两个标定板上。


3.根据权利要求2所述的传感器联合标定方法，其特征在于，所述至少两个标定板布置在所述车载相机的视野中的不同位置。


4.根据权利要求3所述的传感器联合标定方法，其特征在于，所述确定每一圆形标定孔的圆心在三维点云中的三维坐标，包括：
确定每一标定板所在的点云平面；
基于每一标定板所在的点云平面，确定每一标定板上的圆形标定孔对应的点云；
对每一标定板上的圆形标定孔对应的点云进行最小二乘拟合，确定每一圆形标定孔的圆心在三维点云中的三维坐标。


5.根据权利要求1所述的传感器联合标定方法，其特征在于，所述确定每一圆形标定孔的圆心在二维图像中的二维坐标，包括：
基于霍夫变换对所述二维图像进行圆检测，确定每一圆形标定孔的圆心在所述二维图像中的二维坐标。


6.根据权利要求1至5任一项所述的传感器联合标定方法，其特征在于，所述圆形标定孔的数量不少于9。


7.根据权利要求1至5中任一项所述的传感器联合标定方法，其特征在于，所述基于每一圆形标定孔的圆心的三维坐标和二维坐标，确定所述三维点云所在的点云坐标系和二维图像所在的图像坐标系之间的坐标变换关系，包括：
基于EPnP算法、UPnP算法、DLT算法和P3P算法中的至少一种，以及所述每一圆形标定孔的圆心的三维坐标和二维坐标，确定所述三维点云所在的点云坐标系和二维图像所在的图像坐标系之间的坐标变换关系。


8.一种传感器联合标定装置，其特征在于，包括：
获取单元，用于获取包含多个圆形标定孔的三维点云和二维图像；所述三维点云是基于车载激光雷达获取的，所述二维图像是基于车载相机获取的；...

【专利技术属性】
技术研发人员：陈海波，陈安东，
申请(专利权)人：深兰人工智能深圳有限公司，
类型：发明
国别省市：广东;44