用于相机标定的方法、装置、设备和存储介质制造方法及图纸

本公开的实施例提供了用于成像设备的坐标系转换参数的方法、装置、设备和计算机可读存储介质，可用于自动驾驶。该方法包括：从由相机所捕获的二维图像中确定与预定的参考线对应的第一点集合；基于参考线在三维地图中的位置信息，从二维图像中确定第二点集合；从第一点集合中确定第一点，第一点与第二点集合中的第二点相对应，并且第一点与第二点的距离小于预定的距离阈值；以及至少基于第一点与第二点，确定相机的外参数，外参数指示相机坐标系与世界坐标系的转换关系。由此，可以降低不准确的匹配点对所带来的干扰，从而更为准确地标定相机的外参数。

Methods, devices, devices and storage media for camera calibration

【技术实现步骤摘要】
用于相机标定的方法、装置、设备和存储介质
本公开的实施例主要涉及计算机
，可用于自动驾驶，并且更具体地，涉及用于相机标定的方法、装置、设备以及计算机可读存储介质。
技术介绍
近年来，自动驾驶技术的发展越来越迅速。自动驾驶技术的基础是对车辆周围环境的感知，即识别周围环境的具体状况。已经提出，除了利用车载的传感器装置(例如，车载激光雷达或者车载相机)进行环境感知之外，还可以通过车外的传感器装置(例如，安装在路侧的相机)来获取车辆的环境信息，以更好地支持自动驾驶技术。然而，由于某些原因，安装在路侧的相机的安装位置可能相对于初始安装位置出现抖动，进而影响例如基于路侧相机所捕获的图像数据所确定的车辆或障碍物的位置的准确性。这种位置的误差对于自动驾驶可能是无法接受的。
技术实现思路
根据本公开的实施例，提供了一种用于相机标定的方案。在本公开的第一方面中，提供了一种用于相机标定的方法。该方法包括：从由相机所捕获的二维图像中确定与预定的参考线对应的第一点集合；基于参考线在三维地图中的位置信息，从二维图像中确定第二点集合；从第一点集合中确定第一点，第一点与第二点集合中的第二点相对应，并且第一点与第二点的距离小于预定的距离阈值；以及至少基于第一点与第二点，确定相机的外参数，外参数指示相机坐标系与世界坐标系的转换关系。在本公开的第二方面中，提供了一种用于相机标定的装置。该装置包括：第一点集合确定模块，被配置为从由相机所捕获的二维图像中确定与预定的参考线对应的第一点集合；第二点集合确定模块，被配置为基于参考线在三维地图中的位置信息，从二维图像中确定第二点集合；第一点确定模块，从第一点集合中确定第一点，第一点与第二点集合中的第二点相对应，并且第一点与第二点的距离小于预定的距离阈值；以及外参数确定模块，被配置为至少基于第一点与第二点，确定相机的外参数，外参数指示相机坐标系与世界坐标系的转换关系。在本公开的第三方面中，提供了一种电子设备，包括一个或多个处理器；以及存储装置，用于存储一个或多个程序，当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现根据本公开的第一方面的方法。在本公开的第四方面中，提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现根据本公开的第一方面的方法。应当理解，
技术实现思路
部分中所描述的内容并非旨在限定本公开的实施例的关键或重要特征，亦非用于限制本公开的范围。本公开的其它特征将通过以下的描述变得容易理解。附图说明结合附图并参考以下详细说明，本公开各实施例的上述和其他特征、优点及方面将变得更加明显。在附图中，相同或相似的附图标注表示相同或相似的元素，其中：图1示出了本公开的多个实施例能够在其中实现的示例环境的示意图；图2示出了根据本公开的一些实施例的用于相机标定的方法的流程图；图3示出了根据本公开的一些实施例的用于确定第一点集合的示例方法的流程图；图4示出了将三维坐标点投影到二维图像的示意图；图5示出了根据本公开的一些实施例的用于确定相机的外参数的示例方法的流程图；图6示出了根据本公开的一些实施例的用于确定候选外参数的示例方法的流程图图7示出了根据本公开的一些实施例的用于确定相机的外参数的装置的示意性结构框图；以及图8示出了能够实施本公开的多个实施例的计算设备的框图。具体实施方式下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。在本公开的实施例的描述中，术语“包括”及其类似用语应当理解为开放性包含，即“包括但不限于”。术语“基于”应当理解为“至少部分地基于”。术语“一个实施例”或“该实施例”应当理解为“至少一个实施例”。术语“第一”、“第二”等等可以指代不同的或相同的对象。下文还可能包括其他明确的和隐含的定义。如本文中使用的，术语“相机的外参数”例如可以是在相机坐标系与世界坐标系之间进行转换所需要的参数，例如平移矩阵、旋转矩阵，等等。术语“相机的内参数”例如可以是在图像坐标系和/或像素坐标系与相机坐标系之间进行转换所需要的参数，例如平移矩阵、旋转矩阵，等等。“标定相机的外参数”可以是指对相机坐标系与世界坐标系之间的转换参数的确定。在本公开的上下文中，世界坐标系可以是指覆盖全球范围的参考坐标系统，其例如可以用于辅助车辆的自动驾驶或自主停车等，其示例包括UTM坐标系统、经纬度坐标系统，等等。相机坐标系的原点可以位于成像设备的光心，竖轴(z轴)可以与成像设备的光轴重合，横轴(x轴)和纵轴(y轴)可以与成像平面平行。像素坐标系的原点可以在图像的左上角，横轴和纵轴可以分别为图像所在的像素行和像素列，单位可以为像素。图像坐标系的原点可以在图像的中心(即像素坐标系的中点)，横轴和纵轴与像素坐标系平行，单位为可以毫米。但是，将理解，在其他的实施例中，这些坐标系也可以按照在本领域中所接受的其他合理的方式被定义。如前面提及的，由于某些原因，安装在路侧的相机的安装位置可能相对于初始安装位置出现抖动，进而影响例如基于路侧相机所捕获的图像数据所确定的车辆或障碍物的位置的准确性。根据本公开的各种实施例，提供了一种相机标定的方案。在本公开的实施例中，从由相机所捕获的二维图像中确定与预定的参考线对应的第一点集合；基于参考线在三维地图中的位置信息，从二维图像中确定第二点集合；从第一点集合中确定第一点，第一点与第二点集合中的第二点相对应，并且第一点与第二点的距离小于预定的距离阈值；以及至少基于第一点与第二点，确定相机的外参数，外参数指示相机坐标系与世界坐标系的转换关系。通过距离阈值的约束，可以降低不准确的点对所带来的干扰，从而更为准确地标定相机的外参数。以下将参照附图来具体描述本公开的实施例。图1示出了本公开的多个实施例能够在其中实现的示例环境100的示意图。在该示例环境100中示意性示出了一些典型物体，包括道路102、以及在道路102上行驶的车辆110。如图1所示，道路102例如包括停止标志线115-1和车道标志线115-2(单独或统一称为标志线115)，此外，环境100中还包括用于感测道路102的环境信息的相机105。应当理解，这些示出的设施和物体仅是示例，根据实际情况，不同交通环境中存在可能出现的物体将会变化。本公开的范围在此方面不受限制。车辆110可以是可以承载人和/或物并且通过发动机等动力系统移动的任何类型的车辆，包括但不限于轿车、卡车、巴士、电动车、摩托车、房车、火车等等。环境100中的一个或多个车辆110可以是具有一定自动驾驶能力的车辆，这样的车辆也被称为无人驾驶车辆。当然，环境100中的另外一个或一些车辆110还可以是不具有自动驾驶能力的车辆。在一些实施本文档来自技高网...

【技术保护点】
1.一种用于相机标定的方法，包括：/n从由相机所捕获的二维图像中确定与预定的参考线对应的第一点集合；/n基于所述参考线在三维地图中的位置信息，从所述二维图像中确定第二点集合；/n从所述第一点集合中确定第一点，所述第一点与所述第二点集合中的第二点相对应，并且所述第一点与所述第二点的距离小于预定的距离阈值；以及/n至少基于所述第一点与所述第二点，确定所述相机的外参数，所述外参数指示相机坐标系与世界坐标系的转换关系。/n

【技术特征摘要】
1.一种用于相机标定的方法，包括：
从由相机所捕获的二维图像中确定与预定的参考线对应的第一点集合；
基于所述参考线在三维地图中的位置信息，从所述二维图像中确定第二点集合；
从所述第一点集合中确定第一点，所述第一点与所述第二点集合中的第二点相对应，并且所述第一点与所述第二点的距离小于预定的距离阈值；以及
至少基于所述第一点与所述第二点，确定所述相机的外参数，所述外参数指示相机坐标系与世界坐标系的转换关系。


2.根据权利要求1所述的方法，其中确定所述相机的所述外参数包括：
基于所述第一点和所述第二点之间的距离，确定候选外参数；
基于所述候选外参数和所述位置信息，从所述二维图像中确定第三点集合；
基于更新的所述距离阈值，从所述第一点集合中确定第三点，所述第三点与所述第三点集合中的第四点相对应，并且所述第三点与所述第三点的距离小于更新的所述距离阈值；以及
基于所述第三点和所述第四点，更新所述候选外参数以确定所述相机的外参数。


3.根据权利要求2所述的方法，其中更新的所述距离阈值大于预定的距离下限。


4.根据权利要求2所述的方法，其中确定所述相机的所述外参数还包括通过以下中的至少一项更新所述距离阈值：
将所述距离阈值减去预定的步长；
将所述距离阈值除以预定的系数；或
基于所述第一点和所述第二点之间的距离，调整所述距离阈值。


5.根据权利要求1所述的方法，其中确定所述第一点集合包括：
获取所述二维图像的掩码图像，其中在所述掩码图像中位于所述参考线上的点和位于所述参考线外的点被不同地标识；
从所述掩码图像中确定与位于所述参考线上的点相对应的区域的中心线；以及
基于所述中心线，确定所述第一点集合。


6.根据权利要求1所述的方法，其中确定所述第二点集合包括：
获取所述相机的初始外参数；以及
基于所述初始外参数和所述位置信息，确定所述第二点集合。


7.根据权利要求1所述的方法，还包括：
响应于从所述二维图像检测到障碍物，确定所述二维图像中与所述障碍物对应的区域；以及
基于所述外参数和所述区域，确定所述障碍物在所述世界坐标系中的位置。


8.根据权利要求7所述的方法，还包括：
提供所述障碍物的所述位置。


9.一种用于相机标定的装置，包括：
第一点集合确定模块，被配置为从由相机所捕获的二维图像中确定与预定的参考线对应的第一点集合；
第二点集合确定模块，被配置为基于所述参考线在三维地图中的位置信息，从所述二维图像中确定第二点集合；
第一点确定模块，从所述第一点集合中确定第一点，所述第一点与所述第二点集合中的第二点相对应，并且所述第一点与所述第二点的距离小于预定的距离阈值；以及
外参数确...

【专利技术属性】
技术研发人员：时一峰，贾金让，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：北京;11