用于对多个相机进行标定的方法、电子设备和存储介质技术

本公开的实施例涉及一种用于对多个相机进行标定的方法，包括：对多个相机进行同步触发；获取标定杆在移动过程中的多个图像；对多个图像进行处理，标注第一和第二标志物中的一者或两者的图像坐标；基于第一和第二标志物的标注结果，针对每一帧图像计算每两个相机之间的相关度以得到相关度计数列表；遍历相关度计数列表，将最大相关度计数所对应的两个相机作为第一对目标相机；依次基于已获取的目标相机，获取新的一对目标相机；基于第一和第二标志物的图像坐标，计算每对目标相机之间的初始位置关系和相机的初始内参；以及基于所计算的每对目标相机之间的初始位置关系，计算其他相机相对于基准相机的经标定位置关系和每个相机的经标定内参。

【技术实现步骤摘要】
用于对多个相机进行标定的方法、电子设备和存储介质
本公开的实施例主要涉及计算机视觉领域，并且更具体地，涉及用于对大场地的多个相机进行标定的方法、电子设备和计算机可读存储介质。
技术介绍
在计算机视觉领域，立体视觉是重要的组成部分，被广泛应用于导航、三维测量、三维建模等领域。计算机视觉研究的目的在于使得计算机能够通过二维图像，对三维空间环境信息进行认知，能够使机器感知三维环境中物体的几何信息，并且进行描述、存储、识别和理解。三维重建计算多采用多相机所采集的图像，对人眼的成像原理进行模拟，根据不同图像间的视差进行重建，而在三维重建前，需要对重建中用到的多个相机进行标定，确定单个相机固有的光电特性和几何结构相关的参数，即内参数，以及多个相机之间的相对位置关系，即外参数，外参数通过相机之间的旋转矩阵和平移向量来表示。相机标定结果的好坏直接决定三维重建结果的好坏。在对双目相机进行标定时，根据张正友(棋盘格)标定方法，需要双目相机拍摄不同角度的标定板来完成标定公祖。根据大量数据表明，一般认为标定图片达到20-30张时，标定结果相对稳定。在标定过程中，利用棋盘格角点作为标志点，通过改变棋盘格的朝向，即变换世界坐标系，得到多个图像，依次对各个图片提取交点，然后计算双目相机的内参和外参。在对两个以上的相机进行标定时，使用张正友标定法，需要每个相机都能够拍摄到棋盘格上的角点。想要获得多个相机之间的相对位置关系，要求所有相机至少共享某一世界坐标系下的图像，也就是说至少在棋盘格的一个姿态下，要求所有相机都能够看见该棋盘格。棋盘格存在朝向问题，也就是说棋盘格上的图像仅在一面上存在，如图6所示，棋盘格朝向8个相机中的0-3号相机，此时4-7号相机无法观测到棋盘格上的角点，也就是说此时只有0-3号相机共享了该棋盘格姿态下的角点，在进行计算时仅仅能计算0-3号相机中的每两个相机之间的空间位置关系，而无法计算4-7号相机中的每两个相机之间的空间位置关系，也无法计算4-7号相机与0-3号相机中的任意相机之间的位置关系。那么在棋盘格的该姿态下，就无法找到4-7号相机与0-3号相机之间的对应关系(或者匹配信息)。因此，处于棋盘格正面一侧的相机和处于棋盘格背面一侧的相机无法建立联系，也无法实现他们之间的相对位置的计算。这样也无法实现对于各个相机的外参的全局优化。因此棋盘格标定法通常也只适用于双目相机的标定，或者适用于相机都摆在棋盘格的一侧的相机的标定，对于大场地的摆成圆形或凸多面体形状的多个相机而言，不适于使用棋盘格来进行标定。现在的相机标定方法还包括利用辐射杆的标定方法，但是该方法需要在所采集的图像上对辐射杆上的标记点进行标注，这十分费时费力。因此在用于三维重建的计算机视觉领域，存在对在大场地上部署的多个相机进行标定的方法，需要该方法能够简单且快速地对多个相机完成内参和外参的标定。
技术实现思路
本专利技术所要解决的技术问题在于克服现有多相机标定算法的缺陷，提供一种基于一维标定杆的用于大场地的多相机标定方法，该方法能够提高标定精度，简化标定流程，降低标定开销。在本公开的第一方面中，提供了一种用于对多个相机进行标定的方法，包括：利用同步触发机制对多个相机进行同步触发，以进行图像采集；使得一维标定杆移动以遍布多个相机围成的区域，以获取一维标定杆的多个图像，所述一维标定杆具有固定的长度，且两端固定有第一标志物和第二标志物；对多个图像进行处理，以在每一帧所获取的每个图像中标注出所出现的第一标志物和第二标志物中的一者或两者的图像坐标；基于第一标志物和第二标志物的标注结果，针对每一帧图像，计算每两个相机之间的相关度，以得到相关度计数列表；遍历所述相关度计数列表，将最大相关度计数所对应的两个相机作为第一对目标相机；依次基于已获取的目标相机，获取新的一对目标相机，以获取多对目标相机，多个相机的总数量比多对目标相机的数量大1；基于第一标志物和第二标志物的图像坐标，计算每对目标相机之间的初始位置关系和每个目标相机的初始内参，所述初始位置关系通过两个相机之间的旋转矩阵和平移向量来表示；以及将多个相机中的一个相机作为基准相机，基于所计算的每对目标相机之间的初始位置关系，计算其他相机相对于基准相机的经标定位置关系和每个相机的经标定内参。在一些实施例中，依次基于已获取的目标相机，获取新的一对目标相机包括：获取所有已获取目标相机与所有剩余相机所组成的多对相机组合，每对相机包括一个已获取目标相机和一个剩余相机；从相关度计数列表中，获取针对所述多对相机组合中的每对相机的相关度计数；以及从所获取的相关度计数中，选取相关度最高的一对相机作为新的一对目标相机。在一些实施例中，基于第一标志物和第二标志物的标注结果，针对每一帧图像，计算每两个相机之间的相关度，以得到相关度计数列表包括：响应于在每两个相机所采集的某一帧图像中同时标注了一维标定杆的第一标志物和第二标志物，将这两个相机在该帧的相关度计数设定为1；以及响应于在每两个相机所采集的某一帧图像中仅标注了一维标定杆的第一标志物和第二标志物中的一者或者两者都未被标注，将这两个相机在该帧的相关度计数设定为0。在一些实施例中，相关度计数列表中的针对两个相机的相关度计数表示：在所采集图像的所有帧中，这两个相机同时采集到第一标志物和第二标志物两者的总次数。在一些实施例中，基于第一标志物和第二标志物的图像坐标，计算每对目标相机之间的初始位置关系和每个目标相机的初始内参包括：对每个目标相机的内参进行初始化；基于第一N对匹配图像坐标和第二N对匹配图像坐标，计算每对目标相机中的两个目标相机之间的初始旋转矩阵和初始平移向量，其中每对目标相机中的第一相机和第二相机在N个帧中都采集到第一标志物和第二标志物，第一N对匹配图像坐标包括N对匹配的第一标志物图像坐标，第二N对匹配图像坐标包括N对匹配的第二标志物图像坐标，其中第一N对匹配图像坐标中的一对匹配图像坐标包括每对目标相机中的第一相机在所述N个帧中的一帧所采集的图像中的第一标志物图像坐标与每对目标相机中的第二相机在该帧所采集的图像中的第一标志物图像坐标，第二N对匹配图像坐标中的一对匹配图像坐标包括每对目标相机中的第一相机在该帧所采集的图像中的第二标志物图像坐标与每对目标相机中的第二相机在该帧所采集的图像中的第二标志物图像坐标，N为大于等于1的自然数；以及通过LM最优化算法，利用如下的第一目标函数，对每对目标相机的初始化的内参和所计算的初始旋转矩阵和初始平移向量进行优化，以得到优化后的初始内参、初始旋转矩阵和初始平移向量：其中，N表示第一标志物或第二标志物所构成的匹配对的数量，i表示匹配对的序号；为第i个匹配对中的第一相机中的第一标志物的归一化图像坐标，即像素坐标除以a0+a2ρ2+a3ρ3+a4ρ4；为第i个匹配对中的第二相机中的第一标志物的归一化图像坐标，即像素坐标除以a0+a2ρ2+a3ρ3+a4ρ4；为第i个匹配对中的第一相机中的第二标志物的归一化图像坐标，即像素坐标除以a0+a2ρ2+a3ρ3+a4ρ4；本文档来自技高网...

【技术保护点】
1.一种用于对多个相机进行标定的方法，包括：/n利用同步触发机制对多个相机进行同步触发，以进行图像采集；/n使得一维标定杆移动以遍布多个相机围成的区域，以获取一维标定杆的多个图像，所述一维标定杆具有固定的长度，且两端固定有第一标志物和第二标志物；/n对多个图像进行处理，以在每一帧所获取的每个图像中标注出所出现的第一标志物和第二标志物中的一者或两者的图像坐标；/n基于第一标志物和第二标志物的标注结果，针对每一帧图像，计算每两个相机之间的相关度，以得到相关度计数列表；/n遍历所述相关度计数列表，将最大相关度计数所对应的两个相机作为第一对目标相机；/n依次基于已获取的目标相机，获取新的一对目标相机，以获取多对目标相机，多个相机的总数量比多对目标相机的数量大1；/n基于第一标志物和第二标志物的图像坐标，计算每对目标相机之间的初始位置关系和每个目标相机的初始内参，所述初始位置关系通过两个相机之间的旋转矩阵和平移向量来表示；以及/n将多个相机中的一个相机作为基准相机，基于所计算的每对目标相机之间的初始位置关系，计算其他相机相对于基准相机的经标定位置关系和每个相机的经标定内参。/n

【技术特征摘要】
1.一种用于对多个相机进行标定的方法，包括：
利用同步触发机制对多个相机进行同步触发，以进行图像采集；
使得一维标定杆移动以遍布多个相机围成的区域，以获取一维标定杆的多个图像，所述一维标定杆具有固定的长度，且两端固定有第一标志物和第二标志物；
对多个图像进行处理，以在每一帧所获取的每个图像中标注出所出现的第一标志物和第二标志物中的一者或两者的图像坐标；
基于第一标志物和第二标志物的标注结果，针对每一帧图像，计算每两个相机之间的相关度，以得到相关度计数列表；
遍历所述相关度计数列表，将最大相关度计数所对应的两个相机作为第一对目标相机；
依次基于已获取的目标相机，获取新的一对目标相机，以获取多对目标相机，多个相机的总数量比多对目标相机的数量大1；
基于第一标志物和第二标志物的图像坐标，计算每对目标相机之间的初始位置关系和每个目标相机的初始内参，所述初始位置关系通过两个相机之间的旋转矩阵和平移向量来表示；以及
将多个相机中的一个相机作为基准相机，基于所计算的每对目标相机之间的初始位置关系，计算其他相机相对于基准相机的经标定位置关系和每个相机的经标定内参。


2.根据权利要求1所述的方法，其特征在于，依次基于已获取的目标相机，获取新的一对目标相机包括：
获取所有已获取目标相机与所有剩余相机所组成的多对相机组合，每对相机包括一个已获取目标相机和一个剩余相机；
从相关度计数列表中，获取针对所述多对相机组合中的每对相机的相关度计数；以及
从所获取的相关度计数中，选取相关度最高的一对相机作为新的一对目标相机。


3.根据权利要求1所述的方法，其特征在于，基于第一标志物和第二标志物的标注结果，针对每一帧图像，计算每两个相机之间的相关度，以得到相关度计数列表包括：
响应于在每两个相机所采集的某一帧图像中同时标注了一维标定杆的第一标志物和第二标志物，将这两个相机在该帧的相关度计数设定为1；以及
响应于在每两个相机所采集的某一帧图像中仅标注了一维标定杆的第一标志物和第二标志物中的一者或者两者都未被标注，将这两个相机在该帧的相关度计数设定为0。


4.根据权利要求3所述的方法，其特征在于，相关度计数列表中的针对两个相机的相关度计数表示：在所采集图像的所有帧中，这两个相机同时采集到第一标志物和第二标志物两者的总次数。


5.根据权利要求1所述的方法，其特征在于，基于第一标志物和第二标志物的图像坐标，计算每对目标相机之间的初始位置关系和每个目标相机的初始内参包括：
对每个目标相机的内参进行初始化；
基于第一N对匹配图像坐标和第二N对匹配图像坐标，计算每对目标相机中的两个目标相机之间的初始旋转矩阵和初始平移向量，其中每对目标相机中的第一相机和第二相机在N个帧中都采集到第一标志物和第二标志物，第一N对匹配图像坐标包括N对匹配的第一标志物图像坐标，第二N对匹配图像坐标包括N对匹配的第二标志物图像坐标，其中第一N对匹配图像坐标中的一对匹配图像坐标包括每对目标相机中的第一相机在所述N个帧中的一帧所采集的图像中的第一标志物图像坐标与每对目标相机中的第二相机在该帧所采集的图像中的第一标志物图像坐标，第二N对匹配图像坐标中的一对匹配图像坐标包括每对目标相机中的第一相机在该帧所采集的图像中的第二标志物图像坐标与每对目标相机中的第二相机在该帧所采集的图像中的第二标志物图像坐标，N为大于等于1的自然数；以及
通过LM最优化算法，利用如下的第一目标函数，对每对目标相机的初始化的内参和所计算的初始旋转矩阵和初始平移向量进行优化，以得到优化后的初始内参、初始旋转矩阵和初始平移向量：



其中，N表示第一标志物或第二标志物所构成的匹配对的数量，i表示匹配对的序号；

为第i个匹配对中的第一相机中的第一标志物的归一化图像坐标，即像素坐标除以a0+a2ρ2+a...

【专利技术属性】
技术研发人员：张欣，许大政，王大正，韩忠义，董雄雄，
申请(专利权)人：清德智体北京科技有限公司，
类型：发明
国别省市：北京;11