一种基于最优路径转换的多相机标定参数优化方法技术

本发明专利技术公开了一种基于最优路径转换的多相机标定参数优化方法，包括以下步骤：多相机系统对标定块拍照采集图像，建立姿态视觉图模型；从中任选两个相机，作为局部相机组合，通过特征匹配初始化相机姿态和空间点；计算所有局部相机组合的重投影误差和对应特征点数，配置影响因子，得到视觉图中各边的权重；建立视觉图数据结构和连接矩阵，在完成每组局部相机位姿估计后，更新连接矩阵中的元素；设计了路径长度函数，结合启发函数进行最优路径搜索，根据最优转换路径，计算转换后的相机姿态和空间点；进行光束法平差参数优化，完成多相机系统的参数标定。本发明专利技术可实现多相机系统标定参数的优化，精度高，通用性好，对标定块要求低。对标定块要求低。对标定块要求低。

【技术实现步骤摘要】
一种基于最优路径转换的多相机标定参数优化方法


[0001]本专利技术涉及计算机视觉
，具体地说是一种基于最优路径转换的多相机标定参数优化方法。

技术介绍

[0002]计算机视觉可以将二维的平面图像转换为三维的立体环境，并补充二维图像所缺失的深度信息，以还原三维世界的真实信息。由于具有非接触性、多信息获取性等特点，计算机视觉在工业检测、定位导航、动态跟踪、三维重建等领域的应用日益广泛。目前，单目视觉和双目视觉标定理论成熟，应用最为广泛，但是二者由于相机数目少而具有获取信息少、视场范围小等局限性。几年来，随着计算机性能的提升和相机价格的降低，单目视觉和双目视觉很难达到高精度、大视场、高效率的需求，多相机视觉成为有效的解决方案。多相机系统中的测量精度、定位精度、重建精度很大程度上都取决于相机的参数标定精度，因此，多相机系统的参数标定方法尤为重要。
[0003]目前，使用最广泛的相机标定方法是张正友平板标定法(Zhang Z.A flexible new technique for camera calibration[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2000，22(11)：P.1330
‑
1334.)，这种方法根据相机成像的几何线性模型，利用单应性矩阵，建立标定板上特征点坐标和世界坐标系中空间点坐标的映射关系，从而求解相机的标定参数。对于多相机系统，这种方法要求所有相机具有公共视野区域，或者呈特定形式分布。对于部分相机具有公共视野区域的多相机系统，需要进行多次局部标定，然后统一到全局坐标系，这会产生累计误差，且耗时严重。近年来，很多专家学者(Zhang J，Zhu J，Deng H，et al.Multi
‑
camera calibration method based on a multi
‑
plane stereo target[J].Applied Optics，2019，58(34)：9353.)针对特定分布的相机设计了特定形式的立体标定块，解决了相机光轴与平面标定板夹角过大时造成的特征点位置提取不准确的问题，但这种标定块只能针对特定位置分布的多相机系统，通用性低，且标定块制造要求极高，费用高昂。因此，需要对现有的相机标定方法进行优化，提高相机标定参数精度。

技术实现思路

[0004]本专利技术的实施例目的在于提出一种基于最优路径转换的多相机标定参数优化方法，在局部相机位姿向全局坐标系转换的过程中，对相机系统建立了视觉图模型，以获得最优的坐标系转换路径和全局初始位姿，完成多相机标定参数初始值优化。
[0005]本专利技术实施例提供的一种基于最优路径转换的多相机标定参数优化方法，包括以下步骤：
[0006]一种基于最优路径转换的多相机标定参数优化方法，包括以下步骤：
[0007]多次移动标定块并采集图像，根据图优化理论建立多相机系统的姿态视觉图；
[0008]遍历多相机中的所有两相机组合，对两相机进行匹配点计算，得到局部相机姿态
和世界坐标系中的空间点；根据局部的重投影误差和匹配点数，计算视觉图中的路径权重；
[0009]建立视觉图数据结构和连接矩阵，寻找路径的最小权重，并更新视觉图数据；遍历所有相机路径，结合启发函数计算各相机转化到世界坐标系的最优路径；
[0010]根据最优路径进行坐标系转化，获得各个相机的姿态和世界空间点；
[0011]进行光束法平差参数优化，计算多相机系统的标定参数。
[0012]所述多次移动标定块并采集图像，根据图优化理论建立多相机系统的姿态视觉图包括：
[0013]多次移动标定块，控制每个视野相关的相机拍摄图片；
[0014]根据图优化理论建立多相机系统的姿态视觉图，将每个相机作为一个顶点V
i
，(i＝1，...，m)，每两个相机之间的连线权重作为相机之间的转换精度，某一相机设为目标相机。
[0015]所述遍历多相机中的所有两相机组合，对两相机进行匹配点计算，得到局部相机姿态和世界坐标系中的空间点，包括：
[0016]在m个相机中选取任意两个相机，对每个组合的相机对进行特征点匹配，根据相机坐标系下的特征点坐标和世界坐标系下的特征点坐标，预先建立相机坐标系到世界坐标系的转换关系；
[0017]计算第i个相机和第j个相机之间的匹配特征点对数N
ij
，将低于匹配特征点对数量阈值Th
pt
的特征点对分组剔除，获取匹配点对的坐标和数量；
[0018]根据当前相机组的两相机位置计算该相机组内的相对位姿Q
ij
，即对外参数；根据匹配点对在相机坐标系下的位置坐标和相机坐标系到世界坐标系的转换关系计算空间点P
ij
；所述相对位姿Q
ij
为相机i到相机j的坐标转换关系，所述空间点P
ij
为匹配点对在世界坐标系下的坐标；
[0019]根据P
ij
和相机坐标系下的特征点坐标计算反投影误差Erri。
[0020]所述根据局部的重投影误差和匹配点数，计算视觉图中的路径权重，包括：
[0021]计算对应边的第一部分权重：
[0022][0023]其中，Err
i
和Err
j
分别代表一条边上的两个相机的反投影误差均值；Th
Re
为反投影误差阈值，当Err
i
＞Th
Re
或Err
j
＞Th
Re
时，ω
ij1
取∞值；
[0024]计算每条边上两个相机匹配特征点数量的倒数作为对应边权重的第二部分：
[0025][0026]其中，N
ij
表示第i个和第j个相机之间的按照匹配特征点对数量阈值筛选后的匹配点对个数；
[0027]运用公式(1)和(2)，可计算出视觉图中每条边的权重：
[0028]ω
ij
＝k1ω
ij1
+k2ω
ij2
ꢀꢀ
(3)
[0029]其中，k1表示反投影误差影响因子，k2表示对应点个数的影响因子。
[0030]所述建立视觉图数据结构和连接矩阵，寻找路径的最小权重，并更新视觉图数据，包括：
[0031]建立视觉图数据结构S
ij
＝{Q
ij
，P
ij
，ω
ij
}和连接矩阵T＝{S
ij
}∈R
m
×
m
；
[0032]Q
ij
为第i个相机相对于第j个相机的位姿矩阵，并且存在如下转换关系：
[0033][0034][0035]Q
i
表本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于最优路径转换的多相机标定参数优化方法，其特征在于，包括以下步骤：多次移动标定块并采集图像，根据图优化理论建立多相机系统的姿态视觉图；遍历多相机中的所有两相机组合，对两相机进行匹配点计算，得到局部相机姿态和世界坐标系中的空间点；根据局部的重投影误差和匹配点数，计算视觉图中的路径权重；建立视觉图数据结构和连接矩阵，寻找路径的最小权重，并更新视觉图数据；遍历所有相机路径，结合启发函数计算各相机转化到世界坐标系的最优路径；根据最优路径进行坐标系转化，获得各个相机的姿态和世界空间点；进行光束法平差参数优化，计算多相机系统的标定参数。2.根据权利要求1所述的一种基于最优路径转换的多相机标定参数优化方法，其特征在于，所述多次移动标定块并采集图像，根据图优化理论建立多相机系统的姿态视觉图包括：多次移动标定块，控制每个视野相关的相机拍摄图片；根据图优化理论建立多相机系统的姿态视觉图，将每个相机作为一个顶点V
i
，(i＝1,
…
,m)，每两个相机之间的连线权重作为相机之间的转换精度，某一相机设为目标相机。3.根据权利要求1所述的一种基于最优路径转换的多相机标定参数优化方法，其特征在于，所述遍历多相机中的所有两相机组合，对两相机进行匹配点计算，得到局部相机姿态和世界坐标系中的空间点，包括：在m个相机中选取任意两个相机，对每个组合的相机对进行特征点匹配，根据相机坐标系下的特征点坐标和世界坐标系下的特征点坐标，预先建立相机坐标系到世界坐标系的转换关系；计算第i个相机和第j个相机之间的匹配特征点对数N
ij
，将低于匹配特征点对数量阈值Th
pt
的特征点对分组剔除，获取匹配点对的坐标和数量；根据当前相机组的两相机位置计算该相机组内的相对位姿Q
ij
，即对外参数；根据匹配点对在相机坐标系下的位置坐标和相机坐标系到世界坐标系的转换关系计算空间点P
ij
；所述相对位姿Q
ij
为相机i到相机j的坐标转换关系，所述空间点P
ij
为匹配点对在世界坐标系下的坐标；根据P
ij
和相机坐标系下的特征点坐标计算反投影误差Erri。4.根据权利要求3所述的一种基于最优路径转换的多相机标定参数优化方法，其特征在于，所述根据局部的重投影误差和匹配点数，计算视觉图中的路径权重，包括：计算对应边的第一部分权重：其中，Err
i
和Err
j
分别代表一条边上的两个相机的反投影误差均值；Th
Re
为反投影误差阈值，当Err
i
>Th
Re
或Err
j
>Th
Re
时，ω
ij1
取∞值；计算每条边上两个相机匹配特征点数量的倒数作为对应边权重的第二部分：其中，N
ij
表示第i个和第j个相机之间的按照匹配特征点对数量阈值筛选后的匹配点对个数；
运用公式(1)和(2)，可计算出视觉图中每条边的权重：ω
ij
＝k1ω
ij1
+k2ω
ij2
ꢀꢀ
(3)其中，k1表示反投影误差影响因子，k2表示对应点个数的影响因子。5.根据权利要求1所述的一种基于最优路径转换的多相机标定参数优化方法，其特征在于，所述建立视觉图数据结构和连接矩阵，寻找路径的最小权重，并更新视觉图数据，包括：建立视觉图数据结构S
ij
＝{Q

【专利技术属性】
技术研发人员：夏仁波，张天宇，曾元松，赵吉宾，闫晶，吴为，陶黎明，
申请(专利权)人：中国科学院沈阳自动化研究所，
类型：发明
国别省市：