宽基线多阵列相机系统的标定方法技术方案

本发明专利技术公开了一种宽基线多阵列相机系统的标定方法，包括对相机系统位姿的线性初始化和非线性优化；利用初始时刻相机和关键帧时刻相机的位姿构造位姿图，结合多视角几何约束和阵列运动约束，推导了位姿图的线性解；考虑旋转误差和平移误差相互影响，并结合宽基线条件，构造了非线性目标函数，利用Levenberg-Marquardt方法进行优化，得到最终的位姿参数。本发明专利技术用于无人机编队中的飞机间相对位姿估计、运动估计等，以填补现有技术中的空缺。

【技术实现步骤摘要】
宽基线多阵列相机系统的标定方法
本专利技术属于光学探测
，具体涉及宽基线多阵列相机系统的标定方法。
技术介绍
宽基线多阵列相机系统能同时实现大视场，高分辨，多曝光和多视角融合。其主要优势是能在阵列间和阵列内传递信息。因此，必须要精确地局部化宽基线多阵列相机系统，也就是找到相机的相关位姿。现存的多相机标定方法主要是针对一个具有完全重叠视场或者非重叠视场的阵列，对于有交叉视场的刚性连接相机，重点在于运动估计，因为标定问题可以通过交叉视场合并到静态相机网络中。对于没有交叉视场的刚性连接相机，平台的运动对相机标定非常重要。传统的方法通常使用运动恢复结构技术来提取相机运动和手眼标定方法来得到相关位姿。对非刚性连接的运动多相机，相机协同运动并且独立地拍摄动态环境。为了在一个公共的全局坐标系下表示他们的位姿，需将所有的相机排列为在初始状态为高交叉视场并且使用多视角三角量测方法来构建全局图像点和估计每个相机的位姿。
技术实现思路
本专利技术的目的是提供宽基线多阵列相机系统的标定方法，用于无人机编队中的飞机间相对位姿估计、运动估计等，以填补现有技术中的空缺。本专利技术所采用的技术方案是，宽基线多阵列相机系统的标定方法，包括对相机系统位姿的线性初始化和非线性优化；利用初始时刻相机和关键帧时刻相机的位姿构造位姿图，结合多视角几何约束和阵列运动约束，推导了位姿图的线性解；考虑旋转误差和平移误差相互影响，并结合宽基线条件，构造了非线性目标函数，利用Levenberg-Marquardt方法进行优化，得到最终的位姿参数。进一步的，所述的相机系统包括两组以上的相机阵列，并且每个阵列中包含的相机数相同，阵列内的每个相机没有交叉视场，阵列间视场两两交叉；假设相机Cn，j，t是同步的，n＝1，2，...，N是相机阵列的标签，i＝0，1，...，K是阵列内相机的标签，t＝0，1，...，K是时间标签；令ΔTn，i，j＝(ΔRn，i，j，Δtn，i，j)∈SE代表同一阵列内相机Cn，i，t和相机Cn，j，t的位姿变换矩阵，Tm，n，i，0＝(Rm，n，i，0，λitm，n，i，0)∈SE代表0时刻具有交叉视场的不同阵列内相机Cm，i，0和相机Cn，i，0的位姿变换矩阵，其中λi代表尺度不确定性，Tn，i，K＝(Rn，i，K，λitn，i，K)表示初始相机Cn，i，0和关键帧相机Cn，i，K之间的位姿变换矩阵。进一步的，线性初始化的方法具体为：1.1)多视角几何约束：在初始时刻，在两个阵列内分别连续选择两个相机，通过坐标的简单变换得到下式(1)：ΔTn+1，i，i+1Tn，n+1，i，0＝Tn，n+1，i+1，0ΔTn，i，i+1，(1)其中n＝1，2，...，N-1；i＝1，2，...，I-1，代入相关旋转矩阵和平移向量，将等式(1)分成以下两部分式(2-1)和式(2-2)：ΔRn+1，i，i+1Rn，n+1，i，0＝Rn，n+1，i+1，0ΔRn，i，i+1(2-1)，Rn，n+1，i+1，0Δtn，i，i+1-Δtn+1，i，i+1+λi+1tn，n+1，i+1，0-λiΔRn+1，i，i+1tn，n+1，i，0＝0(2-2)，对式(2-1)使用四元数q代替旋转矩阵，得到的结果为式(3)：其中，Tq和依据四元数q＝(w，x，y，z)T定义为左乘和右乘，联立式(3)得到式(5)：其中|Δqn，i，i+1|＝1，forn＝1，2，...，N；i＝1，2，...，I-1；显然，QM的维度为4(N-1)(I-1)×4N(I-1)，未知量Δq的维度为4N(I-1)×1，由于rank(QM)＝4(N-1)(N-1)＜4N(I-1)-1，Δq的解不唯一；将Δq代入式(2-2)中，得到公式(6)如下：一旦找到Δq的估计值，平移向量Δtn，i，i+1和尺度λi可以通过求解线性方程组(6)得到；其中，TM的维度3(N-1)(I-1)×[3N(I-1)+I]，未知的Δt的维度[3N(I-1)+I]×1，由于rank(TM)＝3(N-1)(I-1)＜(3N+1)(I-1)，Δt的解不唯一；1.2)阵列局部运动约束：对于阵列内的相机，由于初始位置Cn，i，0和关键帧位置|Cn，i，K之间的位姿变换矩阵Tn，i，K可以得到，在同一阵列中连续选取两个相机，经过简单的坐标系变换得到下式(7)：ΔTn，i，i+1Tn，i，K＝Tn，i+1，KΔTn，i，i+1(7)，将公式(7)分解，则可得下式(8-1)和(8-2)：QL·Δq＝0(8-1)，TL·Δt＝0(8-2)，其中，其中，QL的维度为4N(I-1)×4N(I-1)，TL的维度为3N(I-1)×[3N(I-1)+I]，由于QL是反对称的，不难发现rank(QL)＝2N(I-1)，因此，解等式(8)可得Δq的唯一解，但是由于rank(TL)＝3N(I-1)-1＜(3N+1)(I-1)，Δt的解不唯一；1.3)混合约束：由式(8-1)和式(5)推得：Q·Δq＝0(11-1)，其中由式(8-2)和式(6)推得：T·Δt＝0(11-2)，其中对于式(11-1)通过最小化方程(13)可计算出Δq的数值；其中，α为拉格朗日乘子。关于Δq对代价函数求微分，容易发现，当Δq是Q的最小特征值对应的特征矢量时代价函数最小；将Δq代入式(11-2)中，Δt的最小二乘解可通过求解式(14)得到，TTT·Δt＝0(14)。进一步的，非线性优化的方法具体为：将Δq和Δt作为非线性优化的初值，由最小化方程(16)解得Δq和Δt的最终值，式(16)为：其中，|ΔQn，i，i+1|＝1，Forn＝1，2，...，N；i＝1，2，...，I-1，本专利技术的有益效果是，通过多个相机来构建宽基线多阵列，每个阵列独立运动，并安装多个相机。在视场交叉方面，单阵列内相机间视场互不交叉，用以获取大视场图像；初始时刻位于不同阵列的相机间视场两两交叉。通过使用阵列间的多视角几何约束和阵列内局部运动约束得到线性解，最后通过非线性优化方法来优化位姿，能够利用可用的所有信息。本专利技术是第一个针对多阵列光学系统的标定方法。相关技术可运用于无人机编队中的飞机间相对位姿估计、运动估计等。附图说明图1是本专利技术宽基线多阵列相机系统的标定方法中利用初始时刻和关键帧时刻相机位姿构造的位姿图；图2是本专利技术宽基线多阵列相机系统的标定方法中宽基线多阵列相机系统的内部结构布置图；图3是本专利技术宽基线多阵列相机系统的标定方法估计的位姿真值和估计值的比较图；图4是本专利技术宽基线多阵列相机系统的标定方法估计的相机间旋转矩阵误差随大量随机输入位姿下变化图；图5是本专利技术宽基线多阵列相机系统的标定方法估计的相机间平移向量方向误差随大量随机输入位姿下变化图；图6是本专利技术宽基线多阵列相机系统的标定方法估计的相机间旋转矩阵误差随基线长度变化图；图7是本专利技术宽基线多阵列相机系统的标定方法估计的相机间平移向量方向误差随基线长度变化图。具体实施方式下面结合附图对本专利技术进行详细说明。本专利技术提供了一种宽基线多阵列相机系统的标定方法，针对安装在多平台的多阵列相机的标定问题，本文提出了一种宽基线多阵列相机系统的标定方法，该方法结合了阵列间的多视角几何约束和阵列内的局部运动约束来求取每个相机的位姿，并通过非线性优化方法来优化位姿本文档来自技高网...

【技术保护点】
宽基线多阵列相机系统的标定方法，其特征在于，包括对相机系统位姿的线性初始化和非线性优化；利用初始时刻相机和关键帧时刻相机的位姿构造位姿图，结合多视角几何约束和阵列运动约束，推导了位姿图的线性解；考虑旋转误差和平移误差相互影响，并结合宽基线条件，构造了非线性目标函数，利用Levenberg‑Marquardt方法进行优化，得到最终的位姿参数。

【技术特征摘要】
1.宽基线多阵列相机系统的标定方法，其特征在于，包括对相机系统位姿通过多视角几何约束、阵列局部运动约束、混合约束进行线性初始化；利用初始时刻相机和关键帧时刻相机的位姿构造位姿图，结合多视角几何约束、阵列局部运动约束和混合约束，推导了位姿图的线性解；考虑旋转误差和平移误差相互影响，并结合宽基线条件，构造了非线性目标函数，利用Levenberg-Marquardt方法进行非线性优化，得到最终的位姿参数；其中，非线性优化的方法为最小...

【专利技术属性】
技术研发人员：潘泉，刘流，赵春晖，张夷斋，薛松，潘利源，席庆彪，胡亮，吕鑫，
申请(专利权)人：西北工业大学，
类型：发明
国别省市：陕西;61