一种应用于三目相机立体标定的TCSC方法技术

本发明专利技术属于计算机视觉领域，涉及一种TCSC三目相机立体标定方法。该方法通过三个相机分别在不同角度同时拍摄处于公共视场中的标定板，移动标定板进行多次拍摄，获得多组标定样本。根据各个相机拍摄到的图像分别对三个相机进行单目标定，获得相机的内参信息以及各个相机对应于标定物之间的位置关系(外参信息)。再利用标定点位置匹配，获得双相机坐标系的位置关系，对图像进行立体空间矫正。最后结合各相机的内外参数及棋盘格角点在三个相机图像中的位置对应关系，获得图像间像素点位置关系模型，完成三目相机的立体标定。该发明专利技术所提出的TCSC三目相机立体标定方法，可用于三维空间视频检测、3D-PIV成像及三维重建等领域的研究。PIV成像及三维重建等领域的研究。PIV成像及三维重建等领域的研究。

【技术实现步骤摘要】
一种应用于三目相机立体标定的TCSC方法


[0001]本专利技术涉及一种应用于计算机视觉领域的一种立体标定方法，更具体的来说，本专利技术涉及一种应用于视频测量、3D-PIV和三维重建等领域中的一种三目相机立体标定方法(Three Cameras Stereo Calibration，简称TCSC)。

技术介绍

[0002]相机标定属于计算机视觉中关键一步，在其中发挥着不可或缺的作用，无论是三维重建还是视频测量等领域都离不开相机标定。根据使用相机的数量，相机标定分为单目相机标定、双目相机标定和多目相机标定。在历经前人的反复研究和多次改进，单目相机标定和双目相机标定技术已较为成熟，可广泛应用于机器视觉等领域。但是如今，单目相机标定和双目相机标定已逐渐跟不上时代的脚步，随着工业科技不断创新和提高，单目和双目相机的标定出现一定的局限性，拍摄视野较小，测量范围有限，已无法满足工业测量等技术的基本要求。多目相机测量范围扩大，标定精度效果较之以往有了一定的进展，因此受到越来越多人们的重视。然而现在虽有大量的学者对其进行了研究，并且也取得了一定的成果，但是立体标定的精度还有待提高，标定的方法也不能够完全满足多相机立体标定的需求。为了解决相机立体标定的难题，本专利技术专利在双目相机标定的基础上，根据三个相机的位置关系及其内参信息，提出TCSC三目相机立体标定方法。

技术实现思路

[0003]本专利技术设计了一种TCSC三目相机立体标定方法，该方法能够应用于计算机视觉中的三维重建、3D-PIV以及视频测量等多个领域中，较之传统相机标定方法有着测量范围广，标定精度高等优势。
[0004]所述的TCSC三目相机立体标定方法的硬件系统，如图1所示，包括：
[0005]用于图像采集的相机，图像分辨率为m
×
n，相机个数为3个；
[0006]用于相机拍摄的棋盘格标定板；
[0007]用于数据图像处理的计算机；
[0008]本专利技术设计了一种应用于计算机视觉领域的TCSC三目相机立体标定方法，该算法流程图如图2所示，其特征是，包含步骤如下：
[0009]步骤1：完成对三个相机的单目标定，获得各个相机的内外参数信息。
[0010]以相机1为例，利用相机1所拍摄到的标定板图像，在计算机中进行图像处理，获取棋盘格标定图像的角点信息，并对得到的所有角点进行排序和编号，如图3所示。根据公式(1)中标定角点的世界坐标系(X
w
，Y
w
，Z
w
)和像素坐标系(u1，v1)之间的关系，结合多张图像即可计算出相机1的内参矩阵M1和相对于世界坐标的外参信息(旋转矩阵R1和平移向量T1)。
[0011][0012]式中，Z
c
是相机的主轴，d
x
和d
y
是图像中每个像素在u轴和v轴上的物理尺寸，f是焦距，u0和v0是标定板图像坐标系中的原点，而内参矩阵
[0013]利用上述方法，对相机2和相机3分别进行单目标定，得到相机2的内参矩阵M2、旋转矩阵R2和平移向量T2，相机3的内参矩阵M3、旋转矩阵R3和平移向量T3；且完成对三个相机的标定后，可获得空间中有效视野范围内任一点在三幅图像中的像素点坐标。
[0014]步骤2：根据棋盘格角点的位置匹配，进行双目相机标定。在双目相机标定过程中，摄像机内参矩阵的求解过程与单目相机标定时所用方法相同。双目相机外参标定时，利用各个相机相对于世界坐标的旋转矩阵和平移向量，将相机2和相机3分别与相机1进行标定计算，以得到相机2与相机1、相机3与相机1的相机坐标系之间的位置关系矩阵，即双相机的旋转矩阵和平移向量。
[0015]先对相机1和相机2进行双目标定，假设空间中某一点为p，已知其世界坐标为p
w
，p点在相机1和相机2坐标系下的坐标为：
[0016]p1＝R1·
p
w
+T1ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
公式(2)
[0017]p2＝R2·
p
w
+T2ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
公式(3)
[0018]且两个相机坐标p1和p2的关系为：
[0019]p1＝R
′
12
·
p2+T
′
12
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
公式(4)
[0020]式中，R
′
12
和T
′
12
分别是相机1和相机2之间的旋转矩阵和平移向量。
[0021]根据公式(4)即可以推导出相机2和相机1之间的位置关系(旋转矩阵R
′
12
和平移向量T
′
12
)：
[0022][0023][0024]同理，相机3和相机1之间的位置关系(旋转矩阵R
′
13
和平移向量T
′
13
)也可求出：
[0025][0026][0027]步骤3：利用步骤2中获得的两相机间的旋转矩阵和平移向量，对相机图像进行立体校正，改善因相机摆放位置差异而导致的两图像行对不齐的问题，以达到两个图像同行共面的目的，降低下一步立体匹配计算的复杂程度。
[0028](1)以相机1和相机2获得的两张图像为例，首先将旋转矩阵R
′
12
分解为r1和r2，分别作用于两个相机坐标系，实现两个相机图像共面，但此时图像行不对准。r1和r2的分解公式如下：
[0029][0030][0031]建立行对准换行矩阵R
rcct
，实现相机图像行对准。设：
[0032]R
rec
t＝[e
1 e
2 e3]T
ꢀꢀꢀꢀꢀꢀꢀꢀꢀ
公式(11)
[0033]其中，
[0034]e1＝T
′
12
/||T
′
12
||
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
公式(12)
[0035]T
′
12
＝[(T
′
12
)
x (T
′
12
)
y (T
′
12
)
z
]T
ꢀꢀꢀꢀꢀꢀꢀ
公式(13)
[0036][0037]e3＝e1×
e2ꢀꢀꢀꢀꢀꢀꢀꢀꢀ
公式(15)
[0038]式中，e1为与平移向量T
′
12
同方向上的极点，(T
′
12
)
x
、(T
′
12
)
y
和(T
′
12
)
z
分别为x，y，z方向上的平移向量；e2为与图像平面同方向的向量；e3为垂直于e1和本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.本发明涉及一种三相机立体标定方法，其特征在于，包含步骤如下：步骤1：完成对三个相机的单目标定，获得各个相机的内外参数信息；以相机1为例，利用相机1所拍摄到的标定板图像，在计算机中进行图像处理，获取棋盘格标定图像的角点信息，并对得到的所有角点进行排序和编号，根据公式(1)中标定角点的世界坐标系(X
w
，Y
w
，Z
w
)和像素坐标系(u1，v1)之间的关系，结合多张图像即可计算出相机1的内参矩阵M1和相对于世界坐标的外参信息(旋转矩阵R1和平移向量T1)；式中，Z
c
是相机的主轴，d
x
和d
y
是图像中每个像素在u轴和v轴上的物理尺寸，f是焦距，u0和v0是标定板图像坐标系中的原点，而内参矩阵利用上述方法，对相机2和相机3分别进行单目标定，得到相机2的内参矩阵M2、旋转矩阵R2和平移向量T2，相机3的内参矩阵M3、旋转矩阵R3和平移向量T3；且完成对三个相机的标定后，可获得空间中有效视野范围内任一点在三幅图像中的像素点坐标；步骤2：根据棋盘格角点的位置匹配，进行双目相机标定；在双目相机标定过程中，摄像机内参矩阵的求解过程与单目相机标定时所用方法相同；双目相机外参标定时，利用各个相机相对于世界坐标的旋转矩阵和平移向量，将相机2和相机3分别与相机1进行标定计算，以得到相机2与相机1、相机3与相机1的相机坐标系之间的位置关系矩阵，即双相机的旋转矩阵和平移向量；先对相机1和相机2进行双目标定；假设空间中某一点为p，已知其世界坐标为p
w
，p点在相机1和相机2坐标系下的坐标为：p1＝R1·
p
w
+T1ꢀꢀꢀ
公式(2)p2＝R2·
p
w
+T2ꢀꢀꢀ
公式(3)且两个相机坐标p1和p2的关系为：p1＝R
′
12
·
p2+T
′
12
ꢀꢀꢀ
公式(4)式中，R
′
12
和T
′
12
分别是相机1和相机2之间的旋转矩阵和平移向量；根据公式(4)即可以推导出相机2和相机1之间的位置关系(旋转矩阵R
′
12
和平移向量T
′
12
)：)：同理，相机3和相机1之间的位置关系(旋转矩阵R
′
13
和平移向量T
′
13
)也可求出：
步骤3：利用步骤2中获得的两相机间的旋转矩阵和平移向量，对相机图像进行立体校正，改善因相机摆放位置差异而导致的两图像行对不齐的问题，以达到两个图像同行共面的目的，降低下一步立体匹配计算的复杂程度；以相机1和相机2获得的两张图像为例，首先将旋转矩阵R
′
12
分解为r1和r2，分别作用于两个相机坐标系，实现两个相机图像共面，但此时图像行不对准；r1和r2的分解公式如下：的分解公式如下：建立行对准换行矩阵R
rect
，实现相机图像行对准；设：R
rect
＝[e
1 e
2 e3]
T
ꢀꢀ
公式(11)其中，e1＝T
′
12
/||T
′
12
||
ꢀꢀ
公式(12)T
′
12
＝[(T

【专利技术属性】
技术研发人员：王红一，石亚芳，宋丽梅，
申请(专利权)人：天津工业大学，
类型：发明
国别省市：