【技术实现步骤摘要】
一种长焦双目相机的立体标定算法
本专利技术属于图像处理和计算机视觉领域，涉及从标定板覆盖不到的区域提取并匹配特征点，并根据匹配的特征点以及标定板角点的坐标来进行相机标定，从而弥补因标定板尺寸而无法将特征点覆盖到整个视场角的问题。
技术介绍
立体视觉是计算机视觉领域的一个重要课题，它的目的在于重构场景的三维几何信息。双目立体视觉是立体视觉中的一个重要分支。双目立体视觉使用左右两台摄像头来模拟两只眼睛，通过计算双目图像之间的差别计算出深度图像，可以用于三维重建、目标检测等多个领域，其中双目图像之间的差别成为视差。双目立体视觉具有效率高、精度合适、系统结构简单、成本低等优点，广泛用于机器人视觉、车辆导航、医学成像等领域。双目立体视觉需要对同一点在左右图像成像点进行匹配，这样就需要知道摄像机两个镜头本身的焦距和成像中心点、两个镜头之间的位置关系以及左右两个镜头之间的位置关系。此外，由于相机镜头的生产工艺受限，拍摄出来的图像存在失真，这种失真称为相机的畸变。为了得到以上数据并消除畸变，我们需要对相机进行标定。我们通过标...
【技术保护点】
1.一种长焦双目相机的立体标定算法，其特征在于，包括下列步骤：/n1)棋盘格角点检测：用长焦双目相机拍摄棋盘格标定板图像，检测并匹配棋盘格角点，并获取棋盘格没有覆盖到的区域；/n2)场景特征点检测：用长焦双目相机拍摄场景图像，检测并提取特征点；/n3)特征点匹配：根据匹配窗口下的特征描述值，来对左右图像上提取的特征点进行匹配，并删除重复的匹配；/n4)抛物线拟合优化匹配结果：通过一元二次抛物线拟合来对匹配的结果进行优化；/n5)判断特征点覆盖区域：将图像分成m*n个格子，当特征点覆盖到所有格子，则进行下一步，否则继续拍摄场景图像，重复步骤2)～步骤4)；/n6)修正内参标定...
【技术特征摘要】
1.一种长焦双目相机的立体标定算法，其特征在于，包括下列步骤：
1)棋盘格角点检测：用长焦双目相机拍摄棋盘格标定板图像，检测并匹配棋盘格角点，并获取棋盘格没有覆盖到的区域；
2)场景特征点检测：用长焦双目相机拍摄场景图像，检测并提取特征点；
3)特征点匹配：根据匹配窗口下的特征描述值，来对左右图像上提取的特征点进行匹配，并删除重复的匹配；
4)抛物线拟合优化匹配结果：通过一元二次抛物线拟合来对匹配的结果进行优化；
5)判断特征点覆盖区域：将图像分成m*n个格子，当特征点覆盖到所有格子，则进行下一步，否则继续拍摄场景图像，重复步骤2)～步骤4)；
6)修正内参标定结果：使用标定板上的特征点的图像坐标和世界坐标来对内参修正；
7)修正外参标定结果：根据匹配后的棋盘格角点坐标以及场景特征点坐标对标定结果进行修正。
2.根据权利要求1所述的一种长焦双目相机的立体标定算法，其特征在于，步骤2)中特征点提取，具体包括以下步骤：
2-1)构建单尺度差分高斯金字塔DoG，场景图像I(x,y)的尺度空间为：
L(x,y,σ)＝G(x,y,σ)*I(x,y)
其中，是高斯核函数，σ是尺度因子，*表示卷积操作；L(x,y,σ)就是图像I(x,y)的尺度空间，将不同尺度的尺度空间做差得到一层差分高斯金字塔，此外还需乘一个归一化尺度因子λ，使得DoG图像的最大值是255：
D(x,y,σ)＝λ(L(x,y,kσ)-L(x,y,σ))；
2-2)对于得到的DoG中的每一个点，将其与邻域内的像素点作比较，判断其是否为局部极值点；
2-2-1)记上步得到的DoG为D，将D做膨胀操作，结果记为D1；将D1中每一个像素点与其8-邻域上的点作比较，如果改像素点是局部极大值，则将其加入候选点集P1里；
2-2-2)将D取反再做膨胀操作，结果记为D2；将D2中每一个像素点与其8-邻域上的点作比较，如果改像素点是局部极小值，则将其加入候选点集P2里；
2-2-3)将P1和P2取交集，得到P3＝P1∩P2；取P3中DoG灰度值大于15的点作为特征点集{P}；
2-3)使用滤波器对高斯特征点进行去噪，过滤噪点及边缘点。
3.根据权利要求1或2所述的一种长焦双目相机的立体标定算法，其特征在于，步骤3)中特征点匹配，具体包括以下步骤：
3-1)将图像分为m×n个块，对于左图每一个特征点找到其在左图对应的块块所对应的右图搜索范围记为当找到一个能够描述特征点相似程度的变量来评估和中任意一点的相似程度，且相似程度最大值大于阈值t1，则视为粗匹配点
3-2)当和中相似程度最大值sfirst和次大值ssecond满足：
F(sfirst,ssecond)≥t2
则保留该匹配，其中t2为阈值,F(sfirst,ssecond)用于描述sfirst和ssecond之间的关系；
筛选后，再按照步骤3-1)、3-2)的方法匹配在左图对应的特征点当满足时，则保留该匹配
4.根据权利要求1或2所述的一种长焦双目相机的立体标定算法，其特征在于，步骤4)中抛物线拟合优化匹配结果，具体包括以下步骤：
4-1)以左图特征点为基准，抛物线拟合优化对应右图的整数像素特征点得到的对应右图的亚像素特征点其中为x方向上的亚像素偏移量，为y方向上的亚像素偏移量；
4-2)以对应右图整数像素特征点为基准，根据4-1)的方法计算出对应左图的亚像素特征点其中为x方向上的亚像素偏移量，为y方向上的亚像素偏移量；
4-3)最终的匹配点对为
5.根据权利要求3所述的一种长焦双目相机的立体标定算法，其特征在于，步骤4)中抛物线拟合优化匹配结果，具体包括以下步骤：
4-1)以左图特征点为基准，抛物线拟合优化对应右图的整数像素特征点得到的对应右图的亚像素特征点其中为x方向上的亚像素偏移量，为y方向上的亚像素偏移量；
4-2)以对应右图整数像素特征点为基准，根据4-1)的方法计算出对应左图的亚像素特征点其中为x方向上的亚像素偏移量，为y方向上的亚像素偏移量；
4-3)最终的匹配点对为
6.根据权利要求1、2或5所述的一种长焦双目相机的立体标定算法，其特征在于，步骤6)中修正内参标定结果，具体包括以下步骤：
6-1)获取原来的标定结果：从长焦双目相机硬件本身获取两个镜头的参数，包括x方向和y方向的焦距fx和fy，单位：像素，镜头主点位置u0和v0等参数；
6-2)对每一张棋盘格角点图像Pi，进行以下步骤：
(1)获取棋盘格角点图像Pi下图像坐标和标定板坐标之间的旋转矩阵R和平移向量T；根据摄像机模型，设三维世界坐标的点为M＝[X,Y,Z,1]T，二维相机平面像素坐标为m＝[u,v,1]T，则标定用的棋盘格平面到图像平面的单应性关系为：
其中s为尺度因子，K为摄像机内参数，规定棋盘格平面为Z＝0，则有
K[r1,r2,t]为单应性矩阵H，即
H＝[h1,h2h3]＝λK[r1r2t]
计算棋盘格坐标系和图像坐标系之间的单应矩阵H；单应性矩阵计算完成之后，计算图像坐标和标定板坐标之间的旋转矩阵R和平移向量T，计算公式如下：
r3＝r1×r2
t＝λK-1h3
其中，λ表示归一化系数；
(2)设采集了n'副包含棋盘格的图像，每个图像里有棋盘格角点m'个；令第i副图像上的角点Mij在得到的摄像机矩阵下图像上的投影点为：
其中Ri和ti是第i副图对应的旋转矩阵和平移向量，ΔRi和Δti分别是Ri和ti的变化量；K是内参数矩阵，其变化量为ΔK，表示角点Mij在得到的摄像机矩阵下图像上的投影点；则角点mij的概率密度函数为：
构造似然函数：
让L取得最大值，即让下面式子最小；使用多参数非线性系统优化问题的Levenberg-Marquardt算法进行迭代求最优解：
7.根据权利要求3所述的一种长焦双目相机的立体标定算法，其特征在于，步骤6)中修正内参标定结果，具体包括以下步骤：
6-1)获取原来的标定结果：从长焦双目相机硬件本身获取两个镜头的参数，包括x方向和y方向的焦距fx和fy，单位：像素，镜头主点位置u0和v0等参数；
6-2)对每一张棋盘格角点图像Pi，进行以下步骤：
(1)获取棋盘格角点图像Pi下图像坐标和标定板坐标之间的旋转矩阵R和平移向量T；根据摄像机模型，设三维世界坐标的点为M＝[X,Y,Z,1]T，二维相机平面像素坐标为m＝[u,v,1]T，则标定用的棋盘格平面到图像平面的单应性关系为：
其中s为尺度因子，K为摄像机内参数，规定棋盘格平面为Z＝0，则有
K[r1,r2,t]为单应性矩阵H，即
H＝[h1,h2h3]＝λK[r1r2t]
计算棋盘格坐标系和图像坐标系之间的单应矩阵H；单应性矩阵计算完成之后，计算图像坐标和标定板坐标之间的旋转矩阵R和平移向量T，计算公式如下：
r3＝r1×r2
t＝λK-1h3
其中，λ表示归一化系数；
(2)设采集了n'副包含棋盘格的图像，每个图像里有棋盘格角点m'个；令第i副图像上的角点Mij在得到的摄像机矩阵下图像上的投影点为：
其中Ri和ti是第i副图对应的旋转矩阵和平移向量，ΔRi和Δti分别是Ri和ti的变化量；K是内参数矩阵，其变化量为ΔK，表示角点Mij在得到的摄像机矩阵下图像上的投影点；则角点mij的概率密度函数为：
构造似然函数：
让L取得最大值，即让下面式子最小；使用多参数非线性系统优化问题的Levenberg-Marquardt算法进行迭代求最优解：
8.根据权利要求4所述的一种长焦双目相机的立体标定算法，其特征在于，步骤6)中修正内参标定结果，具体包括以下步骤：
6-1)获取原来的标定结果：从长焦双目相机硬件本身获取两个镜头的参数，包括x方向和y方向的焦距fx和fy，单位：像素，镜头主点位置u0和v0等参数；
6-2)对每一张棋盘格角点图像Pi，进行以下步骤：
(1)获取棋盘格角点图像Pi下图像坐标和标定板坐标之间的旋转矩阵R和平移向量T；根据摄像机模型，设三维世界坐标的点为M＝[X,Y,Z,1]T，二维相机平面像素坐标为m＝[u,v,1]T，则标定用的棋盘格平面到图像平面的单应性关系为：
其中s为尺度因子，K为摄像机内参数，规定棋盘格平面为Z＝0，则有
K[r1,r2,t]为单应性矩阵H，即
H＝[h1,h2h3]＝λK[r1r2t]
计算棋盘格坐标系和图像坐标系之间的单应矩阵H；单应性矩阵计算完成之后，计算图像坐标和标...
【专利技术属性】
技术研发人员：仲维，柳博谦，李豪杰，王智慧，刘日升，樊鑫，罗钟铉，
申请(专利权)人：大连理工大学，
类型：发明
国别省市：辽宁;21
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。