双鱼眼镜头全景相机的标定方法及装置、存储介质、终端制造方法及图纸

一种双鱼眼镜头全景相机的标定方法及装置、存储介质、终端，双鱼眼镜头全景相机的标定方法包括：确定待标定的内参数和外参数；获取双鱼眼镜头针对棋盘格标定板和随机特征点标定板拍摄的第一对鱼眼图像；利用棋盘格标定板中角点的第一投影坐标与第一对鱼眼图像中角点坐标的差异，对光心的位置进行调整，以获得最优光心；更新双鱼眼镜头的光心为最优光心，并获取双鱼眼镜头拍摄的第二对鱼眼图像；利用第二对鱼眼图像中所述随机特征点标定板的多个随机特征点在全景图像中坐标的差异对畸变多项式系数的值和外参数的值进行调整，以获得最优畸变多项式系数和最优外参数。本发明专利技术技术方案可以提高对鱼眼镜头进行标定的准确性。 1

Calibration method and device, storage medium and terminal for panoramic camera of double fish eye lens

The calibration method and device, storage medium and terminal of the double fish eye lens panorama camera, the calibration method of the double fish eye lens panorama camera includes: determining the internal and external parameters to be calibrated; obtaining the first pair of fish eye images taken by the double fish eye lens for the checkerboard calibration board and the random feature point calibration board; using the checkerboard lattice. The difference between the first projection coordinates of the corner points in the calibration plate and the coordinates of the corner points in the first pair of fish eye images, the position of the center of light is adjusted to obtain the optimal center of light; the center of light of the double fish eye lens is the optimal center of light, and the second pairs of fish eye images taken by the double fish eye lens are obtained; and the random special of the second pair of fish eye images is used. In order to obtain the optimal distortion polynomial coefficient and the optimal external parameter, the value of the distortion polynomial coefficient and the value of the external parameters are adjusted by the difference in the coordinates of the multiple random feature points in the panoramic image. The technical proposal of the invention can improve the accuracy of calibrating the fisheye lens. One

【技术实现步骤摘要】
双鱼眼镜头全景相机的标定方法及装置、存储介质、终端
本专利技术涉及影像处理
，尤其涉及一种双鱼眼镜头全景相机的标定方法及装置、存储介质、终端。
技术介绍
360度全景相机通常由多个普通镜头或多个广角摄像头组成，对360度范围内的场景进行同步采集，并融合为一个完整的球体投影图像。采用2个鱼眼摄像头组成的全景相机，有效降低了拼接算法的复杂度，实现快速拼接。鱼眼镜头的成像会产生畸变。在生产鱼眼镜头时需要对鱼眼镜头进行标定。现有技术中，对鱼眼镜头的内外参数分开进行标定。对内参数进行标定时，使标定板覆盖镜头图像上的绝大部分区域，尤其是边沿部分，因此需要采集多张图像，并移动相机或者标定板；获取图像之后，计算识别特征点的图像坐标与对应棋盘平面坐标之间的投影误差，以此误差为优化目标进行迭代，优化镜头所有的内外参数。对外参数的标定，需要在镜头图像重叠区域内设置标定板，然后分别计算各个镜头相对于标定板的外参数，然后再计算镜头相互之间的外参数。但是，内参数标定时标定板在图像上的覆盖范围越大，标定效果越好，因此需要尽可能移动相机或者标定板，操作繁琐耗时，生产效率低。外参数标定时需要标定板同时被两个镜头图像覆盖，通常导致标定板在图像上覆盖面积较小，带来较大的误差。此外，镜头内参数与外参数各自分开计算，第内参畸变曲线在视场角边沿处无法得到有效评价，导致对外参数标定的结果经常不够理想，最终拼接效果也不好。
技术实现思路
本专利技术解决的技术问题是如何提高对鱼眼镜头进行标定的准确性。为解决上述技术问题，本专利技术实施例提供一种双鱼眼镜头全景相机的标定方法，双鱼眼镜头全景相机的标定方法包括：确定待标定的内参数和外参数，所述内参数包括光心和畸变多项式系数；获取双鱼眼镜头针对棋盘格标定板和随机特征点标定板拍摄的第一对鱼眼图像，所述棋盘格标定板分别位于所述双鱼眼镜头的正前方，所述随机特征点标定板分别位于所述双鱼眼镜头的重叠区域；利用所述棋盘格标定板中角点在所述第一对鱼眼图像中的第一投影坐标与所述第一对鱼眼图像中角点坐标的差异，对所述光心的位置进行调整，以获得最优光心；更新所述双鱼眼镜头的光心为所述最优光心，并获取所述双鱼眼镜头针对棋盘格标定板和随机特征点标定板拍摄的第二对鱼眼图像；利用所述第二对鱼眼图像中所述随机特征点标定板的多个随机特征点在全景图像中坐标的差异对所述畸变多项式系数的值和外参数的值进行调整，以获得最优畸变多项式系数和最优外参数，所述全景图像是根据所述第二对鱼眼图像映射拼接得到的。可选的，所述利用所述棋盘格标定板中角点在所述第一对鱼眼图像中的第一投影坐标与所述第一对鱼眼图像中角点坐标的差异，对所述光心的位置进行调整包括：迭代地根据所述第一投影坐标与所述第一对鱼眼图像中角点坐标的第一差值对所述光心的位置进行调整，直至所述第一差值最小或者迭代次数达到第一预设值，所述光心的初始位置分别为所述第一对鱼眼图像中各个图像的中心位置。可选的，所述利用所述棋盘格标定板中角点在所述第一对鱼眼图像中的第一投影坐标与所述第一对鱼眼图像中角点坐标的差异对所述光心的位置进行调整包括：以所述第一投影坐标与所述第一对鱼眼图像中角点坐标的差值为优化目标，以所述光心的位置为优化变量，利用列文伯格-马夸尔特算法确定所述最优光心。可选的，所述利用所述第二对鱼眼图像中所述随机特征点标定板的多个随机特征点在全景图像中坐标的差异对所述畸变多项式系数的值和外参数的值进行调整包括：将所述第二对鱼眼图像映射形成所述全景图像；在所述全景图像的重叠区域检测所述随机特征点并确定所述第二对鱼眼图像中针对各个随机特征点的匹配特征点对的初始全景图坐标，所述匹配特征点对为所述随机特征点在所述第二对鱼眼图像中的像素点；根据所述匹配特征点对的初始全景图坐标重新计算所述匹配特征点对的鱼眼图像坐标；迭代地根据所述匹配特征点对的鱼眼图像坐标计算全景图坐标，并根据所述匹配特征点对的全景图坐标的第二差值对所述畸变多项式系数的值和外参数的值进行调整，直至所述第二差值最小或者迭代次数达到第二预设值，所述畸变多项式系数的初始值利用所述双鱼眼镜头的预设设计曲线拟合得到，所述外参数包括旋转矩阵和平移向量，所述旋转矩阵的初始值和所述平移向量的初始值利用所述双鱼眼镜头的镜头坐标系和相机坐标系确定。可选的，所述在所述全景图像的重叠区域检测所述随机特征点并确定所述第二对鱼眼图像中针对各个随机特征点的匹配特征点对的初始全景图坐标之前还包括：在所述全景图像的重叠区域检测多个预设特征点并确定所述第二对鱼眼图像中针对各个预设特征点的初始全景图坐标，所述多个预设特征点在所述随机特征点标定板中具备设定距离；根据所述各个预设特征点的初始全景图坐标重新计算所述各个预设特征点的鱼眼图像坐标；所述迭代地根据所述匹配特征点对的鱼眼图像坐标计算全景图坐标，并根据所述匹配特征点对的全景图坐标的第二差值对所述畸变多项式系数的值和外参数的值进行调整包括：迭代地根据所述各个预设特征点的鱼眼图像坐标计算所述多个预设特征点在所述全景图像的重叠区域的第一距离，并根据所述第二差值以及所述第一距离与所述设定距离的第三差值，对所述畸变多项式系数的值和外参数的值进行调整，直至所述第二差值和所述第三差值之和最小或者迭代次数达到第二预设值。可选的，所述利用所述第二对鱼眼图像中所述随机特征点标定板的多个随机特征点在全景图像中坐标的差异对所述畸变多项式系数的值和外参数的值进行调整包括：以所述第二差值和所述第三差值之和为优化目标，以所述畸变多项式系数的值和外参数的值为优化变量，利用列文伯格-马夸尔特算法确定所述最优畸变多项式系数和所述最优外参数。可选的，所述利用所述第二对鱼眼图像中的所述随机特征点标定板中的随机特征点在全景图像中坐标的差异对所述畸变多项式系数的值进行调整包括：根据所述第二对鱼眼图像中的所述随机特征点标定板中的随机特征点在全景图像中坐标的差异，在初始畸变曲线中以视场角90度为中心的设定角度范围内增加控制点，并调整所述控制点的像素幅度；利用调整后的畸变曲线拟合确定所述最优畸变多项式系数。为解决上述技术问题，本专利技术实施例还公开了一种双鱼眼镜头全景相机的标定装置，包括：参数确定模块，适于确定待标定的内参数和外参数，所述内参数包括光心和畸变多项式系数；第一图像获取模块，适于获取双鱼眼镜头针对棋盘格标定板和随机特征点标定板拍摄的第一对鱼眼图像，所述棋盘格标定板分别位于所述双鱼眼镜头的正前方，所述随机特征点标定板分别位于所述双鱼眼镜头的重叠区域；光心调整模块，适于利用所述棋盘格标定板中角点在所述第一对鱼眼图像中的第一投影坐标与所述第一对鱼眼图像中角点坐标的差异，对所述光心的位置进行调整，以获得最优光心；第二图像获取模块，适于更新所述双鱼眼镜头的光心为所述最优光心，并获取所述双鱼眼镜头针对棋盘格标定板和随机特征点标定板拍摄的第二对鱼眼图像；畸变多项式系数和外参数调整模块，适于利用所述第二对鱼眼图像中所述随机特征点标定板的多个随机特征点在全景图像中坐标的差异对所述畸变多项式系数的值和外参数的值进行调整，以获得最优畸变多项式系数和最优外参数，所述全景图像是根据所述第二对鱼眼图像映射拼接得到的。为解决上述技术问题，本专利技术实施例还公开了一种存储介质，其上存储有计算机指令，所述计算本文档来自技高网...

【技术保护点】
1.一种双鱼眼镜头全景相机的标定方法，其特征在于，包括：

【技术特征摘要】
1.一种双鱼眼镜头全景相机的标定方法，其特征在于，包括：确定待标定的内参数和外参数，所述内参数包括光心和畸变多项式系数；获取双鱼眼镜头针对棋盘格标定板和随机特征点标定板拍摄的第一对鱼眼图像，所述棋盘格标定板分别位于所述双鱼眼镜头的正前方，所述随机特征点标定板分别位于所述双鱼眼镜头的重叠区域；利用所述棋盘格标定板中角点在所述第一对鱼眼图像中的第一投影坐标与所述第一对鱼眼图像中角点坐标的差异，对所述光心的位置进行调整，以获得最优光心；更新所述双鱼眼镜头的光心为所述最优光心，并获取所述双鱼眼镜头针对棋盘格标定板和随机特征点标定板拍摄的第二对鱼眼图像；利用所述第二对鱼眼图像中所述随机特征点标定板的多个随机特征点在全景图像中坐标的差异对所述畸变多项式系数的值和外参数的值进行调整，以获得最优畸变多项式系数和最优外参数，所述全景图像是根据所述第二对鱼眼图像映射拼接得到的。2.根据权利要求1所述的标定方法，其特征在于，所述利用所述棋盘格标定板中角点在所述第一对鱼眼图像中的第一投影坐标与所述第一对鱼眼图像中角点坐标的差异，对所述光心的位置进行调整包括：迭代地根据所述第一投影坐标与所述第一对鱼眼图像中角点坐标的第一差值对所述光心的位置进行调整，直至所述第一差值最小或者迭代次数达到第一预设值，所述光心的初始位置分别为所述第一对鱼眼图像中各个图像的中心位置。3.根据权利要求1所述的标定方法，其特征在于，所述利用所述棋盘格标定板中角点在所述第一对鱼眼图像中的第一投影坐标与所述第一对鱼眼图像中角点坐标的差异对所述光心的位置进行调整包括：以所述第一投影坐标与所述第一对鱼眼图像中角点坐标的差值为优化目标，以所述光心的位置为优化变量，利用列文伯格-马夸尔特算法确定所述最优光心。4.根据权利要求1所述的标定方法，其特征在于，所述利用所述第二对鱼眼图像中所述随机特征点标定板的多个随机特征点在全景图像中坐标的差异对所述畸变多项式系数的值和外参数的值进行调整包括：将所述第二对鱼眼图像映射形成所述全景图像；在所述全景图像的重叠区域检测所述随机特征点并确定所述第二对鱼眼图像中针对各个随机特征点的匹配特征点对的初始全景图坐标，所述匹配特征点对为所述随机特征点在所述第二对鱼眼图像中的像素点；根据所述匹配特征点对的初始全景图坐标重新计算所述匹配特征点对的鱼眼图像坐标；迭代地根据所述匹配特征点对的鱼眼图像坐标计算全景图坐标，并根据所述匹配特征点对的全景图坐标的第二差值对所述畸变多项式系数的值和外参数的值进行调整，直至所述第二差值最小或者迭代次数达到第二预设值，所述畸变多项式系数的初始值利用所述双鱼眼镜头的预设设计曲线拟合得到，所述外参数包括旋转矩阵和平移向量，所述旋转矩阵的初始值和所述平移向量的初始值利用所述双鱼眼镜头的镜头坐标系和相机坐标系确定。5.根据权利要求4所述的标定方法，其特征在于，所述在所述全景图像的重叠区域检测所述随机特征点并确定所述第二对鱼眼图像中针对各个随机特征点的匹配特征点对的初始全景图坐标之前还包括：在所述全景图像的重叠区域检测多个预设特征点并确定所述第二对鱼眼图像中针对各个预设特征点的初始全景图坐标，所述多个预设特征点在所述随机特征点标定板中具备设定距离；根据所述各个预设特征点的初始全景图坐标重新计算所述各个预设特征点的鱼眼图像坐标；所述迭代地根据所述匹配特征点对的鱼眼图像坐标计算全景图坐标，并根据所述匹配特征点对的全景图坐标的第二差值对所述畸变多项式系数的值和外参数的值进行调整包括：迭代地根据所述各个预设特征点的鱼眼图像坐标计算所述多个预设特征点在所述全景图像的重叠区域的第一距离，并根据所述第二差值以及所述第一距离与所述设定距离的第三差值，对所述畸变多项式系数的值和外参数的值进行调整，直至所述第二差值和所述第三差值之和最小或者迭代次数达到第二预设值。6.根据权利要求5所述的标定方法，其特征在于，所述利用所述第二对鱼眼图像中所述随机特征点标定板的多个随机特征点在全景图像中坐标的差异对所述畸变多项式系数的值和外参数的值进行调整包括：以所述第二差值和所述第三差值之和为优化目标，以所述畸变多项式系数的值和外参数的值为优化变量，利用列文伯格-马夸尔特算法确定所述最优畸变多项式系数和所述最优外参数。7.根据权利要求1所述的标定方法，其特征在于，所述利用所述第二对鱼眼图像中的所述随机特征点标定板中的随机特征点在全景图像中坐标的差异对所述畸变多项式系数的值进行调整包括：根据所述第二对鱼眼图像中的所述随机特征点标定板中的随机特征点在全景图像中坐标的差异，在初始畸变曲线中以视场角90度为中心的设定角度范围内增加控制点，并调整所述控制点的像素幅度；利用调整后的畸变曲线拟合确定所述最优畸变多项式系数。...

【专利技术属性】
技术研发人员：牟俊舟，刘正华，
申请(专利权)人：上海小蚁科技有限公司，
类型：发明
国别省市：上海,31