融合离线标定结果的变焦相机在线标定方法技术

本发明专利技术公开了一种融合离线标定结果的变焦相机在线标定方法，涉及变焦相机标定技术领域，该方法根据离线标定得到的参数映射表确定待标定变焦相机在当前的焦距控制参数下的相机内参数初始值，利用相机内参数初始值对扩展卡尔曼滤波器的状态参数进行初始化，并利用完成参数初始化的所述扩展卡尔曼滤波器将所述图像数据和所述IMU测量数据进行融合、在线标定得到当前的焦距控制参数下的相机内参数在线标定值；并将在线标定的结果对应存储更新到所述参数映射表中；该方法可以有效结合离线标定的精度优势和在线标定的实时特性，使得变焦相机在变焦后的相机内参数能够较快的收敛到准确值，提高了变焦相机在线标定的精度和效率。率。率。

Online calibration method of zoom camera based on offline calibration results

【技术实现步骤摘要】
融合离线标定结果的变焦相机在线标定方法


[0001]本专利技术涉及变焦相机标定
，尤其是一种融合离线标定结果的变焦相机在线标定方法。

技术介绍

[0002]变焦相机通过控制控制镜头模组与成像靶面之间的距离、即相机的焦距，可以在不同焦距的条件下获取目标物体的图像，基于此特性，变焦相机通过调节光圈大小和曝光时间等参数，可以在同一测量点获取到目标多尺度和多视野角的清晰图像，使得变焦相机具有广泛的应用。
[0003]然而，对于变焦相机来说，其相机内参数将会随着焦距的改变而发生改变，精确的估计其相机内参数的变化有着重要的理论研究价值与实际应用意义。早在1994年，美国卡内基梅隆大学的RegG.Willson在Tsai固定内参数的成像模型的基础上，对变焦镜头的建模和标定方法进行了研究讨论，提出了一种对变焦距相机模型和镜头设置参数不进行任何先验知识的拟合，标定步骤较为简单但是精度无法满足实际应用需求。
[0004]在变焦相机自标定方面，Sturm提出了一种基于Kruppa方程的运动摄像机自标定方法，首先对变焦相机进行离线预校准，以确定纵横比、倾斜角度和主点坐标，作为沿相机光轴图像缩放因子的函数。然后将缩放相机的剩余相机内参数表示为遵循在预校准阶段确定的函数关系。最后使用校准网格采集不同视图的图像进行自校准。这种方法的主要缺点是离线标定阶段耗时。此外，对于更复杂的内在相机参数相互依赖模型，这种方法的应用存在不确定性。
[0005]此外，Oh和Sohn也提出了一种安装有外部变焦镜头的电荷耦合器件(CCD)摄像机的校准方法。他们使用打印在镜头变焦环上的焦距来初始化Levenberg
‑
Marquardt(LM)算法，并使用以前变焦设置中的校准参数作为下一变焦设置校准的初始估计值，此种方法大大加速了迭代算法的收敛速度，具备较好的工程意义，但实际的标定结果精度较差，无法满足视觉测量需求。
[0006]综上所述，变焦相机的标定方法一直是研究的热门问题，现有标定方法主要以离线的多焦距标定拟合方法和基于在线主动视觉的自标定方法为主。但从目前的研究成果来看，仍存在以下几个方面的缺点：
[0007]1、对于变焦相机的离线标定方法，往往通过使用棋盘格对不同焦距下的变焦相机内参数标定，通过函数拟合方法来描述未标定区间的相机内参数值，其误差大小与函数拟合的精度密切相关，在非线性变化参数上精度较差。受限于离线标定方法的有限性和复杂性，变焦相机仍被当作多个固定焦距的相机进行使用。
[0008]2、对于变焦相机的自标定方法，其主要通过控制相机平动或者转动，结合多帧图像的特征点提取匹配，可建立多个满足小孔成像关系的投影点函数，以非线性优化的方法寻求最优的相机内参数矩阵。此种方法由于其本质上是基于固定焦距相机标定方法且要求相机需要做规则的运动，变焦相机的焦距控制参数和非线性优化模型的参数设定准确度对
其标定的精度于效率影响较大，因此现有标定算法很难满足变焦相机的实际应用需求。
[0009]因此，现有的变焦相机的各种标定方法很难兼顾效率和精度，导致相机内参数随变焦镜头设置的变化带来了一系列相机参数校准挑战，这些挑战阻碍了变焦距测量的应用。

技术实现思路

[0010]本专利技术人针对上述问题及技术需求，提出了一种融合离线标定结果的变焦相机在线标定方法，本专利技术的技术方案如下：
[0011]一种融合离线标定结果的变焦相机在线标定方法，该方法包括：
[0012]通过待标定变焦相机在当前的焦距控制参数下获取图像数据、通过固定在待标定变焦相机上的IMU测量单元获取IMU测量数据；
[0013]根据参数映射表确定待标定变焦相机在当前的焦距控制参数下的相机内参数初始值，参数映射表包含待标定变焦相机通过离线标定得到的若干组焦距控制参数、相机内参数离线标定值以及对应的置信度之间的离散映射关系，所述置信度由相机内参数离线标定值下的特征图像的重投影均方根误差确定得到；利用相机内参数初始值对扩展卡尔曼滤波器进行参数初始化，并利用完成参数初始化的卡尔曼滤波器将图像数据和IMU测量数据进行融合、在线标定得到当前的焦距控制参数下的相机内参数在线标定值；
[0014]根据相机内参数在线标定值下的特征图像的重投影均方根误差确定当前的焦距控制参数的置信度，并将当前的焦距控制参数、相机内参数在线标定值以及对应的置信度对应存储更新到参数映射表中。
[0015]本专利技术的有益技术效果是：
[0016]本申请公开了一种融合离线标定结果的变焦相机在线标定方法，该方法在在线标定过程中利用离线标定结果进行相机内参数的初始化，再结合图像数据和IMU测量数据进行在线标定估计，可以有效结合离线标定的精度优势和在线标定的实时特性，使得变焦相机在变焦后的相机内参数能够较快的收敛到准确值，提高了变焦相机在线标定的精度和效率。相比于现有的在线视觉标定方法，在保证标定精度的基础上降低了在线标定耗时，增加了变焦相机在实时测量系统中的可适用性。
附图说明
[0017]图1是一个实施例中变焦相机在线标定方法的流程示意图。
[0018]图2是一个实施例中离线阶段和在线阶段对待标定变焦相机的相机内参数进行标定的方法的流程示意图。
[0019]图3是一个实例中离线标定过程中不同焦距控制参数对应的f
x
的相机内参数离线标定值的离散数据点，以及拟合得到的经验拟合函数的示意图。
[0020]图4是一个实例中离线标定过程中不同焦距控制参数对应的f
y
的相机内参数离线标定值的离散数据点，以及拟合得到的经验拟合函数的示意图。
[0021]图5是一个实例中离线标定过程中不同焦距控制参数对应的c
x
的相机内参数离线标定值的离散数据点，以及拟合得到的经验拟合函数的示意图。
[0022]图6是一个实例中离线标定过程中不同焦距控制参数对应的c
y
的相机内参数离线
标定值的离散数据点，以及拟合得到的经验拟合函数的示意图。
[0023]图7是一个实例中离线标定过程中不同焦距控制参数对应的k
x
的相机内参数离线标定值的离散数据点，以及拟合得到的经验拟合函数的示意图。
[0024]图8是一个实例中离线标定过程中不同焦距控制参数对应的k
y
的相机内参数离线标定值的离散数据点，以及拟合得到的经验拟合函数的示意图。
[0025]图9是一个实例中在蒙特卡洛模拟中，f
x
、f
y
、c
x
、c
y
、k
x
、k
y
各自的误差变化数据示意图。
具体实施方式
[0026]下面结合附图对本专利技术的具体实施方式做进一步说明。
[0027]本申请公开了一种融合离线标定结果的变焦相机在线标定方法，请参考图1和图2，本申请包括两部分：第一部分是在线标定之前的离线标定阶段，第二本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种融合离线标定结果的变焦相机在线标定方法，其特征在于，所述方法包括：通过待标定变焦相机在当前的焦距控制参数下获取图像数据、通过固定在所述待标定变焦相机上的IMU测量单元获取IMU测量数据；根据参数映射表确定所述待标定变焦相机在当前的焦距控制参数下的相机内参数初始值，所述参数映射表包含所述待标定变焦相机通过离线标定得到的若干组焦距控制参数、相机内参数离线标定值以及对应的置信度之间的离散映射关系，所述置信度由相机内参数离线标定值下的特征图像的重投影均方根误差确定得到；利用所述相机内参数初始值对扩展卡尔曼滤波器进行参数初始化，并利用完成参数初始化的所述卡尔曼滤波器将所述图像数据和所述IMU测量数据进行融合、在线标定得到当前的焦距控制参数下的相机内参数在线标定值；根据所述相机内参数在线标定值下的特征图像的重投影均方根误差确定当前的焦距控制参数的置信度，并将当前的焦距控制参数、相机内参数在线标定值以及对应的置信度对应存储更新到所述参数映射表中。2.根据权利要求1所述的方法，其特征在于，根据特征图像的重投影均方根误差ε确定对应的置信度P为：其中，E
min
是设定的特征图像的重投影均方根误差的最小值，E
max
是设定的特征图像的重投影均方根误差的最大值。3.根据权利要求1所述的方法，其特征在于，所述相机内参数在线标定值下的特征图像的重投影均方根误差ε为：其中，n是特征点的个数，(X
i
，Y
i
)是特征点i在重投影后的像素坐标，(x
i
，y
i
)是特征点i的真实的像素坐标。4.根据权利要求1所述的方法，其特征在于，所述根据参数映射表确定所述待标定变焦相机在当前的焦距控制参数下的相机内参数初始值，包括：根据所述参数映射表确定当前的焦距控制参数对应的相机内参数历史标定值以及置信度；所述相机内参数历史标定值为离线标定得到的相机内参数离线标定值，或者为在线标定得到的相机内参数在线标定值，或者为空；所述相机内参数历史标定值为空时当前的焦距控制参数的置信度为0；根据经验拟合函数确定当前的焦距控制参数对应的相机内参数拟合值，所述经验拟合函数是基于离线标定得到的若干组焦距控制参数和相机内参数离线标定值的离散映射关系拟合得到的连续函数；基于当前的焦距控制参数对应的置信度对所述相机内参数历史标定值和所述相机内参数拟合值进行加权得到所述相机内参数初始值。

【专利技术属性】
技术研发人员：杨吉多才，徐贵力，杜昌建，董文德，王正盛，
申请(专利权)人：南京航空航天大学，
类型：发明
国别省市：