基于靶标松姿态约束的景深畸变模型标定方法技术

本发明专利技术属于计算机视觉测量领域，提供了一种基于靶标松姿态约束的景深畸变模型标定方法，包括标定图像采集以及景深畸变模型标定。标定图像采集方面，利用相机获取靶标在景深内多个姿态的图像，摆放姿态无需靶标平面与光轴垂直，仅需保证靶标覆盖成像视场和景深，且靶标上的直线和角点两类特征可以成像即可。在景深畸变模型标定方面，首先，利用以所有靶标图像中心区域的角点距离为约束标定内参数矩阵；其次，根据单应性矩阵计算靶标上直线点的物距；再次，以检测的直线点到其所在直线的距离最小为约束，建立包含景深畸变模型参数的最小化目标函数；最后，以直线点的像素坐标、直线点的物距、焦距为输入量，优化目标函数完成景深畸变模型所有参数的求解。畸变模型所有参数的求解。畸变模型所有参数的求解。

【技术实现步骤摘要】
基于靶标松姿态约束的景深畸变模型标定方法


[0001]本专利技术属于计算机视觉测量领域，涉及一种景深畸变模型参数的标定方法，该标定方法在实施时无需靶标与相机光轴保持垂直的摆放姿态。

技术介绍

[0002]视觉测量技术通过图像信息和成像模型参数定量表征对象信息，具有非接触、实时、高精度以及全场测量的优势，被广泛应用于各种领域，视觉系统成像模型参数包含内参数、外参数和畸变参数。其中，畸变参数与成像景深具有强关联性。因此，保证景深畸变模型参数标定的便携性和精度对于提升视觉系统测量精度和实用性具有重要意义。
[0003]中国石油大学(华东)的李肖等人公开了专利号为CN 112258584A“一种考虑景深维度和空间等畸变量分区的镜头畸变模型”，该专利技术专利同时考虑了景深维度和空间等畸变量分区对畸变模型的影响，创新的建立了畸变模型。此外，2017年，北京信息大学的孙鹏在Optics Express期刊上发表了题为“Modelling and calibration of depth
‑
dependent distortion for large depth visual measurement”的论文，论文提出了适用于大物距、宽视野成像场景的景深畸变模型，求解并校准了与光轴垂直的任意离焦平面上的畸变量，将6m物距、7.0m
×
3.5m
×
2.5m空间内的视觉的三维测量精度从0.055mm提升到0.028mm。对于以上景深畸变模型标定方法，在实施时需要保证靶标平面与光轴始终垂直摆放，这对实验装置和操作流程提出了很高要求，使得整个标定过程繁琐、人为误差易于引入、实用性差。

技术实现思路

[0004]本专利技术要解决的技术难题是克服现有技术的缺陷，专利技术一种基于靶标松姿态约束的景深畸变模型标定方法。包括：标定图像采集和景深畸变模型标定。在标定图像采集方面，利用相机获取靶标在景深内多个姿态的图像，靶标的摆放姿态无需靶标平面与相机光轴垂直，仅需保证靶标覆盖相机的视场和景深，且靶标上的直线和角点这两类特征可以成像即可。在景深畸变模型标定方面，首先，利用多张靶标图像中心区域的角点距离约束标定相机成像模型的内参数；其次，根据单应性矩阵解算靶标图像上直线点的物距；再次，以检测的直线点到其所在直线的距离最小为约束，建立包含景深畸变模型参数的最小化目标函数；最后，以直线点的像素坐标、直线点的物距、焦距为输入量，优化目标函数完成景深畸变模型所有参数的求解。
[0005]本专利技术一种基于靶标松姿态约束的景深畸变模型标定方法，根据多个姿态下采集的靶标图像，在依次完成基于图像中心角点距离约束的成像模型内参数求解，以及基于单应性矩阵的图像直线点物距求解后，以点到直线的距离平方最小为目标函数优化求解景深畸变模型参数。有别于其他景深模型标定方法对靶标和相机光轴的垂直姿态摆放要求，本专利技术的标定方法对靶标姿态约束较松，仅需多个摆放姿态的靶标覆盖视场和景深，并保证靶标上直线和角点可见即可。本专利技术方法在保证畸变模型标定精度的前提下提高了标定的
便捷性，标定成本低。
[0006]一种基于靶标松姿态约束的景深畸变模型标定方法，步骤如下：
[0007]第一步，图像采集
[0008]整个相机深畸畸变模型标定实验系统有一个相机、一个镜头和一个靶标组成；用于相机景深畸变模型中参数标定的靶标为平面板，其上布置有直线和角点两类特征，两两直线的交点为角点在加工时保证两两角点之间的距离精确已知；图像采集是相机景深畸变模型参数求解的前提；首先，打开安装有镜头的相机，设置相机采集帧频、曝光时间、焦距、分辨率，调节对焦距离后完成镜头对焦；其次，将靶标在相机前面摆放多个姿态，不需要靶标与镜头光轴垂直，仅需保证靶标姿态能覆盖相机的视场和景深，并且角点和直线都能成像即可。每摆放完一个靶标姿态后，使靶标处于静止状态，并利用相机采集靶标图像，最终采集获得多个姿态下的靶标图像。
[0009]第二步，相机景深畸变模型标定
[0010](1)相机成像模型
[0011]相机成像模型描述了物方空间点与像方图像点之间的一一映射关系，记物方空间点的齐次坐标为(x,y,z,1)
T
，其在图像上的无畸变投影点的齐次坐标为(u,v,1)
T
。因为靶标平面和图像平面均为二维平面，则相机成像模型可表达为：
[0012][0013]其中，s为比例因子，为内参数矩阵，C0＝(c
x
,c
y
)
T
为图像的畸变中心，f
x
、f
y
为u、v方向上的等效焦距。f
x
＝f/d
x
，f
y
＝f/d
y
，d
x
和d
y
为像元在水平和垂直方向上的物理尺寸。f为镜头焦距。r1和r2为世界坐标系和相机坐标系间旋转变换矩阵的前两个列向量，t为世界坐标系和相机坐标系间的平移向量。H＝s
·
M
·
[r
1 r
2 t]为单应性矩阵，表述了靶标平面和图像平面两个平面之间的转换关系。
[0014](2)相机景深畸变模型
[0015]制造和装配工艺缺陷导致镜头产生径向畸变和偏心畸变，使得直线在图像上的投影为曲线。采用多项式来表达镜头畸变模型，公式如下：
[0016][0017]其中，为畸变图像点坐标，δ
u
、δ
v
是图像点在u、v方向上的畸变函数，为图像点的畸变半径，k1和k2分别为第一阶和第二阶径向畸变参数，p1和p2分别为第一阶和第二阶偏心畸变参数。
[0018]镜头畸变大小跟景深位置密切关联，特别是在近景条件下，此种关联性更强、产生的畸变量更大。考虑到物距不同所引起的成像畸变不同，将物距与畸变模型联系起来建立景深畸变模型，其表达式为：
[0019][0020]其中，为放大参数，满足为放大参数，满足分别为对焦物距为s
n
、s
m
、和s
k
的对焦平面上的第i阶径向畸变参数。和分别是对焦物距为s
n
和s
m
的两个对焦平面上的第i阶偏心畸变参数，f为镜头焦距。参考Duane C.Brown论文“Close
–
range camera calibration”以及Clive S.Fraser论文“Variation of distortion within the photographic field”可以得到如下公式：
[0021][0022]其中，g为经验参数，和为镜头对焦于物距为s时，处于物距s
k
处的离焦平面的第i阶径向畸变参数和偏心畸变参数，为位于对焦于无穷远处的对焦平面的第i阶偏心畸变参数，将公式(4)结果推广到处于任意物距s
n
、s
m...

【技术保护点】

【技术特征摘要】
1.一种基于靶标松姿态约束的景深畸变模型标定方法，其特征在于，步骤如下：第一步，图像采集整个相机景深畸变模型标定实验系统主要由一个相机、一个镜头和一个靶标组成；用于相机景深畸变模型中参数标定的靶标为平面板，其上布置有直线和角点两类特征，两两直线的交点为角点；在加工时保证两两角点之间的距离已知；图像采集是相机景深畸变模型参数求解的前提；首先，打开安装有镜头的相机，设置相机采集帧频、曝光时间、焦距、分辨率，调节对焦距离后完成镜头对焦；其次，将靶标在相机前面摆放多个姿态，不需要靶标与镜头光轴垂直，仅需保证靶标姿态能覆盖相机的视场和景深，并且角点和直线都能成像即可；每摆放完一个靶标姿态后，使靶标处于静止状态，并利用相机采集靶标图像，最终采集获得多个姿态下的靶标图像；第二步，景深畸变模型标定(1)相机成像模型相机成像模型描述物方空间点与像方图像点之间的一一映射关系，记物方空间点的齐次坐标为(x,y,z,1)
T
，其在图像上的无畸变投影点的齐次坐标为(u,v,1)
T
；因为靶标平面和图像平面均为二维平面，则相机成像模型表达为：其中，s为比例因子，为内参数矩阵，C0＝(c
x
,c
y
)
T
为图像的畸变中心，f
x
、f
y
为u、v方向上的等效焦距；f
x
＝f/d
x
，f
y
＝f/d
y
，d
x
和d
y
为像元在水平和垂直方向上的物理尺寸；r1和r2为世界坐标系和相机坐标系间旋转变换矩阵的前两个列向量，t为世界坐标系和相机坐标系间的平移向量；H＝s
·
M
·
[r
1 r
2 t]为单应性矩阵，表述靶标平面和图像平面两个平面之间的转换关系；f为镜头焦距；(2)相机景深畸变模型制造和装配工艺缺陷导致镜头产生径向畸变和偏心畸变，使得直线在图像上的投影为曲线；采用多项式来表达相机镜头畸变模型，公式如下：其中，为畸变图像点坐标，δ
u
、δ
v
是图像点在u、v方向上的畸变函数，为图像点的畸变半径，k1和k2分别为第一阶和第二阶径向畸变参数，p1和p2分别为第一阶和第二阶偏心畸变参数；
镜头畸变大小跟景深位置密切关联，考虑到物距不同所引起的成像畸变不同，将物距与畸变模型联系起来建立相机景深畸变模型，其表达式为：其中，为放大参数，满足为放大参数，满足分别为对焦物距为s
n
、s
m
、和s
k
的对焦平面上的第i阶径向畸变参数；和分别是对焦物距为s
n
和s
m
的两个对焦平面上的第i阶偏心畸变参数，进一步得到如下公式：其中，g为经验参数，和为镜头对焦于物距为s时，处于物距s
k
处的离焦平面的第i阶径向畸变参数和偏心畸变参数，为位于对焦于无穷远处的对焦平面的第i阶偏心畸变参数，将公式(4)结果推广到处于任意物距s
n
、s
m
和s
k
的离焦平面，得到由公式(5)表示的各离焦平面间的畸变参数关系式：其中，和为当对焦于物距s时，处于物距为s
n
的离焦平面上的第i阶径向畸变参数和偏心畸变参数；和为当对焦于物距s时，处于物距为s
m
处的离焦平面上的第i阶径...

【专利技术属性】
技术研发人员：李肖，李伟，袁新安，殷晓康，赵建明，赵建超，
申请(专利权)人：中国石油大学华东，
类型：发明
国别省市：