【技术实现步骤摘要】
一种基于一体化标定参数的图像空间投影拼接方法
[0001]本专利技术属于图像处理领域，尤其涉及一种基于一体化标定参数的图像空间投影拼接方法。
技术介绍
[0002]获取室外真实场景的三维模型是计算机视觉、视觉导航、机器人等领域的一个重要研究课题，具有广阔的应用场景：如机器人导航，无人驾驶，移动道路测量车和城市或地图3D数字化等。对于大型场景的空间测量，单一传感器存在不可避免的局限性，2D
‑
LiDAR与相机联合测量技术结合了两种类型传感器的优点，能同时获取纹理丰富的图像和几何结构信息。
[0003]在利用2D
‑
LiDAR与相机联合测量技术进行空间测量前，需要对其几何安装参数进行标定。
[0004]目前，大多数相关工作主要是利用特定的标定板来计算两传感器间精准的相对位姿(旋转矩阵和平移矢量)，该标定板一般是三角板或由三角板组成的V型板等等，通过特定的结构提取激光点云和相机图像中的角点，从而完成标定。但是，激光点云存在稀疏性，会影响点云数据和图像数据中角点的准确性，从而影响标定的精确性。
[0005]此外，对建筑物，如桥梁、外墙面等进行外观检测时，由于摄像头经常需要调整角度和转向，导致拍摄得到的图片会出现倾斜、扭曲等，导致需要将图像拼接形成建筑的整体图形时，需要根据各图像边缘的相似度寻找到邻近的图片，然后将图片边缘、扭曲、拉伸或缩减等将邻近图片拼接在一起。其缺点在于，处理流程繁琐，耗费时间长，且当建筑有大量相似的部分时，很容易使得图片拼接错误，而且缺少部分图片...
【技术保护点】
【技术特征摘要】
1.一种基于一体化标定参数的图像空间投影拼接方法，其特征在于，包括如下步骤：步骤一、建立一体化标定系统；所述一体化标定系统包括标定板和多自由度采集末端，多自由度采集末端包括旋转云台，旋转云台包括2D
‑
LiDAR和至少两个相机；旋转云台固定连接在Y轴旋转轴，Y轴旋转轴轴接连接有Z轴旋转轴；所述标定板包括ChArUco标定板，ChArUco标定板一侧固定有矩形侧板，另一侧固定有等腰直角三角形侧板，等腰直角三角形侧板的一个直角边为ChArUco标定板的侧边；矩形侧板外侧固定有第一边侧板；等腰直角三角形侧板的斜面上固定有第二边侧板；矩形侧板和等腰直角三角形侧板所在平面均与ChArUco标定板所在平面垂直设置；第一边侧板所在平面与ChArUco标定板坐在平面平行，第二边侧板所在平面与等腰直角三角形侧板所在平面垂直设置；步骤二、获取2D
‑
LiDAR单次扫描标定板的点云数据，提取标定板的角点信息，根据角点信息确定多自由度采集末端在各个旋转自由度时的零点位置；步骤三、驱动Y轴旋转轴和Z轴旋转轴预设轨迹旋转，并采集相机和2D
‑
LiDAR数据形成完整的标定数据集；步骤四、提取完整的标定数据集中每张图像中的ArUco特征点和ChArUco角点坐标序列，所述ArUco特征点包括二维码的ID号和二维码四个顶点的平面坐标；根据采集末端不同旋转角度时相机图像中相应二维码四个顶点的平面坐标信息，标定相机内参；步骤五、在获取2D
‑
LiDAR扫描标定板的点云数据，提取标定板角点，计算各标定板角点在相应相机图像中的平面坐标信息，结合各个标定板角点的空间和平面坐标信息，确定2D
‑
LiDAR和相机之间的旋转矩阵和平移矩阵；步骤六：获取2D
‑
LiDAR绕多自由度采集末端的Z轴旋转轴和Y轴旋转轴旋转得到的点云数据和相机图像，进行多自由度采集末端的旋转云台的Y轴和Z轴旋转参数的联合标定；步骤七：将Z轴旋转轴和Y轴旋转轴标定结果在2D
‑
LiDAR坐标系内表示；步骤八：多自由度采集末端采集目标物的图像，并将采集到图像的像素点均转化到2D
‑
LiDAR坐标系内，完成目标物图像的拼接。2.如权利要求1所述的基于一体化标定参数的图像空间投影拼接方法，其特征在于，所述步骤二包括如下步骤：相机朝向ChArUco标定板，2D
‑
LiDAR朝向与矩形侧板所在平面平行的方向，采集2D
‑
LiDAR扫描标定板的激光点云；对激光点云进行稀疏激光均匀化采样，激光滤波，得到均匀连续的激光点云；将均匀连续的激光点云转换成图像，对图像进行形态学标定板角点取激光点云清晰连续的骨架，获得获取图像中激光点云的轮廓，当轮廓中包含的点的个数大于或等于预设值时，则为有效有效激光轮廓，否则为无效激光轮廓，重新采集2D
‑
LiDAR扫描标定板的激光点云；根据有效激光轮廓，进行多边形拟合后，提取有效激光轮廓中关于标定板的多边形轮廓线段，通过外扩矩阵确定标定板角点位置：式1中，K1与K2分别表示多边形轮廓上任一线段的起始点和终止点的坐标；
K3和K4分别表示线段K1K2经过外扩后对应的的起始点和终止点的坐标；K3和K4作为更新后的标定板角点位置；然后根据给定的阈值s，计算外扩矩阵四个顶点的坐标，得到获取包含4个顶点的最小外接矩形；s表示此外接矩形高度的二分之一；通过给定的阈值s，计算中矩形的4个顶点在2D
‑
LiDAR坐标系中的坐标值，并获取包含4个顶点的最小外接矩形，以判断激光点云在哪个矩形内，将所有激光点云分配到对应的矩形内，然后将矩形内的激光点拟合得到直线，根据两两直线的交点得到有效激光轮廓的角点，分别为p0、p1、p2、p3、p4、p5，其中p1、p2、p3、p4即标定板角点；其中，d＝3δ，s＝2δ，δ表示2D
‑
LiDAR的测量误差；驱动多自由度采集末端的Y轴旋转轴旋转，采集序列激光剖面，并提取处于ChArUco标定板上p2p3连线与2D
‑
LiDAR坐标系中X轴方向的夹角，取夹角最小的位置为Y轴的零点，记录Y轴为零点时对应的Y轴机械角度θ，并驱动Y轴旋转至Y轴的零点；然后驱动Z轴旋转轴旋转，采集序列激光剖面，并提取线段p2p3的长度，取p2p3长度最小时的位置为Z轴的零点，Z轴的零点对应的Z轴机械角度β，将{θ,β}角度作为多自由度采集末端的零点位置，即完成多自由度采集末端的零点位置标定。3.如权利要求2所述的基于一体化标定参数的图像空间投影拼接方法，其特征在于，所述步骤三包括如下步骤：将多自由度采集末端的Y轴旋转轴与Z轴旋转轴均置于零点位置，然后分两步进行标定采集相机和2D
‑
LiDAR数据形成完整的标定数据集：保持Z轴旋转轴处于Z轴的零点位置不动，驱动多自由度采集末端的Y轴旋转轴转动，每次转动1
±
0.5
°
；每次Y轴旋转轴转动后，多自由度采集末端上的两个相机拍摄图像并保存，记录2D
‑
LiDAR一帧点云数据，同时记录多自由度采集末端在Y轴自由度和Z轴自由度的旋转角度，作为一组标定数据；在每个旋转位置保存对应的一组标定数据，作为Y轴转动的标定数据集；然后保持Y轴旋转轴处于Y轴的零点位置不动，驱动多自由度采集末端的Z轴旋转轴转动，每次转动1
±
0.5
°
，将转动过程中每组相机图像、激光点云和多自由度采集末端的姿态数据保存下来，作为Z轴转动的标定数据集；Y轴转动的标定数据和Z轴转动的标定数据集形成完整的标定数据集。4.如权利要求3所述的基于一体化标定参数的图像空间投影拼接方法，其特征在于，所述步骤四包括如下步骤：提取Y轴转动的标定数据中每张图像中的ArUco特征点，所述ArUco特征点包括二维码的ID号和二维码四个顶点的平面坐标；同时提取出提取出每张图像的ChArUco角点坐标序列；基于Y轴旋转轴旋转的多个位置，图像坐标系上的角点序列和相对应的世界坐标序列，根据棋盘格标定方法标定出相机的内参数矩阵K和畸变参数矩阵D，完成相机内参的标定:式2中，f
x
和f
y
分别表示x与y方向上像素与实际距离的比例；u0，v0分别为图像中心在像素平面即图像坐标系的u、v轴坐标，u为图像宽度方向为方向，v为图像高度方向；k1，k2，k3表
示镜头的径向畸变参数；m1,m2表示镜头的切向畸变参数。5.如权利要求4所述的基于一体化标定参数的图像空间投影拼接方法，其特征在于，所述步骤五包括如下步骤：根据Y轴转动的标定数据集，获取激光点云数据，提取有效激光轮廓中的标定板角点，即得到标定板角点p1、p2、p3和p4在2D
‑
LiDAR坐标系中的空间坐标{P
iL
|i＝1,2,3,4}；根据得到的激光轮廓的角点坐标，通过标定板结构的几何约束，设ChArUco标定板处于标定板世界坐标系Z＝0平面，于是通过{P
iL
|i＝1,2,3,4}以及标定板的几何约束得到所述标定板角点在标定板世界坐标系的坐标{P
iW
|i＝1,2,3,4}，即有：|i＝1,2,3,4}，即有：|i＝1,2,3,4}，即有：|i＝1,2,3,4}，即有：式3中，d为二维码边缘与ChArUco标定板边缘的距离，w为ChArUco标定板的边长；以相机图像中提取的二维码四个顶点作为控制点，结合标定的相机内参数及畸变参数，通过相机标定方法标定出相机外参，即相机坐标系与标定板世界坐标系之间的旋转矩阵R
W2C
与平移矩阵T
W2C
，然后确定标定板角点在图像坐标系中的实际坐标：式4中，
W
X
i
,
W
Y
i
,
W
Z分别为标定板角点在标定板世界坐标系中的X、Y、Z分量；分别表示标定板角点在相机坐标系中的X、Y、Z分量；分别表示标定板角点在图像中的u轴和v轴坐标值；得到标定板角点在图像坐标系中的理论坐标信息：
式5中，R
L2C
和T
L2C
分别表示2D
‑
LiDAR与相机间的旋转矩阵和平移矩阵；
L
X
i
,
L
Y
i
,
L
Z
i
分别为标定板角点的X、Y、Z分量；
C
X
i
,
C
Y
i
,
C
Z
i
分别表示标定板角点在相机坐标系中对应的理论坐标值；
I
u
i
,
I
v
i
分别表示标定板角点在图像中的理论像素坐标值；至此，定义损失函数为：式6中，Δu和Δv分别表示像素点在u和v方向的偏差；采用最小二乘法，迭代求解得到2D
‑
LiDAR与相机间旋转矩阵和平移矩阵。6.如权利要求5所述的基于一体化标定参数的图像空间投影拼接方法，其特征在于，所述步骤六包括如下步骤：根据完整的标定数据集，进行旋转云台绕Z轴和Y轴的旋转参数标定，标定结果包括代表旋转轴方向的单位向量和绕轴旋转点，旋转云台绕Z轴和Y轴的标定结果最后都统一到同一个坐标系2D
‑
LiDAR坐标系下：首先，设绕Y轴旋转轴旋转的旋转向量就是2D
‑
LiDAR坐标系中Y轴(0,1,0)，通过由粗到细的搜索方法求解绕得到Y轴旋转轴的旋转点，同样通过由粗到细的搜索方法得到Z轴旋转轴的旋转点；利用相机图像中的ArUco特征点作为外部控制点，将旋转时相机图像的ArUco特征点，与旋转到零点角度时相机图像的ArUco特征点之间的偏差作为误差函数，利用最小二乘法，迭代求解误差函数最小时的旋转轴方向与旋转点；求解得到旋转云台的Y轴、Z轴的旋转参数，作为迭代求解时Y、Z轴的旋转轴向量和旋转点的初始值。7.如权利要求6所述的基于一体化标定参数的图像空间投影拼接方法，其特征在于，所述由粗到细的搜索方法包括如下步骤：一)获取Z轴旋转轴旋转不同角度的一系列激光点云数据，读取激光的单次点云数据，记录Z轴旋转轴第i次旋转的角度θ
i
；对第i次转台绕Z轴旋转后采集到的的原始点云数据，进行稀疏激光均匀化上采样和滤波处理，得到有效的点云数据，提取得到标定板角点p2、p3；最后得到标定板角点p2、p3与Z轴旋转轴旋转角度的序列{
LS
P
ij
,θ
i
}(j＝2,3)，其中，i表示第i次旋转，j表示p2或p3点，
LS
P
ij
则表示第i次旋转时p2或p3点在2D
‑
LiDAR坐标系中的坐标值；二)将2D
‑
LiDAR绕多自由度的旋转简化为空间上一点绕两向量旋转，存在如下关系：LiDAR绕多自由度的旋转简化为空间上一点绕两向量旋转，存在如下关系：r0＝
L
n
x
·
L
n
y
·
(1
‑
cosθ)+cosθ,r1＝
L
n
x
·
L
n
y
·
(1
‑
cosθ)+
L
n
z
·
sinθr2＝
L
n
z
·
L
n
x
·
(1
‑
cosθ)
‑
L
n
y
·
sinθ,r3＝
L
n
x
·
L
n
y
·
(1
‑
cosθ)
‑
L
n
z
·
sinθr4＝(
L
n
y
)2·
(1
‑
cosθ)+cosθ,r5＝
L
n
y
·
L
n
z
·
(1
‑
cosθ)+
L
n
x
·
sinθr6＝
L
n
z
·
L
n
x
·
(1
‑
cosθ)+
L
n
y
·
sinθ,r7＝
L
n
y
·
L
n
z
·
(1
‑
cosθ)
‑
L
n
x
·
sinθ
r8＝(
L
n
z
)2·
(1
‑
cosθ)+cosθ(式7)式7中，θ为Z轴旋转轴旋转的角度，表示Z轴旋转轴旋转的方向向量，Sz表示Z轴旋转轴的旋转点，则表示旋转云台绕方向旋转θ角度对应的旋转矩阵，P1表示2D
‑
LiDAR坐标系内任意一点，P1绕轴旋转θ角度对应点为P0；r0、r1、r2...r8分别表示旋转矩阵的各元素X
AZ
,Y
AZ
,Z
AZ
,分别表示绕Z轴旋转点S
Z
在2D
‑
LiDAR坐标系的X、Y、Z值，
L
n
x
，
L
n
y
，
L
n
z
分别表示旋转轴向量在2D
‑
LiDAR坐标系的X、Y、Z轴分量；确定点P0绕Y轴旋转轴轴旋转α后的几何关系：式8中，α表示旋转云台绕Y轴旋转的角度，表示绕Y轴旋转的方向向量，S
Y
则表示绕Y轴旋转点，表示旋转云台绕方向旋转α角度对应的旋转矩阵；P2则表示P0在绕旋转α角度后的对应点；将绕Z轴旋转轴旋转后的标定板角点p2、p3还原到旋转零角度的公式即为：公式9中，θ0表示在Z轴旋转轴旋转标定为零角度时，传感器记录的实际角度，而θ
i
则表示在第i次Z轴旋转轴旋转时所记录的角度值；
LS
P
ij
(X),
LS
P
ij
(Y),
LS
P
ij
(Z)分别表示Z轴旋转轴第i次旋转后，标定板第j个角点在2D
‑
LiDAR坐标系中的坐标值，分别表示标定板角点在还原至绕Z轴旋转零角度后，在2D
‑
LiDAR坐标系中的坐标值；将所有采集末端绕Z轴旋转采集的激光点云数据均还原到绕Z轴旋转零角度，即形成点云数据；三)设旋Z轴旋转轴旋转轴向量为计算Z轴旋转轴的旋转点，根据由粗到细的搜索策略，先利用循环迭代的方法进行粗略的求解：A.初始时，设旋Z轴旋转轴的旋转点为S
Z
(0,0,0)；B.Z轴旋转轴旋转采集到的所有激光点云数据，均还原到Z轴旋转轴旋转角度为零时的状态；C.根据还原后的点云数据，计算得到包含还原后的点云数据的最小外接矩阵，记最小外接矩阵的四个顶点为{
L
q
k
}(k＝1,2,3,4)；D.将四个顶点连线，形成四条线段{l
k
}(k＝1,2,3,4)，随后给定阈值d和s，得到l
k
线段各自的外扩矩形；
E.依次判断激光点云落在哪个外扩矩形内，并形成每个外扩矩形的激光点集；根据每个矩形内点集拟合直线，并计算矩形内所有点到对应直线的距离累加值；F.计算四个外扩矩形的顶点到拟合直线距离累加值之和，如果小于上一次迭代的累加值之和，则根据阈值Δ
y
将旋转点S
Z
的Y分量加上Δ
y
；Δ
y
＝1
‑
3mm；G.若迭代次数超过设定阈值次数则结束，否则回到步骤B运行循环；迭代过程停止之后，得到粗略求解的采集末端绕Z轴旋转点，记为其中表示点在2D
‑
LiDAR坐标系中的X分量，表示点在2D
‑
LiDAR坐标系中的Y分量，表示点在2D
‑
LiDAR坐标系中的Z分量；将作为细化搜索的迭代初值，设定一个绕Z轴旋转轴旋转点Y分量的迭代阈值d
y
，d
y
＝0.1*Δ
y
，同时将细化搜索时旋转点Y值搜索范围控制在之内；于是按照步骤A至步骤F的迭代过程，细化搜索得到旋转云台绕Z轴旋转轴的旋转点，最终结果得到的旋转点记为其中表示点在2D
‑
LiDAR坐标系中的X分量，表示点在2D
‑
LiDAR坐标系中的Y分量，表示点在2D
‑
LiDAR坐标系中的Z分量；根据步骤一)至步骤三)，同样得到旋转云台绕Y轴的旋转点，记为其中表示点在2D
‑
LiDAR坐标系中的X分量，表示点在2D
‑
LiDAR坐标系中的Y分量，表示点在2D
‑
LiDAR坐标系中的Z分量；完成对Z轴旋转轴和Y轴旋转轴的标零。8.如权利要求7所述的基于一体化标定参数的图像空间...
【专利技术属性】
技术研发人员：周朗明，万智，童宸鹏，肖立华，
申请(专利权)人：湖南桥康智能科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。