一种点云结合2D图像的拼接方法技术

本发明专利技术公开了一种点云结合2D图像的拼接方法，包括如下步骤，拍摄得到二维图像和采集得到的强度图和两段点云；将两段点云转换为深度图；对于二维图像和深度图分别进行特征角点提取；将二维图像得到的特征角点，以及深度图得到的特征角点进行匹配，对点云重叠的部分两边平均操作，得到拼接图；本发明专利技术提出的方法有一个完整物体形状的2D信息作为参照，使得点云能够映射到2d图像对应位置，不仅可以减少算法计算时间，而且能够提升拼接精度；本发明专利技术提供的方法将点云转换为深度图后，无需对点云进行其他任何特殊处理，只需将拍摄的2d图像与二维深度图像进行对应匹配即可，不仅会提升计算速度，而且相较点云配准而言，提升了鲁棒性。提升了鲁棒性。提升了鲁棒性。

【技术实现步骤摘要】
一种点云结合2D图像的拼接方法


[0001]本专利技术属于大数据应用处理
，具体涉及一种点云结合2D图像的拼接方法。

技术介绍

[0002]点云数据配准是将不同视角下采集到的点云数据进行拼接，使不同视角下的局部点云数据转换到统一坐标系下。一般会经历粗配准和精确配准。粗配准是将两片任意位置的点云数据进行粗略配准，使其大致在同一个位置上，为精确配准提供良好的初始值。精确配准算法种，应用最广泛的为Iterative Closest Point(ICP)算法，而该算法对迭代初始值要求很高且容易陷入局部最优。此外拼接过程还会存在平移和旋转误差，以及对于大量点云的配准拼接存在耗时较长的问题，无法满足工业的实时应用以及高精度测量。
[0003]鉴于此，实有必要提供一种新型的点云结合2D图像的拼接方法以克服上述缺陷。

技术实现思路

[0004]本专利技术的目的是提供一种点云结合2D图像的拼接方法，可以减少算法计算时间和提升拼接精度。
[0005]为了实现上述目的，本专利技术提供一种点云结合2D图像的拼接方法，包括如下步骤，
[0006]S1：采用2D相机拍摄得到二维图像，采用3D线激光扫描系统采集得到的强度图和两段点云；
[0007]S2：将两段点云转换为深度图；
[0008]S3：对于2D相机拍摄得到的二维图像和上述步骤得到的深度图分别进行特征角点提取；
[0009]S4：将二维图像得到的特征角点，以及深度图得到的特征角点进行匹配，对点云重叠的部分两边平均操作，得到拼接图。
[0010]优选的，步骤S1还包括步骤S11：采用一个视野为20mm*20mm的2D相机，在2D相机旁边再设置一个沿X方向视野为14mm的3D线激光系统；
[0011]S12：通过2D相机拍摄得到二维图像，通过3D线激光扫描系统拍摄得到两段点云。
[0012]优选的，放置圆形点阵标定板，对于二维图像进行圆形点阵标定板的圆心提取，对于3D线激光扫描系统的强度图进行点阵标定板的圆心提取；
[0013]S212：根据二维图像提取的圆心与强度图提取的圆心的x、y坐标，求取3D坐标到2D坐标的单应矩阵M；
[0014]S213：将点云x、y坐标经过单应矩阵转换得到2D系统的x、y坐标，经过双线性插值，得到深度图。
[0015]优选的，对于深度图中的两部分分别进行Canny算子的边缘提取，使用高斯滤波器平滑图像，滤除噪声，得到效果图；
[0016]高斯滤波器得核方程为：
[0017]其中，i、j为像素坐标，k为核窗口大小，exp为以自然常数e为底的指数函数，σ为高斯函数标准差；
[0018]S312：使用sobel算子计算每个像素点处的梯度强度和方向，边缘检测的算子返回水平方向Gx和垂直方向Gy的一阶导数值，由此确定像素点的梯度G和方向θ：
[0019][0020]θ＝arctan(G
x
/G
y
)
[0021]其中G
x
、G
y
由x方向的sobel算子S
x
和y方向的sobel算子S
y
得到，其中S
x
和S
y
表示为：
[0022][0023][0024]应用非极大值抑制，消除边缘检测带来得杂散相应。
[0025]优选的，将当前像素的梯度强度与沿正负梯度方向上的两个像素进行比较；若当前像素的梯度强度与另外两个像素相比最大，则该像素点保留为边缘点，否则该像素点将被抑制；
[0026]S3122：应用阈值e和阈值f检测真实和潜在边缘，其中e大于f，若检测值大于e，则为真实边界，若检测值大于f且小于e，则为潜在边缘；
[0027]S3123：对于潜在边缘，通过查看其边缘像素及其8个邻域像素，只要其中一个为真实边缘，则该潜在边缘点就可以保留为真实的边缘；对于得到的边缘提取图像基于Shi
‑
Tomasi方法进行角点的提取，得到边缘提取图。
[0028]S3124：计算边缘提取图的局部窗口在x和y方向的梯度Ix，Iy；
[0029]计算窗口在梯度之间的乘积：I
x
I
y
＝I
x
·
I
y
；
[0030]计算每个像素点的梯度乘积之和；
[0031]定义矩阵M，M表达式为：
[0032]计算M矩阵的特征值λ1、λ2，计算响应函数R，响应函数R＝min(λ1,λ2)若R大于阈值t，则会得到强角点，t为最低可接受的角点质量水平。
[0033]优选的，步骤S4包括S41：将边缘提取图中的每个特征角点位置局部范围，在2D相机拍摄的二维图像对应位置运用sift特征描述子进行表达；
[0034]S42：将得到的效果图中的每个特征角点位置局部范围，在深度图的对应位置运用sift特征描述子进行表达；
[0035]S43：将深度图中的第一部分的特征描述子与在2D相机拍摄的二维图像对应的特征点处的描述子进行一一匹配，将深度图中的第一部分的每个特征描述子搜寻与2D相机拍摄的二维图像中特殊描述子最相似的点位；通过最小二乘法对相对应的点求单应矩阵；
[0036]深度图中的第一部分的特征点坐标为(x1,y1)，(x2,y2),
……
,(xn,yn)；其对应的在2D相机拍摄的二维图像中最相似的特征点坐标为(X1,Y1)，(X2,Y2)，
……
,(Xn,Yn)；
[0037]令矩阵A＝[q1q2...q
n
]，B＝[P1P2...P
n
]，
[0038]则单应矩阵为M＝(AA
T
)
‑1AB
T
；其中q
n
为深度图中的第一部分的第n个特征点的齐次表达式，P
n
为2D相机拍摄的二维图像中第n个特征点的齐次表达式，A为深度图中所有特征点的矩阵表达，B为2D相机拍摄的二维图像中所有特征点的矩阵表达，M为2D相机拍摄的二维图像中的特征点到深度图中的第一部分中的对应相似特征点的单应矩阵；
[0039]S44：重复步骤S1
‑
S4进行匹配，直至邻近点对不再发生变化。
[0040]S45：将深度图中的第二部分的特征描述子与2D相机拍摄的二维图像中对应的特征点处的描述子进行一一匹配；
[0041]S46：将深度图中的第二部分的每个特征描述子搜寻与2D相机拍摄的二维图像中特殊描述子最相似的点位；通过最小二乘法对相对应的点求单应矩阵；
[0042]深度图中的第二部分的特征点坐标为(x1,y1)，(x2,y2),
……
,(xn,yn)；其对应的在2D相机拍摄的二维图像中最相似的特征点坐标为(X1,Y1)，(X2,Y2)，
……
,(Xn,Y本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种点云结合2D图像的拼接方法，其特征在于，包括如下步骤，S1：采用2D相机拍摄得到二维图像，采用3D线激光扫描系统采集得到的强度图和两段点云；S2：将两段点云转换为深度图；S3：对于2D相机拍摄得到的二维图像和上述步骤得到的深度图分别进行特征角点提取；S4：将二维图像得到的特征角点，以及深度图得到的特征角点进行匹配，对点云重叠的部分两边平均操作，得到拼接图。2.如权利要求1所述的点云结合2D图像的拼接方法，其特征在于，步骤S1还包括步骤S11：采用一个视野为20mm*20mm的2D相机，在2D相机旁边再设置一个沿X方向视野为14mm的3D线激光系统；S12：通过2D相机拍摄得到二维图像，通过3D线激光扫描系统拍摄得到两段点云。3.如权利要求1所述的点云结合2D图像的拼接方法，其特征在于，步骤S2包括S211：放置圆形点阵标定板，对于二维图像进行圆形点阵标定板的圆心提取，对于3D线激光扫描系统的强度图进行点阵标定板的圆心提取；S212：根据二维图像提取的圆心与强度图提取的圆心的x、y坐标，求取3D坐标到2D坐标的单应矩阵M；S213：将点云x、y坐标经过单应矩阵转换得到2D系统的x、y坐标，经过双线性插值，得到深度图。4.如权利要求1所述的点云结合2D图像的拼接方法，其特征在于，步骤S3包括S311：对于深度图中的两部分分别进行Canny算子的边缘提取，使用高斯滤波器平滑图像，滤除噪声，得到效果图；高斯滤波器得核方程为：其中，i、j为像素坐标，k为核窗口大小，exp为以自然常数e为底的指数函数，σ为高斯函数标准差；S312：使用sobel算子计算每个像素点处的梯度强度和方向，边缘检测的算子返回水平方向Gx和垂直方向Gy的一阶导数值，由此确定像素点的梯度G和方向θ：θ＝arctan(G
x
/G
y
)其中G
x
、G
y
由x方向的sobel算子S
x
和y方向的sobel算子S
y
得到，其中S
x
和S
y
表示为：表示为：应用非极大值抑制，消除边缘检测带来得杂散相应。5.如权利要求1所述的点云结合2D图像的拼接方法，其特征在于，步骤S312进一步包括
步骤S3121：将当前像素的梯度强度与沿正负梯度方向上的两个像素进行比较；若当前像素的梯度强度与另外两个像素相比最大，则该像素点保留为边缘点，否则该像素点将被抑制；S3122：应用阈值e和阈值f检测真实和潜在边缘，其中e大于f，若检测值大于e，则为真实边界，若检测值大于f且小于e，则为潜在边缘；S3123：对于潜在边缘，通过查看其边缘像素及其8个邻域像素，只要其中一个为真实边缘，则该潜在边缘点就可以保留为真实的边缘；对于得到的边缘提取图像基于Shi
‑
Tomasi方法进行角点的提取，得到边缘提取图。S3124：计算边缘提取图的局部窗口在x和y方向的梯度Ix，Iy；计算窗口在梯度之间的乘积：I
x
I
y
＝I
x
·
I
y
；计算每个像素点的梯度乘积之和；定义矩阵M，M表达式为：计算M矩阵的特征值λ1、λ2，计算响应函数R，响应函数R＝min(λ1,λ2)若R大于阈值t，则会得到强角点，t为最低可接受的角点质量水平。6.如权利要求1所述的点云结合2D图像的拼接方法，其特征在于，步骤S4包括S...

【专利技术属性】
技术研发人员：朱云龙，许沈榕，熊鑫鑫，吴昌力，郑军，
申请(专利权)人：聚时科技上海有限公司，
类型：发明
国别省市：