基于双目视觉与线结构光的水下构筑物表观缺陷检测方法技术

本发明专利技术涉及技术领域，公开了基于双目视觉与线结构光的水下构筑物表观缺陷检测方法，包括以下步骤：步骤S1：采集csum组水下结构光标定板图像，对双目相机进行标定与校正，并解算结构光构成的光平面方程；步骤S2：获取n组构筑物表面双目图像，对双目图像进行分析，并确定结构光区域；步骤S3：从所述步骤S2中的结构光区域mask

【技术实现步骤摘要】
基于双目视觉与线结构光的水下构筑物表观缺陷检测方法


[0001]本专利技术涉及图像处理以及计算机视觉
，具体涉及基于双目视觉与线结构光的水下构筑物表观缺陷检测方法。

技术介绍

[0002]随着我国水利水电工程、桥梁工程等的持续建设，水下构筑物覆盖范围越来越广泛。由于长期处于水下复杂环境中，水下构筑物在长期服役后，不同程度地存在着基础冲刷、淘空、结构侵蚀以及自身老化等一系列的结构性损伤，给水下工程的整体运行带来了安全隐患。如果不及时修复，最终会造成灾难性的后果。因此，有必要对水下结构物进行定期的安全检查，及时、可靠地提供水下构筑物表面缺陷信息。
[0003]目前，水下构筑物缺陷检测的方式主要包括人工检查、声呐探测、激光扫描等。常规的人工探摸、水下摄像等方法受水下环境、水质条件、作业时间、安全保障等各种因素影响，无法获得清晰图像，检测结果难以满足工程需求。随着水下构筑物规模增大，人工测量方式已经无法满足水下构筑物巡检的覆盖面与即时性要求，亟需一种有效的智能化手段代替人工测量方式。但目前有效、简单易行水下构筑物缺陷检测的方式的并不多。因此一种测量精度高，稳定性好的水下构筑物缺陷测量方法对水下巡检领域具有重要意义。

技术实现思路

[0004]针对现有技术中，本专利技术提供了一种基于双目视觉与线结构光的水下构筑物表观缺陷检测方法，能够实现水下构筑物表面缺陷的快速、准确检测和测量，降低检测人员工作强度与危险系数，提高工作效率。
[0005]为实现上述目的，本专利技术提供如下技术方案：
>[0006]基于双目视觉与线结构光的水下构筑物表观缺陷检测方法，包括以下步骤：
[0007]步骤S1：采集csum组水下结构光标定板图像，对双目相机进行标定与校正，并解算结构光构成的光平面方程；
[0008]步骤S2：获取n组构筑物表面双目图像，并对双目图像进行分析，确定结构光区域mask
roi
；
[0009]步骤S3：从所述步骤S2中的结构光区域mask
roi
提取结构光中心线，对结构光中心线进行填补与拟合以获得完整的光条中心线；
[0010]步骤S4：获取所述步骤S3中的光条中心线三维坐标；
[0011]步骤S5：根据相机的运动轨迹，构建目标场景深度图；
[0012]步骤S6：在构建的深度图基础上，实现目标区域的深度与宽度测量。
[0013]进一步地，所述步骤S1中解算结构光构成的光平面方程的步骤为：
[0014]步骤S11：采用张氏标定法对双目相机进行标定，获取双目相机参数，并基于双目相机参数对获取的csum组构筑物表面双目图像进行校正，使其满足极线行对准。分别采用Steger算法提取校正后的左目和右目图像中的结构光中心线其中
csum＞7，csum表示水下结构光标定板图像组数；
[0015]利用极限约束法确定左右目图像中的结构光中心线对应的匹配点并计算匹配点对应的三维点云其中，其中，分别表示三维点云对应方向的坐标值，jc表示总的三维点云的个数；
[0016]利用最小二乘算法对得到三维点云进行空间直线拟合得到第ic组双目图像的中心线三维坐标表达式其中x、y、z分别表示三维坐标中横坐标、纵坐标、竖坐标，竖坐标，为空间直线表达式的参数，由拟合过程得到；将代入直线中心线三维坐标表达式L
ic
，得到修正后的中心线三维点云其中
[0017]步骤S12：重复所述步骤S11，获取所有组双目图像结构光中心线对应的中心线三维坐标表达式L
ic
,ic∈[1,csum]与修正后的中心线三维点云
[0018]步骤S13：利用RANSAC算法拟合所有修正后的中心线三维点云得到结构光光平面表达式为Ax+By+Cz+D＝0，其中x、y、z分别表示三维坐标中横坐标、纵坐标、竖坐标；A、B、C、D为空间平面表达式系数，由拟合过程得到。
[0019]进一步地，从灰度空间和HSV空间两个角度分别对所述步骤S2中的构筑物表面图像进行分析，并确定结构光区域。
[0020]进一步地，从灰度空间和HSV空间两个角度分别对获得的构筑物表面双目图像进行分析，并确定结构光区域，其具体步骤为：
[0021]步骤S21：分别基于左目和右目的构筑物表面彩色图像I
rgb
的灰度空间，计算其图像双阈值，并分割得到基于灰度空间的结构光区域mask
gray
；
[0022]步骤S22：分别将左目和右目的构筑物表面彩色图像I
rgb
映射到HSV空间，基于结构光光条的颜色特征分别对左目和右目的构筑物表面彩色图像I
rgb
进行分割得到基于HSV空间的结构光区域mask
hsv
。
[0023]进一步地，所述步骤S21的具体步骤为：
[0024]步骤S211：将构筑物表面彩色图像I
rgb
映射到灰度空间，得到灰度图像I
gray
；
[0025]步骤S212：统计灰度图像I
gray
的灰度直方图Img
hist
，根据公式(1)计算双阈值T
min
和T
max
；
[0026][0027]其中，I
d
表示灰度直方图中的最大灰度值，I
h
表示灰度直方图中最高波峰的灰度值，I
c
为根据光条宽度的下调值，阈值T
max
大于T
min
；
[0028]步骤S213：根据双阈值实现灰度图像I
gray
的分割；将灰度值低于T
min
的像素设置为背景，灰度值大于T
max
的像素为光条区域，统计此时光条的像素个数N
pix
，并求平均值
作为激光条纹宽度，其中N
row
为此时光条所占的行数；当图像灰度值位于双阈值中间时，根据公式(2)计算区域光条像素个数N
r
，当N
r
＞0.5l
width
时，这一部分像素属于结构光区域mask
gray
；
[0029][0030]其中，I(row,col)代表灰度图像I
gray
第row行，第col列的灰度值，ri和cj分别为设定的模板Ω内的行和列，Row表示灰度图像的总行数。
[0031]进一步地，所述步骤S22的具体步骤为：
[0032]步骤S221：将I
rgb
映射到HSV空间，得到彩色图像的HSV图像I
hsv
，定义I
h
为色调空间图像，I
s
为饱和度空间图像，I
v
为亮度空间图像；
[0033]步骤S222：根据绿色结构光的颜色特征确定在HSV空间中的阈值范围，采本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于双目视觉与线结构光的水下构筑物表观缺陷检测方法，其特征在于，包括以下步骤：步骤S1：采集csum组水下结构光标定板图像，对双目相机进行标定与校正，并解算结构光构成的光平面方程；步骤S2：获取n组构筑物表面双目图像，并对双目图像进行分析，确定结构光区域mask
roi
；步骤S3：从所述步骤S2中的结构光区域mask
roi
提取结构光中心线，对结构光中心线进行填补与拟合以获得完整的光条中心线；步骤S4：获取所述步骤S3中的光条中心线三维坐标；步骤S5：根据相机的运动轨迹，构建目标场景深度图；步骤S6：在构建的深度图基础上，实现目标区域的深度与宽度测量。2.根据权利要求1所述的基于双目视觉与线结构光的水下构筑物表观缺陷检测方法，其特征在于：所述步骤S1中解算结构光构成的光平面方程的步骤为：步骤S11：分别采用Steger算法提取校正后的左目和右目图像中的结构光中心线其中csum＞7，csum表示水下结构光标定板图像组数；利用极限约束法确定左右目图像中的结构光中心线对应的匹配点并计算匹配点对应的三维点云其中，其中，分别表示三维点云对应方向的坐标值，jc表示总的三维点云的个数；利用最小二乘算法对得到三维点云进行空间直线拟合得到第ic组双目图像的中心线三维坐标表达式其中x、y、z分别表示三维坐标中横坐标、纵坐标、竖坐标，竖坐标，为空间直线表达式的参数，由拟合过程得到；将代入直线中心线三维坐标表达式L
ic
，得到修正后的中心线三维点云其中步骤S12：重复所述步骤S11，获取所有组双目图像结构光中心线对应的中心线三维坐标表达式L
ic
,ic∈[1,csum]与修正后的中心线三维点云步骤S13：利用RANSAC算法拟合所有修正后的中心线三维点云得到结构光光平面表达式为Ax+By+Cz+D＝0，其中x、y、z分别表示三维坐标中横坐标、纵坐标、竖坐标；A、B、C、D为空间平面表达式系数，由拟合过程得到。3.根据权利要求1所述的基于双目视觉与线结构光的水下构筑物表观缺陷检测方法，其特征在于：从灰度空间和HSV空间两个角度分别对所述步骤S2中的构筑物表面图像进行分析，并确定结构光区域。4.根据权利要求3所述的基于双目视觉与线结构光的水下构筑物表观缺陷检测方法，其特征在于：从灰度空间和HSV空间两个角度分别对获得的构筑物表面双目图像进行分析，
并确定结构光区域，其具体步骤为：步骤S21：分别基于左目和右目的构筑物表面彩色图像I
rgb
的灰度空间，计算其图像双阈值，并分割得到基于灰度空间的结构光区域mask
gray
；步骤S22：分别将左目和右目的构筑物表面彩色图像I
rgb
映射到HSV空间，基于结构光光条的颜色特征分别对左目和右目的构筑物表面彩色图像I
rgb
进行分割得到基于HSV空间的结构光区域mask
hsv
。5.根据权利要求4所述的基于双目视觉与线结构光的水下构筑物表观缺陷检测方法，其特征在于，所述步骤S21的具体步骤为：步骤S211：将构筑物表面彩色图像I
rgb
映射到灰度空间，得到灰度图像I
gray
；步骤S212：统计灰度图像I
gray
的灰度直方图Img
hist
，根据公式(1)计算双阈值T
min
和T
max
；其中，I
d
表示灰度直方图中的最大灰度值，I
h
表示灰度直方图中最高波峰的灰度值，I
c
为根据光条宽度的下调值，阈值T
max
大于T
min
；步骤S213：根据双阈值实现灰度图像I
gray
的分割；将灰度值低于T
min
的像素设置为背景，灰度值大于T
max
的像素为光条区域，统计此时光条的像素个数N
pix
，并求平均值作为激光条纹宽度，其中N
row
为此时光条所占的行数；当图像灰度值位于双阈值中间时，根据公式(2)计算区域光条像素个数N
r
，当N
r
＞0.5l
width
时，这一部分像素属于结构光区域mask
gray
；其中，I(row,col)代表灰度图像I
gray
第row行，第col列的灰度值，ri和cj分别为设定的模板Ω内的行和列，Row表示灰度图像的总行数。6.根据权利要求4所述的基于双目视觉与线结构光的水下构筑物表观缺陷检测方法，其特征在于，所述步骤S22的具体步骤为：步骤S221：将I
rgb
映射到HSV空间，得到彩色图像的HSV图像I
hsv
，定义I
h
为色调空间图像，I
s
为饱和度空间图像，I
v
为亮度空间图像；步骤S222：根据绿色结构光的颜色特征确定在HSV空间中的阈值范围，采用公式(3)，提取出绿色光条，并利用形态学算法对提取的光条进行腐蚀和膨胀，提高光条区域的完整性得到基于HSV的光条分割图像mask
hsv
；35＜h
oi
＜77,43＜s
oi
＜255,46＜v
oi
＜255(3)其中，h
oi
表示像素点oi的色调，即在色调空间图像I
h
中的像素值；s
oi
表示像素点oi的饱和度，即在饱和度空间图像I
s
中的像素值；v
oi
表示像素点oi的色调，即在亮度空间图像I
v
中的像素值；步骤S223：在HSV空间中的分割结果mask
hsv
基础上，利用基于灰度空间的分割的结果mask
gray
对光条进行填补，得到更加完整的光条提取结果mask
roi
。7.根据权利要求6所述的基于双目视觉与线结构光的水下构筑物表观缺陷检测方法，
其特征在于：利用Steger算法提取所述步骤S3中的结构光中心线，并采用空洞填充算法对结构光中心线进行填补与拟合以获得完整的光条中心线。8.根据权利要求7所述的基于双目视觉与线结构光的水下构筑物表观缺陷检测方法，其特征在于，所述步骤S3的具体步骤为：步骤S31：采用Steger算法提取结构光中心线，并利用曼哈顿距离进行去噪处理；利用Steger算法从mask
roi
中提取结构光中心线，提取的结构光中心线被定义为L{(x
pp
,y
pp
)}，其中(x
pp
,y
pp
)表示结构光中心线上的一点，x
pp
为横坐标，y
pp
为纵坐标；根据曼哈顿距离公式来进行去噪处理；遍历结构光中心线上所有的点，计算对应的曼哈顿距离，当L{(x
pp
,y
pp
)}上的某点距离相邻两点的曼哈顿距离大于距离阈值th时，th的取值范围为10至15，将该点定义为噪声点，并基于其相邻两点线性插值将其更新；最后得到去噪处理之后得到光条中心线L
o
{(x
ip
,y
ip
)}，x
ip
为横坐标，y
ip
为纵坐标；步骤S32：根据结构光的分布特征，对光条进行二次优化；利用空洞填充算法对去噪处理后的光条中心线进行填补与拟合以获得完整的光条中心线；将需要填补的区域定义为四种类别：起点、连续断点、非连续断点以及终点，对于不同的断点，采用不同的算法进行填补；若待填补区域为起点，即当光条的起点(x0,y0)不在mask
roi
的上边缘时，需要填补(x0,y0)到mask
roi
上边缘的区域；延长线定义为l0:y
‑
y0＝k0·
(x
‑
x0)，其中k0为(x0,y0)和其相邻点(x1,y1)的连线的斜率，即x、y、z分别表示三维坐标中横坐标、纵坐标、竖坐标；若待填补区域为终点：与待填补区域为起点的算法相同，即当光条的终点(x
t
,y
t
)不在mask
hsv
的下边缘时，延长其到下边缘，延长线的斜率k
n
定义为(x
t
,y
t
)和(x
t
‑1,y
t
‑1)的斜率，即延长线为l
n
:y
‑
y
t
‑1＝k
n
·
(x
‑
x
t
‑1)；...

【专利技术属性】
技术研发人员：周亚琴，贾江灿，沈一伟，李庆武，吴艺，吴义文，常宸恺，钱一溪，
申请(专利权)人：河海大学，
类型：发明
国别省市：