一种基于深度神经网络的水下结构物体积量测方法技术

本发明专利技术涉及水下图像处理技术领域，且公开了一种基于深度神经网络的水下结构物体积量测方法，包括标定测算

【技术实现步骤摘要】
一种基于深度神经网络的水下结构物体积量测方法


[0001]本专利技术涉及水下图像处理
，具体为一种基于深度神经网络的水下结构物体积量测方法
。

技术介绍

[0002]水库大坝关系防洪安全
、
经济安全
、
生态安全与公共安全，其建设与安全修补一直是国内外坝工界研究的重点，目前，我国水库大坝建设水平世界领先对于大坝坝体的水下部分等水下结构物表面由于长时间处于高压水环境而产生的裂缝等表面缺陷，需要定期进行检测维修，对于此类情况现阶段主要依靠注浆等维修方式维修，然而，深水区域注浆方式价格昂贵且复杂；由此出现了一些使用水下机器人的修补方法，主要使用遥控无人潜水器或专用特种水下机器人进行缺陷目标的修补任务，机器人修补过程中带料体积要经过精细测算，在水域的不同深度中，水体环境复杂且差异较大，极大影响了机器人修补的效果和成本
。
[0003]针对此问题，随着信息化的发展，有必要提供一种基于深度神经网络的水下结构物体积量测方法，能够采用前沿基于深度神经网络以及图像处理算法的水下结构物缺陷体积进行量测，这一技术有效地提高了水下机器人工作的效率与安全性，同时缩减了大批人工开支
。

技术实现思路

[0004]为实现上述采用前沿基于深度神经网络以及图像处理算法对水下结构物缺陷体积进行量测的目的，本专利技术提供如下技术方案：
[0005]一种基于深度神经网络的水下结构物体积量测方法，所述量测方法包括如下步骤
[0006]S1、
标定测算：使用在线标定法对采集装置的相机进行标定；
[0007]S2、
图像数据采集：使用水下结构物缺陷采集装置采集水下结构物光学图像数据；
[0008]S3、
图像拼接处理：使用基于深度神经网络的水下图像拼接方法，对图像进行拼接；
[0009]S4、
模型量测：构造深度视觉测量模型，对拼接后的图像进行量测
。
[0010]根据上述技术特征，所述步骤
S1
中的在线标定法包括如下步骤：
[0011]a、
利用多任务学习的模式，训练卷积神经网络预测相机内参和外参；
[0012]b、
使用预训练的
Inception
‑
v3
作为特征提取器，然后使用
Lambda
层进行损失计算，有
13
个回归因子；
[0013]c、
使用
2D
到
3D
的投影作为水下相机的参数代理；
[0014]d、
相机校准的情况下，使用一个基于点的二维到三维投影的单一指标，对每个参数进行单独评估损失；
[0015]e、
通过预估参数，对水下机器人的检测模块的摄像模块，实现水下相机的在线标定
。
[0016]根据上述技术特征，所述步骤
S1
中的步骤
a
具体为，利用多任务学习的模式，训练卷积神经网络预测相机内参和外参，其中卷积神经网络的训练采用随机梯度优化器求得
—
批数据的损失函数，再求得这一批数据损失函数对应每一个权重的梯度，让权重按照梯度的反方向变化来优化权重，并引入
Nesterov
动量方法，在原先引入动量的随机梯度优化器上可以稍作改进，不求当前的梯度，而是假设按照速度方向更新，求得终点处的梯度与速度方向做矢量和以这个方向更新权重，从而更早感知到最低点
。
[0017]根据上述技术特征，所述步骤
S2
中，采用水下光学检测算法对水下结构物缺陷进行检测，首先通过图像归一化和图像清晰化算法对图像进行预处理操作，然后采用深度神经网络算法对管道内缺陷进行目标检测，并对目标分割，图像归一化和图像清晰化算法具体采用
SRResNet
模型
。
[0018]根据上述技术特征，所述步骤
S3
中，使用基于深度神经网络的水下图像拼接方法，对图像进行拼接，水下图像拼接方法采用的深度神经网络算法具体使用
BP
算法，分为正向传递数据，反向进行数据的更新，主要是去进行
—
些数据传递，分为3种层次，有输入层
(iputlayerQ)
，隐藏层
(hidden layer)
，输出层
(output layer)
，其中输入层和输出层均为1层，而隐藏层取决于具体实例的学习进程，设置为2‑
10
层
。
[0019]根据上述技术特征，所述步骤
S4
中，获取双目图像中匹配特征点对的坐标，并重建有效点三维点云，拟合有效点和平面，计算目标图像与相机成像的夹角，利用深度传播算法进行量测
。
[0020]根据上述技术特征，所述步骤
S4
中的深度传播算法具体采用
ANN
算法，分为输入层
、
隐藏层和输出层三类，当算法输出结果与目标结果出现误差时，算法会对误差值进行计算，然后通过反向传播将误差值反馈到隐藏层，通过修改相关参数进行调整，并不断重复此步骤，直到得出与预期相符的结果，可以让
ANN
算法推导更接近目标的结果，
ANN
算法具体的算法公式为：
[0021][0022]其中为预测结果，
y
i
为实际结果，
E
为输出结果
。
[0023]与现有技术相比，本专利技术提供了一种基于深度神经网络的水下结构物体积量测方法，具备以下有益效果：
[0024]利用多任务学习的模式，训练卷积神经网络预测相机内参和外参，并引入
Nesterov
动量方法，在原先引入动量的随机梯度优化器上可以稍作改进，使用一个基于点的二维到三维投影的单一指标，对每个参数进行单独评估损失，再通过预估参数，对水下机器人的检测模块的摄像模块，实现水下相机的在线标定；
[0025]通过图像归一化和图像清晰化算法对水下结构物缺陷采集装置采集水下结构物光学图像数据进行预处理操作，采用深度神经网络算法对管道内缺陷进行目标检测，并对目标分割，利用子像素卷积来放大图像，并以正向数据传播方法为通过矩阵的乘法来进行每一轮的数据传播，使用基于深度神经网络的水下图像拼接方法，对图像进行拼接；
[0026]通过获取双目图像中匹配特征点对的坐标，并重建有效点三维点云，拟合有效点和平面，计算目标图像与相机成像的夹角，利用深度传播算法采用
ANN
算法，分为输入层
、
隐
藏层和输出层三类，当算法输出结果与目标结果出现误差时，算法会对误差值进行计算，然后通过反向传播将误差值反馈到隐藏层，通过修改相关参数进行调整，并不断重复此步骤，直到得出与预期相符的结果进行量测；
[0027]采用训练卷本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种基于深度神经网络的水下结构物体积量测方法，其特征在于，所述量测方法包括如下步骤：
S1、
标定测算：使用在线标定法对采集装置的相机进行标定；
S2、
图像数据采集：使用水下结构物缺陷采集装置采集水下结构物光学图像数据；
S3、
图像拼接处理：使用基于深度神经网络的水下图像拼接方法，对图像进行拼接；
S4、
模型量测：构造深度视觉测量模型，对拼接后的图像进行量测
。2.
根据权利要求1所述的一种基于深度神经网络的水下结构物体积量测方法，其特征在于，所述步骤
S1
中的在线标定法包括如下步骤：
a、
利用多任务学习的模式，训练卷积神经网络预测相机内参和外参；
b、
使用预训练的
Inception
‑
v3
作为特征提取器，然后使用
Lambda
层进行损失计算，有
13
个回归因子；
c、
使用
2D
到
3D
的投影作为水下相机的参数代理；
d、
相机校准的情况下，使用一个基于点的二维到三维投影的单一指标，对每个参数进行单独评估损失；
e、
通过预估参数，对水下机器人的检测模块的摄像模块，实现水下相机的在线标定
。3.
根据权利要求2所述的一种基于深度神经网络的水下结构物体积量测方法，其特征在于，所述步骤
S1
中的步骤
a
具体为，利用多任务学习的模式，训练卷积神经网络预测相机内参和外参，其中卷积神经网络的训练采用随机梯度优化器求得
—
批数据的损失函数，再求得这一批数据损失函数对应每一个权重的梯度，让权重按照梯度的反方向变化来优化权重，并引入
Nesterov
动量方法，在原先引入动量的随机梯度优化器上可以稍作改进，不求当前的梯度，而是假设按照速度方向更新，求得终点处的梯度与速度方向做矢量和以这个方向更新权重，从而更早感知到最低点
。4.
根据权利要求2所述的一种基于深度神经网络的水下结构物体积量测方法，其特征在于，步骤
S1
中的步骤
b
具体为，使用预训练的
Inception
‑
v3
作为特征提取器，然后使用
Lambda
层进行损失计算，有
13
个回归因子，其中
10
个回归因子对应相机参数，另外3个回归因子对应三维点云
。5.
根据权利要求1所述的一种基于深度神经网络的水下结构物体积量测方法，其特征在于，所述步骤
S2
中，采用水下光学检测算法对水下结构物缺陷进行检测，首先通过图像归一化和图像清晰化算法对图像进行预处理操作，然后采用深度神经网络算法对管道内缺陷进行目标检测，并对目标分割，图像归一化和图像清晰化算法具体采用
SRResNet
模型
。6.
根据权利要求5所述的一种基于深度神经网络的水下结构物体积量测方法，其特征在于，所述步骤
S2
中的
SRResNet
模型利用子像素卷积来放大图像，具体的，在所示模型后面添加两个子像素卷积模块，每个子像素卷积模块使得输入图像放大2倍，这个模型最终可以将图像放大4倍，
SRResNet
模型具体的算法公式为：
...

【专利技术属性】
技术研发人员：孔善右，张辉，李琳琳，赵美玲，王国庆，
申请(专利权)人：江苏长田信息科技有限公司，
类型：发明
国别省市：