【技术实现步骤摘要】
本专利技术涉及海上风电运维和计算机视觉，尤其公开了一种基于水下机器人的海上风电桩冲刷监测修复系统及方法。
技术介绍
1、风力发电作为一种清洁的可再生能源，正越来越受到世界各国的重视。与陆上风电相比，海上风电具有风资源好、不受土地使用限制、无视觉冲击、无噪声污染困扰等诸多优势，近年来日益成为国内外风电产业发展的新趋势。目前70％以上的海上风力机采用的是技术相对成熟的大直径单桩式基础作为支撑结构。单桩基础周围会在下降水、马蹄形漩涡、两侧加速流，尾部涡流的持续作用下形成冲刷坑，冲刷坑的形成会严重威胁风机的安全。故需要对海上风机固定基础冲刷进行监测和修复。
2、传统固定式的冲刷监测装置均需要在水下安装，施工运行成本高，可维护性差，并不适用于复杂的海洋环境。对于移动式冲刷监测有船载多波束测深系统定期出海测量，还有依赖于母船的遥控水下机器人(rov，remotely operated vehicle)搭载声呐对冲刷情况进行监测，存在检测设备成本高昂，且作业条件受限的问题。冲刷监测的目的主要是为了防止冲刷坑进一步扩大进而危害风机安全，所以在监测过程中有必要及时采取措施进行冲刷坑的修复，但现有研究缺乏集监测与修复冲刷坑于一体的技术，往往导致修复冲刷坑不及时。故亟需一种集监测与修复冲刷坑于一体的技术。
3、随着计算机视觉技术的发展，一种低成本监测冲刷深度的技术成为可能。被动式水下双目视觉测量技术主要集中应用在渔业领域，如专利cn111862048b专利技术了基于关键点检测和深度卷积神经网络的鱼体姿态与长度自动分析方法，利用
技术实现思路
1、本专利技术提供了一种基于水下机器人的海上风电桩冲刷监测修复系统及方法，目的在于提供一种集监测与修复冲刷坑于一体的技术方案，将被动式水下双目视觉测量技术结合深度学习技术引入海上风电桩冲刷监测领域，提出一种改进的图像增强方法及灭点检测方法，完成对冲刷坑深度的准确测量。
2、本专利技术的一方面涉及一种基于水下机器人的海上风电桩冲刷监测修复系统，包括履带式水下机器人和岸基端，履带式水下机器人和岸基端之间通过零浮力电缆连接；履带式水下机器人包括防水电子舱、动力模块、传感器模块、作业模块和照明灯；岸基端包括岸基端电力载波通信模块和显示屏，岸基端电力载波通信模块和显示屏之间通过网线连接；
3、防水电子舱包括控制模块、水下端电力载波通信模块、双目相机、上位机、二自由度摄像头云台、电池、电源管理模块；其中，控制模块作为下位机用于向动力模块、作业模块、照明灯发出控制指令，并接收来自传感器模块的数据和来自上位机的控制命令，水下端电力载波通信模块用于向岸基端传输实时图像及冲刷监测数据；双目相机用于获取图像信息；上位机运行冲刷深度识别算法，并下发指令至控制模块；二自由度摄像头云台用于调节双目相机的监测角度；电池用于向水下机器人各模块供电；电源管理模块用于给各个模块分配电源，并且提供过压过流保护和温度保护；
4、动力模块包括推进器和履带舵机；其中，推进器用于实现水下机器人浮游模式下的上浮、下潜、前进、后退、转艏和俯仰；履带舵机用于驱动履带链条转动实现爬行模式下的前进、后退和转艏；
5、传感器模块包括深度传感器和惯性测量单元；其中，深度传感器用于向控制模块发送深度信息实现定深闭环控制；惯性测量单元用于向控制模块发送艏向角和俯仰角信息实现定向闭环控制；
6、作业模块包括舵机、铲斗和铲臂；其中，舵机包括第一舵机和第二舵机，第一舵机与铲斗相连接，第一舵机用于驱动铲斗进行铲沙填坑；第二舵机与铲臂相连接，第二舵机用于驱动铲臂进行摆动辅助铲斗进行位置调整以更大效率进行铲沙填坑；
7、照明灯接收来自控制模块的pwm信号进行灯光亮度调节用于为双目相机获取图像提供照明；
8、岸基端电力载波通信模块用于接收来自水下端电力载波通信模块传输的实时图像及冲刷监测数据；显示屏用于显示实时图像及冲刷监测数据。
9、进一步地，控制模块为stm32控制模块。
10、进一步地，控制模块包括主控芯片，主控芯片的型号为stm32f103zet6。
11、进一步地，推进器由6个内置电调的直流无刷电机组成，其中2个电机组成垂直推进器，负责水下机器人浮游模式下的上浮和下潜，配合传感器模块中的深度传感器实现定深；另外4个电机组成水平推进器，负责水下机器人浮游模式下的前进、后退，配合传感器模块中的惯性测量单元实现转艏和俯仰。
12、本专利技术的另一方面涉及一种基于水下机器人的海上风电桩冲刷监测修复方法，应用于上述的基于水下机器人的海上风电桩冲刷监测修复系统中，基于水下机器人的海上风电桩冲刷监测修复方法包括以下步骤：
13、对海上风电桩基未发生冲刷时的原始海床线周身处进行标志，获取原始海床标记带；
14、采用双目相机标定并进行校正，获取不同视角、不同光照条件、不同冲刷形状和深度的冲刷坑图像，并进行图像预处理，对冲刷坑检测框进行标注和冲刷坑水-砂交界线进行最低点标注，划分训练集和验证集；
15、搭建目标检测网络模型，对冲刷坑形态进行目标检测；搭建关键点检测网络模型，对冲刷坑水-砂交界线最低点进行关键点检测；分别采用建目标检测网络模型和关键点检测网络模型对得到的训练集图像进行训练，并对验证集图像进行验证；
16、通过训练好的目标检测网络和关键点检测网络对进行校正后的双目相机获取的冲刷坑图像进行实时检测，在双目相机左视图的视频帧中分别输出目标检测框和关键点，关键点在目标检测框内；获取原始海床标记带的下边缘线；采用概率霍夫变换进行直线检测，将得到的线段拓展并合并，对线段排序并获取候选灭点，对候选灭点进行投票和聚类，使用票数加权更新候选灭点，选择票数最高的聚类中心作为灭点输出，获取桩基两侧边缘线的灭点，并剔除相关线段；
17、获取检测得到的冲刷坑水-砂交界线最低点像素坐标pl1(x1，y1)和桩基两侧边缘线的灭点，连接冲刷坑水-砂交界线最低点和桩基两侧边缘线的灭点，得到一条在现实物理三维空间中与桩基两侧边缘线平行的直线，将直线与原始海床标记带的下边缘线相交于一交点，交点为冲刷坑水-砂交界线最低点在原始海床标记带上的对应点像素坐标pl2(x2，y2)；
18、在双目相机左视图检测得到的冲刷坑水-砂交界线最低点像素坐标pl1(x1，y1)为中心构造设定大小的窗口，在双目相机右视图匹配出最佳的与窗口相应大小的区域本文档来自技高网...
【技术保护点】
1.一种基于水下机器人的海上风电桩冲刷监测修复系统，其特征在于，包括履带式水下机器人和岸基端，所述履带式水下机器人和岸基端之间通过零浮力电缆连接；所述履带式水下机器人包括防水电子舱、动力模块、传感器模块、作业模块和照明灯；所述岸基端包括岸基端电力载波通信模块和显示屏，所述岸基端电力载波通信模块和显示屏之间通过网线连接；
2.如权利要求1所述的基于水下机器人的海上风电桩冲刷监测修复系统，其特征在于，所述控制模块为STM32控制模块。
3.如权利要求1所述的基于水下机器人的海上风电桩冲刷监测修复系统，其特征在于，所述控制模块包括主控芯片，所述主控芯片的型号为STM32F103ZET6。
4.如权利要求1所述的基于水下机器人的海上风电桩冲刷监测修复系统，其特征在于，所述推进器由6个内置电调的直流无刷电机组成，其中2个电机组成垂直推进器，负责水下机器人浮游模式下的上浮和下潜，配合所述传感器模块中的深度传感器实现定深；另外4个电机组成水平推进器，负责水下机器人浮游模式下的前进、后退，配合所述传感器模块中的惯性测量单元实现转艏和俯仰。
5.一种
6.如权利要求5所述的基于水下机器人的海上风电桩冲刷监测修复方法，其特征在于，所述采用双目相机标定并进行校正，获取不同视角、不同光照条件、不同冲刷形状和深度的冲刷坑图像，并进行图像预处理，对冲刷坑检测框进行标注和冲刷坑水-砂交界线进行最低点标注，划分训练集和验证集的步骤中，利用张正友标定法在水下进行双目标定，所述张正友标定法通过拍摄不同视角、不同距离的一组30张棋盘格图像进行标定，得到双目相机的内参、外参以及畸变系数，所述校正利用双目相机立体校正算法进行极线校正，所述冲刷坑图像包括发生冲刷时的桩基-冲刷坑图像和无冲刷发生时的桩基图像，所述图像预处理包括图像扩充和图像增强，所述图像扩充手段为对图像进行水平镜像翻转；所述图像增强手段采用改进的多尺度色彩保留视网膜增强算法，所述多尺度色彩保留视网膜增强算法描述如下：
7.如权利要求5所述的基于水下机器人的海上风电桩冲刷监测修复方法，其特征在于，所述通过训练好的目标检测网络和关键点检测网络对进行校正后的双目相机获取的冲刷坑图像进行实时检测，在双目相机左视图的视频帧中分别输出目标检测框和关键点，关键点在目标检测框内；获取所述原始海床标记带的下边缘线；采用概率霍夫变换进行直线检测，将得到的线段拓展并合并，对线段排序并获取候选灭点，对候选灭点进行投票和聚类，使用票数加权更新候选灭点，选择票数最高的聚类中心作为灭点输出，获取桩基两侧边缘线的灭点，并剔除相关线段的步骤中，将RGB三通道彩色图像转换为灰度图像：
8.如权利要求5所述的基于水下机器人的海上风电桩冲刷监测修复方法，其特征在于，所述通过训练好的目标检测网络和关键点检测网络对进行校正后的双目相机获取的冲刷坑图像进行实时检测，在双目相机左视图的视频帧中分别输出目标检测框和关键点，关键点在目标检测框内；获取所述原始海床标记带的下边缘线；采用概率霍夫变换进行直线检测，将得到的线段拓展并合并，对线段排序并获取候选灭点，对候选灭点进行投票和聚类，使用票数加权更新候选灭点，选择票数最高的聚类中心作为灭点输出，获取桩基两侧边缘线的灭点，并剔除相关线段的步骤中，采用索贝尔算子计算图像中每个像素点的梯度强度和方向，应用非极大值抑制，以消除边缘检测带来的杂散响应，所述索贝尔算子采用4个方向的算子模板和所述自适应中值滤波图像卷积获取梯度信息，具体描述如下：
9.如权利要求5所述的基于水下机器人的海上风电桩冲刷监测修复方法，其特征在于，所述通过训练好的目标检测网络和关键点检测网络对进行校正后的双目相机获取的冲刷坑图像进行实时检测，在双目相机左视图的视频帧中分别输出目标检测框和关键点，关键点在目标检测框内；获取所述原始海床标记带的下边缘线；采用概率霍夫变换进行直线检测，将得到的线段拓展并合并，对线段排序并获取候选灭点，对候选灭点进行投票和聚类，使用票数加权更新候选灭点，选择票数最高的聚类中心作为灭点输出，获取桩基两侧边缘线的灭点，并剔除相关线段的步骤中，对候选灭点进行投票，具体操作为计算候选点c相邻线段I的中点与候选点c所连直线和原线段的夹角βI,c，投票值计算如下：
10.如权利要求5所述的基于水下机器人的海上风电桩冲刷监测修复方法，其特征在于，所述上位机获取最大冲刷坑深度数据值并执行填坑作业判断指令，自主驱动水下机器人进行填...
【技术特征摘要】
1.一种基于水下机器人的海上风电桩冲刷监测修复系统，其特征在于，包括履带式水下机器人和岸基端，所述履带式水下机器人和岸基端之间通过零浮力电缆连接；所述履带式水下机器人包括防水电子舱、动力模块、传感器模块、作业模块和照明灯；所述岸基端包括岸基端电力载波通信模块和显示屏，所述岸基端电力载波通信模块和显示屏之间通过网线连接；
2.如权利要求1所述的基于水下机器人的海上风电桩冲刷监测修复系统，其特征在于，所述控制模块为stm32控制模块。
3.如权利要求1所述的基于水下机器人的海上风电桩冲刷监测修复系统，其特征在于，所述控制模块包括主控芯片，所述主控芯片的型号为stm32f103zet6。
4.如权利要求1所述的基于水下机器人的海上风电桩冲刷监测修复系统，其特征在于，所述推进器由6个内置电调的直流无刷电机组成，其中2个电机组成垂直推进器，负责水下机器人浮游模式下的上浮和下潜，配合所述传感器模块中的深度传感器实现定深；另外4个电机组成水平推进器，负责水下机器人浮游模式下的前进、后退，配合所述传感器模块中的惯性测量单元实现转艏和俯仰。
5.一种基于水下机器人的海上风电桩冲刷监测修复方法，应用于如权利要求1至4任意一项所述的基于水下机器人的海上风电桩冲刷监测修复系统中，其特征在于，所述基于水下机器人的海上风电桩冲刷监测修复方法包括以下步骤：
6.如权利要求5所述的基于水下机器人的海上风电桩冲刷监测修复方法，其特征在于，所述采用双目相机标定并进行校正，获取不同视角、不同光照条件、不同冲刷形状和深度的冲刷坑图像，并进行图像预处理，对冲刷坑检测框进行标注和冲刷坑水-砂交界线进行最低点标注，划分训练集和验证集的步骤中，利用张正友标定法在水下进行双目标定，所述张正友标定法通过拍摄不同视角、不同距离的一组30张棋盘格图像进行标定，得到双目相机的内参、外参以及畸变系数，所述校正利用双目相机立体校正算法进行极线校正，所述冲刷坑图像包括发生冲刷时的桩基-冲刷坑图像和无冲刷发生时的桩基图像，所述图像预处理包括图像扩充和图像增强，所述图像扩充手段为对图像进行水平镜像翻转；所述图像增强手段采用改进的多尺度色彩保留视网膜增强算法，所述多尺度色彩保留视网膜增强算法描述如下：
7.如权利要求5所述的基于水下机器人的海上风电桩冲刷监测修复方法，其特征在于，所述通过训练好的目标检测网络和关键点检测网络对进行校正后的双目相机获取的冲刷坑图像进行实...
【专利技术属性】
技术研发人员：覃波，曾嘉俊，杨文献，宋洲沅，阳雪兵，
申请(专利权)人：湖南工程学院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。