System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 一种面向水下焊接修复的自动化视觉损伤测量方法技术_技高网

一种面向水下焊接修复的自动化视觉损伤测量方法技术

技术编号:41156741 阅读:3 留言:0更新日期:2024-04-30 18:20
本发明专利技术提供了一种面向水下焊接修复的自动化视觉损伤测量方法,包括如下步骤:标定水下双目相机、内部双目相机、水下激光传感器、机械臂末端坐标系和机械臂底座坐标系外参;获取水下双目相机图像数据初步识别水下损伤区域位置,控制排水装置覆盖水下损伤区域并排空内部海水;机械臂末端移动到水下损伤区域上方目标位置;机械臂末端摆动,水下激光传感器和内部双目相机分别录制激光点云和双目图像数据,并逐帧时间对齐;运行基于水下激光传感器和内部双目相机融合的损伤识别及三维测量方法,输出水下损伤区域三维测量结果。该方法可实现自动化水下损伤区域高精度三维测量,大幅提高水下焊接修复自动化程度及效率,从而节约时间和经济成本。

【技术实现步骤摘要】

本专利技术涉及水下焊接,更具体地说,涉及一种面向水下焊接修复的自动化视觉损伤测量方法


技术介绍

1、在水下焊接修复机器人作业过程中,非稳态海水环境光场非平衡衰减、水下光照缺失等不利条件,直接导致水下环境目标识别能力差、损伤三维测量精度低等严重后果,水下焊接过程对位置的高精度需求对水下三维测量技术提出了新的挑战。水下三维测量技术根据所使用传感器的不同,可分为两大类:基于相机的方法和基于激光传感器的方法。

2、基于相机的方法,在计算机视觉领域,相机传感器常被用于目标三维测量,包括基于单/双目相机和基于rgb-d相机的三维测量技术,此类方法操作简便,传感器价格低廉,但精度不足。基于rgb-d的方法由于其直接的深度信息而比双目视觉方法具有更高的精度,其使用深度数据来跟踪相机的3d姿态,并实时重建物理场景的几何精确3d模型。现有基于相机的方法注重实时性能,精度不足,由于焊接修复的特殊性,其对实时性能的要求并不明显,而对精度要求极高。

3、基于激光传感器的方法,目前利用激光传感器数据进行三维测量的技术已经在智慧城市、古建筑与古文物保护、数字娱乐、地质研究等方面广泛应用,是近些年科研与生产上的热门。与基于相机方法不同的是,激光传感器直接获得三维特征点,因此极为适合焊接修复过程的损伤区域三维测量。然而,由于激光传感器不具备色彩信息,仅返回目标点的三维坐标和反射强度信息,导致基于激光传感器的三维测量方法难以与现有损伤检测手段相结合,加之现有激光传感器造价高昂,也鲜有可直接应用于水下环境的激光传感器产品。

4、总体来说,基于相机的水下三维测量方法具备传感器价格低、较为成熟等优势,但测量精度较低,无法满足水下焊接作业过程对损伤区域的高精度测量需求;基于激光传感器的测量方法造价昂贵,目前市场上成熟商品较少,不具备与水下损伤检测相结合的完整解决方案。将基于相机与基于激光传感器的水下三维测量方法相结合,是解决水下损伤区域高精度三维测量的理想途径,但目前该类技术结合方式仍处于空白。


技术实现思路

1、为克服现有技术中的缺点与不足,本专利技术的目的在于提供一种面向水下焊接修复的自动化视觉损伤测量方法;该方法可实现自动化水下损伤区域高精度三维测量,大幅提高水下焊接修复自动化程度及效率,从而节约时间和经济成本,推动复杂水下环境焊接修复向智能化、自动化发展。

2、为了达到上述目的,本专利技术通过下述技术方案予以实现:一种面向水下焊接修复的自动化视觉损伤测量方法,通过水下自动化视觉损伤测量系统实现;所述水下自动化视觉损伤测量系统包括排水装置,设置在排水装置外部的水下双目相机,带有机械臂末端、机械臂关节一、机械臂关节二、机械臂关节三、机械臂底座的机械臂,用于驱动机械臂末端的末端驱动电机,用于驱动机械臂关节一的机械臂关节一驱动电机,用于驱动机械臂关节二的机械臂关节二驱动电机,用于驱动机械臂关节三的机械臂关节三驱动电机,用于驱动机械臂底座的机械臂底座驱动电机,以及搭载在机械臂末端的水下激光传感器和内部双目相机;

3、面向水下焊接修复的自动化视觉损伤测量方法包括如下步骤:

4、s1、标定水下双目相机内参、水下双目相机与内部双目相机坐标系间的外参、内部双目相机与水下激光传感器坐标系间的外参,以及内部双目相机与机械臂末端坐标系和机械臂底座坐标系间的外参;

5、s2、获取水下双目相机图像数据,并利用预先训练好的损伤区域目标检测模型初步识别水下损伤区域位置,并获取水下损伤区域在机械臂底座坐标系下的位置;控制排水装置覆盖水下损伤区域并排空排水装置内部海水;

6、s3、控制机械臂关节二驱动电机、机械臂关节三驱动电机和机械臂底座驱动电机,使机械臂末端移动到水下损伤区域上方目标位置;

7、s4、分别控制机械臂关节一驱动电机和末端驱动电机,使机械臂末端分别以机械臂关节一驱动电机和末端驱动电机为轴摆动,水下激光传感器和内部双目相机分别录制激光点云和双目图像数据;将激光点云与双目图像数据进行逐帧时间对齐;

8、s5、运行基于水下激光传感器和内部双目相机融合的损伤识别及三维测量方法,输出水下损伤区域三维测量结果。

9、优选地,所述步骤s1包括如下步骤:

10、s11、在水下环境中,控制排水装置移动到上限位置,放置棋盘格标定板,使棋盘格标定板同时在水下双目相机和内部双目相机视野中;分别标定水下双目相机内参、水下双目相机到棋盘格标定板的外参和水下双目相机到棋盘格标定板的外参,获得水下双目相机与内部双目相机坐标系间的外参;

11、s12、在空气环境中,放置棋盘格标定板,使棋盘格标定板同时在内部双目相机和水下激光传感器视野中;标定内部双目相机内参,随后标定内部双目相机与水下激光传感器坐标系间的外参;

12、s13、在空气环境中,放置棋盘格标定板,标定内部双目相机与机械臂末端坐标系和机械臂底座坐标系间的外参。

13、优选地,所述步骤s2包括如下步骤:

14、s21、在运动过程中,获取水下双目相机图像数据并使用水下双目相机内参对图像数据进行畸变矫正;利用预先训练好的损伤区域目标检测模型初步识别水下损伤区域,获得水下损伤区域在水下双目相机坐标系下的位置;

15、s22、获取水下损伤区域在排水装置、内部双目相机、水下激光传感器坐标系下的位置:首先,利用水下双目相机与内部双目相机坐标系间的外参,将步骤s21获得的水下损伤区域位置转换到内部双目相机坐标系下;其次,利用内部双目相机与水下激光传感器坐标系间的外参,将水下损伤区域位置转换到水下激光传感器坐标系下;最后,利用内部双目相机与机械臂末端坐标系和机械臂底座坐标系间的外参,将水下损伤区域位置转换到机械臂底座坐标系下,以获取水下损伤区域在机械臂底座坐标系下的位置;

16、s23、控制水下焊接修复设备运动,使水下损伤区域在排水装置、内部双目相机、水下激光传感器覆盖范围内,控制排水装置下沉并排空内部海水。

17、优选地,所述步骤s3包括如下步骤:

18、s31、根据步骤s2获得的水下损伤区域在机械臂底座坐标系下的位置,规划机械臂末端目标位置,使内部双目相机处在水下损伤区域上方设定位置;

19、s32、利用机械臂关节二驱动电机、机械臂关节三驱动电机和机械臂底座驱动电机,控制机械臂末端移动到目标位置。

20、优选地,所述步骤s4包括如下步骤:

21、s41、控制机械臂关节一驱动电机,使机械臂末端带动水下激光传感器和内部双目相机以机械臂关节一驱动电机为轴,在设定角度范围内摆动,水下激光传感器和内部双目相机分别录制前后方向激光点云和双目图像数据;

22、s42、控制末端驱动电机,使机械臂末端带动水下激光传感器和内部双目相机以末端驱动电机为轴,在设定角度范围内摆动,水下激光传感器和内部双目相机分别录制左右方向激光点云和双目图像数据;

23、s43、将获取的激光点云及双目图像数据传本文档来自技高网...

【技术保护点】

1.一种面向水下焊接修复的自动化视觉损伤测量方法,其特征在于:通过水下自动化视觉损伤测量系统实现;所述水下自动化视觉损伤测量系统包括排水装置,设置在排水装置外部的水下双目相机,带有机械臂末端、机械臂关节一、机械臂关节二、机械臂关节三、机械臂底座的机械臂,用于驱动机械臂末端的末端驱动电机,用于驱动机械臂关节一的机械臂关节一驱动电机,用于驱动机械臂关节二的机械臂关节二驱动电机,用于驱动机械臂关节三的机械臂关节三驱动电机,用于驱动机械臂底座的机械臂底座驱动电机,以及搭载在机械臂末端的水下激光传感器和内部双目相机;

2.根据权利要求1所述的面向水下焊接修复的自动化视觉损伤测量方法,其特征在于:所述步骤S1包括如下步骤:

3.根据权利要求1所述的面向水下焊接修复的自动化视觉损伤测量方法,其特征在于:所述步骤S2包括如下步骤:

4.根据权利要求1所述的面向水下焊接修复的自动化视觉损伤测量方法,其特征在于:所述步骤S3包括如下步骤:

5.根据权利要求1所述的面向水下焊接修复的自动化视觉损伤测量方法,其特征在于:所述步骤S4包括如下步骤:

<p>6.根据权利要求5所述的面向水下焊接修复的自动化视觉损伤测量方法,其特征在于:所述步骤S41中,在设定角度范围内摆动是指,机械臂末端以机械臂关节一驱动电机为轴,以内部双目相机和水下激光传感器视野竖直向下为初始位置进行设定角度范围内的旋转运动;

7.根据权利要求1所述的面向水下焊接修复的自动化视觉损伤测量方法,其特征在于:所述步骤S5包括如下步骤:

8.根据权利要求7所述的面向水下焊接修复的自动化视觉损伤测量方法,其特征在于:所述步骤S55中,所述水下损伤区域三维测量结果是指水下损伤区域的具有颜色信息的三维点云,包括水下损伤区域的颜色、位置、形状轮廓信息。

9.根据权利要求7所述的面向水下焊接修复的自动化视觉损伤测量方法,其特征在于:所述步骤S51中,对步骤S4中每一帧激光点云数据进行帧间匹配是指,每一帧激光数据对应一帧具备三维信息的激光点云,使用NDT算法匹配相邻两帧激光点云间的相对位姿;所述位姿是指位置和姿态信息,包括X、Y、Z三个方向的平移信息和旋转信息;根据每一帧激光点云与前一帧激光点云的相对位姿,获取每一帧激光点云与第一帧激光点云的相对位姿;

10.根据权利要求9所述的面向水下焊接修复的自动化视觉损伤测量方法,其特征在于:所述步骤S55中,所述叠加是指,利用步骤S53中的机械臂末端姿态估计,获得步骤S54中每一帧三维点云相对于第一帧三维点云的外参,包括平移参数和旋转参数;利用每一帧三维点云相对于第一帧三维点云的外参进行三维旋转,将每一帧三维点云都转换到第一帧三维点云坐标系下并将所有点相加形成新点云;使用NDT算法将新点云进行三维细小栅格划分并将每个三维栅格中的所有点等效为一个点,从而形成最终的三维点云。

...

【技术特征摘要】

1.一种面向水下焊接修复的自动化视觉损伤测量方法,其特征在于:通过水下自动化视觉损伤测量系统实现;所述水下自动化视觉损伤测量系统包括排水装置,设置在排水装置外部的水下双目相机,带有机械臂末端、机械臂关节一、机械臂关节二、机械臂关节三、机械臂底座的机械臂,用于驱动机械臂末端的末端驱动电机,用于驱动机械臂关节一的机械臂关节一驱动电机,用于驱动机械臂关节二的机械臂关节二驱动电机,用于驱动机械臂关节三的机械臂关节三驱动电机,用于驱动机械臂底座的机械臂底座驱动电机,以及搭载在机械臂末端的水下激光传感器和内部双目相机;

2.根据权利要求1所述的面向水下焊接修复的自动化视觉损伤测量方法,其特征在于:所述步骤s1包括如下步骤:

3.根据权利要求1所述的面向水下焊接修复的自动化视觉损伤测量方法,其特征在于:所述步骤s2包括如下步骤:

4.根据权利要求1所述的面向水下焊接修复的自动化视觉损伤测量方法,其特征在于:所述步骤s3包括如下步骤:

5.根据权利要求1所述的面向水下焊接修复的自动化视觉损伤测量方法,其特征在于:所述步骤s4包括如下步骤:

6.根据权利要求5所述的面向水下焊接修复的自动化视觉损伤测量方法,其特征在于:所述步骤s41中,在设定角度范围内摆动是指,机械臂末端以机械臂关节一驱动电机为轴,以内部双目相机和水下激光传感器视野竖直向下为初始位置进行设定角度范围内的旋转运动;...

【专利技术属性】
技术研发人员:请求不公布姓名请求不公布姓名
申请(专利权)人:振海智能科技广州有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1