一种基于关键特征的水下机器人对接单目视觉导引方法技术

本发明专利技术公开了一种实时精准的，并基于关键特征主动识别的水下机器人对接单目视觉导引方法，该方法由远端视觉引导与近端视觉引导两部分组成，在视觉作用远端时检测坞站外部机械装置关键点，视觉作用近端时通过预测坞站内部目标物关键特征来推断关键点所在位置。本发明专利技术设计了远端视觉引导方案，采用目标检测网络检测坞站机械装置关键点像素位置，并使用一种两步位姿估计法提高位姿解算的精度；设计了近端视觉引导方案，采用目标区域稠密矢量作为关键特征，并基于矢量投票和矢量投影的两步关键点位置估计方法提高关键点像素位置的准确度，进一步使用两步位姿估计法提高位姿解算精度。一步使用两步位姿估计法提高位姿解算精度。一步使用两步位姿估计法提高位姿解算精度。

【技术实现步骤摘要】
一种基于关键特征的水下机器人对接单目视觉导引方法


[0001]本专利技术属于水下机器人回收对接
，尤其涉及一种基于关键特征的水下机器人对接单目视觉导引方法。

技术介绍

[0002]大型水下移动平台在执行水下探测任务时，其庞大的结构和复杂的运动特性易受到地形的限制，移动平台搭载的水下机器人因其隐蔽性好和灵活性高，常代替移动平台进行水下作业任务。远海固定作业平台也常采用小型水下机器人开展附近海域的水下探测与开采作业，该作业平台会搭载固定静态回收装置来安置水下机器人。无论是移动平台对应的移动对接场景还是静态装置对应的固定对接场景，水下机器人均采用自身携带的电池供给能源，而水下回收对接技术能够使机器人在长时间水下作业后自主进入到回收平台中完成电池充电与信息交换等行为。视觉导引是回收对接的重要阶段，常采用视觉的方法获取机器人与目标的相对位置与姿态，并通过导航、路径规划和控制等模块实现水下自主对接。
[0003]目前机器人视觉导引方法通常采用灯阵的被动光学引导方案，这种方案采用水下引导灯组成的发光灯阵作为水下目标物，并通过视觉方法提取引导灯在图像中的像素位置，结合其先验3D坐标信息解算机器人与灯阵间的相对位姿。在实现本专利技术的过程中，专利技术人发现现有技术中至少存在如下问题：
[0004]1.水下漂浮物的干扰和水体的散射易导致视觉方法提取引导灯光中心存在误差；2.引导灯光自身特征较少，只能用于深海黑暗环境，当存在其他光源干扰时易导致引导灯中心关键点识别错误；3.引导灯超出相机视野后易导致关键点的缺失而无法解算相对位姿。

技术实现思路

[0005]针对现有技术的不足，本申请实施例的目的是提供一种基于关键特征的水下机器人对接单目视觉导引方法。
[0006]根据本申请实施例的第一方面，提供一种基于关键特征的水下机器人对接单目视觉导引方法，包括：
[0007]获取水下图像并进行预处理；
[0008]将预处理后的水下图像输入近端视觉导引的深度学习模型PVNet中以检测坞站内部的目标物所占的图像像素总数值；
[0009]若所述总数值小于等于预定阈值，则当前阶段为远端视觉引导，将预处理后的水下图像输入训练好的关键点检测网络，得到坞站外部关键点距离坞站中心的位置偏差，并计算得到所述坞站外部关键点所在的像素2D位置；将所述坞站外部关键点的像素2D位置结合其先验世界3D坐标形成点对映射；根据所述点对映射，利用两步位姿估计法得到坞站中心相对于机器人的姿态与位置；
[0010]若所述总数值大于预定阈值，则当前阶段为近端视觉引导，将预处理后的水下图
像输入训练好的关键特征检测网络，得到目标物的区域掩码图和单位矢量特征图，通过所述区域掩码图提取在所述单位矢量特征图中目标区域的单位矢量关键特征，其中所述目标区域为所述目标物在所述预处理后的水下图像中所占区域；根据目标区域的单位矢量关键特征，采用随机抽样一致性准则选取关键点的候选像素2D坐标和其内点集，采用矢量投影的的方式对所述内点集进行内点拟合得到优化的关键点的像素2D坐标；将优化的像素2D坐标和先验3D坐标形成点对映射；根据所述点对映射，利用两步位姿估计法中得到坞站内部目标物相对于机器人的位姿，并通过刚体变换转化为坞站中心相对于机器人的位姿；
[0011]根据坞站中心相对于机器人的位姿，规划水下机器人的路径并根据所述路径生成控制指令，以对所述水下机器人进行导引。
[0012]进一步地，所述关键点检测网络的训练过程包括：
[0013]获取第一训练集，其中所述第一训练集包括若干带有坞站外部关键点和中心点标识的图像以及每个图像对应的关键点位置真实值；
[0014]根据所述第一训练集，利用第一损失函数对所述关键点检测网络进行训练，其中所述第一损失函数Loss
far
为
[0015]Loss
far
＝λ
cls
Loss
cls
+λ
size
Loss
size
[0016][0017][0018]其中Loss
cls
指类别置信度损失，以真实坞站中心点的像素2D坐标为正样本Y
xyc
，而为所述关键点检测网络在(x，y，c)位置上预测得到的类别置信度值；Loss
size
为关键点偏差损失；N为正样本总数；α,β为温度系数，用于调节训练困难难易度的比例；为预测的位置偏差；为真实位置偏差。
[0019]进一步地，所述第一训练集的获取过程包括：
[0020]采用了labelme软件对采集的水下图像中的坞站外部角点和中心点进行人工标识；
[0021]对标识后的水下图像以中心点为坞站的类别点化表示，并计算得到角点相对中心点的偏差，作为所述坞站的关键点位置真实值。
[0022]进一步地，将预处理后的水下图像输入训练好的关键点检测网络，得到坞站外部关键点距离坞站中心的位置偏差，包括：
[0023]将预处理后的水下图像输入训练好的关键点检测网络，得到类别置信图和关键点偏差图；
[0024]在类别置信图中选取出具有最大得分的点，即为坞站中心点所在像素2D坐标，并以此像素2D坐标在关键点偏差图中的相同位置处提取得到各关键点偏差，通过中心点坐标和关键点偏差计算得到各关键点的像素2D坐标。
[0025]进一步地，所述关键点检测网络的训练过程包括：
[0026]获取第二训练集，其中所述第二训练集为若干带有目标物相对于机器人的姿态和位置真实值的图像；
[0027]根据所述第二训练集，利用第二损失函数对所述关键点检测网络进行训练，其中所述第二损失函数Loss为
[0028]Loss＝Loss
vertex
+Loss
mask
[0029][0030][0031][0032]式中，Loss
vertex
表示单位矢量图损失，p
i
∈O表示只对目标区域内的值做损失计算；Loss
mask
表示目标区域掩码图损失，采用交叉熵损失形式计算，其中表示第i个点预测得到的类别属于目标和背景的概率，y
i
表示该点的真实标签值；D为矢量图张量的维度总数；为真实单位矢量图；为预测单位矢量图；x
i
为真实矢量图和预测矢量图在第i个像素上的差值。
[0033]进一步地，所述第二训练集的获取过程包括：
[0034]采用opencv aruco库构建用于位姿标定的aruco标定板，并进行实物制作；
[0035]将坞站内部目标物置于标定板上，并以不同的姿态和位置对带有目标物的标定板进行图像采集；
[0036]对于采集得到的每张图像，使用opencv aruco库检测标定板上的二维码，根据所述二维码计算得到标定板原点相对于相机的位姿结果，以旋转矩阵和平移向量表示；
[0037]采用标定得到的旋转矩阵和平移向量本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于关键特征的水下机器人对接单目视觉导引方法，其特征在于，包括：获取水下图像并进行预处理；将预处理后的水下图像输入近端视觉导引的深度学习模型PVNet中以检测坞站内部的目标物所占的图像像素总数值；若所述总数值小于等于预定阈值，则当前阶段为远端视觉引导，将预处理后的水下图像输入训练好的关键点检测网络，得到坞站外部关键点距离坞站中心的位置偏差，并计算得到所述坞站外部关键点所在的像素2D位置；将所述坞站外部关键点的像素2D位置结合其先验世界3D坐标形成点对映射；根据所述点对映射，利用两步位姿估计法得到坞站中心相对于机器人的姿态与位置；若所述总数值大于预定阈值，则当前阶段为近端视觉引导，将预处理后的水下图像输入训练好的关键特征检测网络，得到目标物的区域掩码图和单位矢量特征图，通过所述区域掩码图提取在所述单位矢量特征图中目标区域的单位矢量关键特征，其中所述目标区域为所述目标物在所述预处理后的水下图像中所占区域；根据目标区域的单位矢量关键特征，采用随机抽样一致性准则选取关键点的候选像素2D坐标和其内点集，采用矢量投影的的方式对所述内点集进行内点拟合得到优化的关键点的像素2D坐标；将优化的像素2D坐标和先验3D坐标形成点对映射；根据所述点对映射，利用两步位姿估计法中得到坞站内部目标物相对于机器人的位姿，并通过刚体变换转化为坞站中心相对于机器人的位姿；根据坞站中心相对于机器人的位姿，规划水下机器人的路径并根据所述路径生成控制指令，以对所述水下机器人进行导引。2.根据权利要求1所述的方法，其特征在于，所述关键点检测网络的训练过程包括：获取第一训练集，其中所述第一训练集包括若干带有坞站外部关键点和中心点标识的图像以及每个图像对应的关键点位置真实值；根据所述第一训练集，利用第一损失函数对所述关键点检测网络进行训练，其中所述第一损失函数Loss
far
为Loss
far
＝λ
cls
Loss
cls
+λ
size
Loss
sizesize
其中Loss
cls
指类别置信度损失，以真实坞站中心点的像素2D坐标为正样本Y
xyc
，而为所述关键点检测网络在(x，y，c)位置上预测得到的类别置信度值；Loss
size
为关键点偏差损失；N为正样本总数；α,β为温度系数，用于调节训练困难难易度的比例；为预测的位置偏差；S
pk
为真实位置偏差。3.根据权利要求2所述的方法，其特征在于，所述第一训练集的获取过程包括：采用了labelme软件对采集的水下图像中的坞站外部角点和中心点进行人工标识；对标识后的水下图像以中心点为坞站的类别点化表示，并计算得到角点相对中心点的偏差，作为所述坞站的关键点位置真实值。
4.根据权利要求1所述的方法，其特征在于，将预处理后的水下图像输入训练好的关键点检测网络，得到坞站外部关键点距离坞站中心的位置偏差，包括：将预处理后的水下图像输入训练好的关键点检测网络，得到类别置信图和关键点偏差图；在类别置信图中选取出具有最大得分的点，即为坞站中心点所在像素2D坐标，并以此像素2D坐标在关键点偏差图中的相同位置处提取得到各关键点偏差，通过中心点坐标和关键点偏差计算得到各关键点的像素2D坐标。5.根据权利要求1所述的方法，其特征在于，所述关键点检测网络的训练过程包括：获取第二训练集，其中所述第二训练集为若干带有目标物相对于机器人的姿态和位置真实值的图像；根据所述第二训练集，利用第二损失函数对所述关键点检测网络进行训练，其中所述第二损失函数Loss为Loss＝Loss
vertex
+Loss
maskmaskmask
式中，Loss
vertex
表示单位矢量图损失，p
i
∈O表示只对目标区域内的值做损失计算；Loss
mask
表示目标区域掩码图损失，采用交叉熵损失形式计算，其中表示第i个点预测得到的类别属于目标和背景的概率，y
i
表示该点的真实标签值；D为矢量图张量的维度总数；为真实单位矢量图；为预测单位矢量图；x
i
为真实矢量图和预测矢量图在第i个像素上的差值。6.根据权利要求5所述的方法，其特征在于，所述第二训练集的获取过程包括：采用opencv aruco库构建用于位姿标定的aruco标定板，并进行实物制作；将坞站内部目标物置于标定板上，并以不同的姿态和位置对带有目标物的标定板进行图像采集；对于采集得到的每张图像，使用opencv aruco库检测标定板上的二维码，根据所述二维码计算得到标定板原点相对于相机的位姿结果，以旋转矩阵和平移向量表示；采用标定得到的旋转矩阵和平移向量，结合已知的目标物点云模型构建目标区域掩码图mask；对于采集图像标定得到的位姿集合，采样得到用于渲染的新旋转矩阵和新平移向量；以其他公开数据集的图片为背景图片，使用blender软件和所述目标点云模型，根据所述新旋转矩阵和新平移向量渲染得到用于增强的数据集图片；
将带有真实位姿结果的原始采集数据集划分为第二训练集和测试集，并将渲染的增强数据集加入至所述第二训练集中用于网络训练。7.根据权利要求1所述的方法，其特征在于，根据目标区域的单位矢量关键特征，采用随机抽样一致性准则选取关键点的候选像素2D坐标和其内点集，包括：(1)从所述目标区域的单位矢量关键特征的点集中选取若干组两两对应的点，对于对应的点根据其单位矢量关键特征计算两个单位矢量关键特征所在的直线：将所述两个单位矢量关键特征所在的直线的相交点作为第k个关键点的第i个假设点h
k,i
，从而得到假设点点集B，其中假设点h
k,i
根据下式得到(2)对所有假设点采用矢量投票进行RANSAC内点数统计：其中w
k,i
为第k个关键点的第i个假设点的投票数；为内积表达式；I为指示器函数，当满足函数括号内的不等式时，指示器函数输出为1，反之为0；ξ为阈值(3)对当前第k个关键点的所有假设点内点数进行...

【专利技术属性】
技术研发人员：徐元欣，马鑫奇，刘诚，陈首旭，曾庆锋，单文才，张彩宝，李心慧，陶子寅，王鹏，
申请(专利权)人：浙江大学，
类型：发明
国别省市：