一种用于水下机器人的多目视觉三维测量方法技术

本发明专利技术提供一种用于水下机器人的多目视觉三维测量方法包括：分别对单目摄像机和双目摄像机进行标定和畸变校正获得摄像机参数信息以及水下图像的每帧影像；获得水下清晰图像；将双目摄像机的左摄像机作为主摄像机，将主摄像机获取的帧输入目标海产品检测程序，得到目标海产品在像素坐标系中的位置；获得该目标海产品相对于以主摄像机为坐标原点的三维坐标；基于上述三维坐标导航AUV到目标海产品位置附近，对目标海产品的位置以及尺寸进行测算；根据获得的目标海产品位置控制机械臂运动，在机械臂运动的同时利用眼在手上的单目摄像机与目标海产品尺寸进行目标位置估计，并将得到的新三维坐标更新为机械臂运动终点，当机械臂运动到终点时抓取目标海产品。械臂运动到终点时抓取目标海产品。械臂运动到终点时抓取目标海产品。

【技术实现步骤摘要】
一种用于水下机器人的多目视觉三维测量方法


[0001]本专利技术涉及机器视觉
，具体而言，尤其一种用于水下机器人的多目视觉三维测量方法。

技术介绍

[0002]由于水下环境和海洋杂质对光线的折射、散射与吸收等因素的影响，水下目标三维位置测量问题通常不使用激光雷达等方式，而使用视觉的方式解决。具体到水下海产品捕捞，通常使用以下几种方法：使用单目摄像机与低自由度抓取臂的固定位置捕捞，此种捕捞技术假定所有待捕捞产品都位于较为平缓的海底，首先提前预估好抓取臂放下时，可抓取到物体在单目摄像机视野中的位置，当机器人贴地巡航时如果视野对应位置出现可抓取目标，则控制抓取臂进行设定好的抓取动作。使用双目摄像机与高自由度抓取臂的灵活位置捕捞。此种捕捞技术使用双目摄像机实时计算目标深度信息并换算成相对于抓取臂的坐标。使用泵吸式吸取器捕捞，此种捕捞技术使用吸水泵将目标物吸入捕捞箱。
[0003]然而对于使用低自由度抓取臂与单目摄像机的固定位置捕捞技术，由于能够进行抓取的位置是固定的，且水下机器人自身也有相当的体积，因此能够顺畅进行抓取的场景较少。对于使用高自由度抓取臂与双目摄像机的灵活位置捕捞技术，由于进行双目测量所需的计算时间较大而且抓取过程中经常出现机械臂遮挡双目视野导致匹配失效的问题，因此也需要进行改进。对于使用泵吸式吸取器的捕捞方式，虽然工作效率很高，但是极易对海床造成不可逆的伤害；而且由于大部分海产品柔软的特性，此种方法容易对海产品的质量造成损害。同时，在吸取海产品时，较大的吸力同时也会将泥沙碎石等一同吸入，他们之间的撞击会使机器受到损伤，也容易对海产品造成二次伤害。

技术实现思路

[0004]根据上述提出一种用于水下机器人的多目视觉三维测量方法，该方法可以解决水下自主捕捞机器人抓取目标物体时使用单目视觉时捕捞环境受限的缺陷，以及使用双目视觉时由于水下环境的特征信息缺失等带来的立体匹配准确率低、速度慢以及抓取过程中双目视觉被遮挡的问题；本专利技术采用的技术手段包括如下步骤：
[0005]分别对单目摄像机和双目摄像机进行标定和畸变校正获得摄像机参数信息，基于摄像机参数信息获取矫正后的水下图像的每帧影像；
[0006]对矫正后的水下图像进行预处理获得水下清晰图像；
[0007]将双目摄像机的左摄像机作为主摄像机，将主摄像机获取的水下清晰图像输入目标检测程序，得到在像素坐标系中的检测框位置；
[0008]采用双目摄像机对目标海产品进行距离测量，获得该目标海产品相对于以主摄像机为坐标原点的三维坐标；
[0009]基于上述三维坐标导航AUV到目标海产品位置附近，利用双目摄像机对目标海产品的精确位置以及尺寸进行测算；
[0010]根据获得的目标海产品位置控制机械臂运动，在机械臂运动的同时利用眼在手上的单目摄像机与目标海产品尺寸进行目标位置估计，并将得到的新三维坐标更新为机械臂运动终点，当机械臂运动到终点时抓取目标海产品。
[0011]设置最大视差值，将像素坐标系中的检测框位置向左扩展该最大视差值个像素，作为在双目摄像机右摄像机成像面上寻找同名点的范围；
[0012]在上述范围内应用AD
‑
Census立体匹配方法进行立体匹配，得到该范围内每一像素点对应的视差值并组成视差图；
[0013]根据标定得到的双目摄像机的基线距离计算所述视差图中每一像素点对应的以主摄像机为坐标原点的三维坐标：
[0014][0015]其中，D为某一方向上的实际距离，f为摄像机像素单位的焦距，disp为该点视差值，B为基线距离；
[0016]采用Garbcut算法将检测框位置作为算法的输入，分割出目标海产品的真实轮廓和所占像素点，并以掩膜的方式表示；
[0017]根据轮廓信息找到包围目标海产品的最小矩形区域，并得到该区域的四个角点的坐标从而获得最小外接矩形；
[0018]计算最小外接矩形四边的中点坐标并获得对应的世界坐标，获得目标海产品的尺寸大小，其中最小外接矩形与像素坐标的x轴的夹角即为目标海产品的姿态。
[0019]根据获得的目标海产品的三维坐标控制机械臂进行运动；
[0020]在机械臂运动的同时，利用眼在手上的单目摄像机与获得的目标海产品的长度信息，利用公式实时计算目标物的位置：
[0021][0022]其中d1,d2,l1,l2分别为目标物体两端点距离摄像机光心的垂直距离与水平距离，yaw,pitch分别为摄像机的俯仰角与偏航角，h1,h2分别为物体两端点摄像机内成像点与光心的垂直距离，H为摄像机距地面的高度，f为摄像机的焦距，Len为目标物的真实长度。
[0023]本专利技术提供的一种用于水下机器人的多目视觉三维测量方法，该方法在增加抓取臂灵活度的同时使用目标物的先验知识，通过计算规模更小的单目测距来对特定形状的水
下目标进行位置测算，最终使水下海产品自主抓取能在精度和速度上取得平衡。
附图说明
[0024]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做以简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0025]图1为本专利技术中公开的方法的总流程图；
[0026]图2为本专利技术中双目视觉系统测量目标物大小方法的流程图；
[0027]图3为本专利技术中双目视觉系统测量目标物大小方法中目标识别的示意图；
[0028]图4为本专利技术中双目视觉系统测量目标物大小方法中Grabcut算法目标分割的示意图；
[0029]图5为本专利技术中双目视觉系统测量目标物大小方法中最小外接矩形的示意图；
[0030]图6为本专利技术中双目视觉系统测量目标物大小方法中测量点计算的示意图；
[0031]图7为本专利技术中单目测距模型的简化立体示意图；
[0032]图8为本专利技术中单目测距模型的俯视示意图。
具体实施方式
[0033]为了使本
的人员更好地理解本专利技术方案，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分的实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本专利技术保护的范围。
[0034]需要说明的是，本专利技术的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本专利技术的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于水下机器人的多目视觉三维测量方法，其特征在于，包括：分别对单目摄像机和双目摄像机进行标定和畸变校正获得摄像机参数信息，基于摄像机参数信息获取矫正后的水下图像的每帧影像；对矫正后的水下图像进行预处理获得水下清晰图像；将双目摄像机的左摄像机作为主摄像机，将主摄像机获取的水下清晰图像输入目标检测程序，得到在像素坐标系中的检测框位置；采用双目摄像机对目标海产品进行距离测量，获得该目标海产品相对于以主摄像机为坐标原点的三维坐标；基于上述三维坐标导航AUV到目标海产品位置附近，利用双目摄像机对目标海产品的精确位置以及尺寸进行测算；根据获得的目标海产品位置控制机械臂运动，在机械臂运动的同时利用眼在手上的单目摄像机与目标海产品尺寸进行目标位置估计，并将得到的新三维坐标更新为机械臂运动终点，当机械臂运动到终点时抓取目标海产品。2.根据权利要求1所述的用于水下机器人的多目视觉三维测量方法，其特征在于：设置最大视差值，将像素坐标系中的检测框位置向左扩展该最大视差值个像素，作为在双目摄像机右摄像机成像面上寻找同名点的范围；在上述范围内应用AD
‑
Census立体匹配方法进行立体匹配，得到该范围内每一像素点对应的视差值并组成视差图；根据标定得到的双目摄像机的基线...

【专利技术属性】
技术研发人员：毕胜，游锦春，付先平，刘晓凯，金国华，
申请(专利权)人：大连海事大学，
类型：发明
国别省市：