一种清除原水管道中贝类的视觉机器人方法及其装置制造方法及图纸

本发明专利技术公开一种清除原水管道中贝类的视觉机器人方法及其装置，包括有机器人，在所述机器人的驱动手臂上设有清理装置，所述清理装置的前端分别设有粉碎装置以及双目视觉装置，还包括有控制器，所述双目视觉装置与所述控制器通讯连接，所述控制器分别与所述机器人、清理装置以及粉碎装置通讯连接，本发明专利技术具有控制方便且合理、清理效率高效、实用性强的优点，与现有的技术相比，能自动清除原水管中的贝类及其残骸，实现自动识别、粉碎、清理，提高效率，减少污染。

【技术实现步骤摘要】
一种清除原水管道中贝类的视觉机器人方法及其装置
本专利技术特别涉及一种清除原水管道中贝类的视觉机器人方法及其装置。
技术介绍
中国水坝数量站占世界总量的50％，在部分输水管道和取水管道内部表面存在贝类活性及其残骸的堆积物，如果这些堆积物叠加过多，影响管内输水，死贝类也会污染水源。因吸附力很强的贝类吸附在管道内部壁上，一方面人们从外部很难发现，另一方面无数的叠加活性贝类的吸附力很大，加上其它杂物，是管道清污中清除难题。为了减少管道内部壁叠加堆积生长的贝类，人们采取不同措施，包括吃贝类的鱼类、投放一定比例的药物杀死贝类、人工清理。这些方法效果欠佳，药物杀死和没有清理干净的死贝等堆积物依然造成污染。虽然国内外也有一些管道清理机器人，但是并没有精确地计算贝类物体的堆积体积，最大和沿管壁变化堆积物体与管道间的垂直距离，以通过检测计算确定最佳工具中心与目标的中心来有效地清除堆积体。对活性贝类及其残骸清除的视觉精确识别定位方法、机器人及装置创新专利技术仍然具有重要意义。因此急需一种清除原水管道中贝类的视觉机器人方法及其装置解决此问题。
技术实现思路
本专利技术的目的旨在提供一种仿生识别贝类及残骸等杂物的视觉检测系统与图像处理算法、贝类及残骸等对管道堵塞尺寸计算方法，专利技术仿型末端装置及视觉机器人自动清除贝类及其残骸，提高效率，减少污染。为实现上述专利技术的目的，提供一种清除原水管道中贝类的视觉机器人方法，它包括以下步骤：1)、利用双目视觉装置进行双目标定和调照；2)、利用双目视觉装置对贝类及杂物图像数据采集，并将数据传输至控制器；3)、利用控制器通过上述数据进行识别定位与导航的神经网络系统进行训练进行MaskRCNN模型的图像语义分割网络训练，进行边缘计算，点云分类网络训练，使得训练好的视觉导航的神经网络系统能识别的贝类在弧形管道中的空间位置；4)、获取管道内的图像：通过控制器控制所述机器人及清理装置的运动和定位；5)、因管道是圆周立体，寻找贝类吸附堆积最多的部位，开启双目视觉装置中的探照灯，使用双目立体视觉装置拍摄得到管道下部位置的左相机与右相机的贝类图像，左右图像进行双目校正，得到双目校正后的左右贝类图像；6)、图像分割：采用训练好且编程得到的MaskRCNN模型将双目校正后的左右贝类图像中的管道内分割出来；7)、通过视觉相机的测出最近距离的管道360度表面的贝类杂物堆积的体积；利于立体匹配算法对左右贝类图像进行三维重建，得到三维点云；然后利用模型准确找到管道内叠加堆积贝类的三维点云，寻找叠加贝类堆积的最大和最小体积，对最大体积的贝类堆积物，计算中心坐标；8)、基于视觉对贝类堆积物的定位，机器人使用粉碎装置对吸附在管道内的叠加贝类杂物进行钻绞；9)、利用清理装置将粉碎后的碎渣从原水管中取出，完成清理。作为优选地，步骤1中，所述双目视觉装置先对单目标定，得到每个摄像机的内参数矩阵与畸变系数矩阵；再对双目视觉装置进行双目标定，得到用于三维重建的重投影矩阵，以及像素距离与毫米距离的单位转换关系；针对道路内部的明暗度，进行LED光照调整，优化最佳光照，减少光照带来的噪声。作为优选地，步骤2中，利用视觉相机采集不同管道内外的贝类杂物的图像若干张，进行编程，实现自动标记。作为优选地，所述机器人的机械臂向前推进的同时，倒勾能把破碎下来的小块体积的贝类及碎渣向后拨铲，然后通过传输螺杆输送至外部。为更好地实现上述的一种清除原水管道中贝类的视觉机器人方法，本专利技术还提供一种清除原水管道中贝类的视觉机器人装置，包括有机器人，在所述机器人的驱动手臂上设有清理装置，所述清理装置的前端分别设有粉碎装置以及双目视觉装置，还包括有控制器，所述双目视觉装置与所述控制器通讯连接，所述控制器分别与所述机器人、清理装置以及粉碎装置通讯连接。作为优选地，所述双目视觉装置包括两个视觉相机以及探照灯。作为优选地，所述清理装置包括有电机以及设置在所述电机上的传输螺杆。作为优选地，所述传输螺杆的前部还设有用于清理碎渣的倒勾。本专利技术具有控制方便且合理、清理效率高效、实用性强的优点，与现有的技术相比，能自动清除原水管中的贝类及其残骸，实现自动识别、粉碎、清理，提高效率，减少污染。附图说明图1为本专利技术中贝类杂物算法与切断路径规划的流程图；图2为本专利技术中贝类杂物算法与清理路径规划的流程图；图3为本专利技术中视觉机器人的结构示意图；图4为原水管的剖视图。具体实施方式下面结合附图及实施例对本专利技术作进一步描述。参见图1-图4，一种清除原水管道中贝类的视觉机器人装置，包括有机器人1，在所述机器人1的驱动手臂上设有清理装置2，所述清理装置2的前端分别设有粉碎装置3以及双目视觉装置4，还包括有控制器，所述双目视觉装置4与所述控制器通讯连接，所述控制器分别与所述机器人1、清理装置2以及粉碎装置3通讯连接。所述双目视觉装置4包括两个视觉相机以及探照灯，用于除贝类过程中的图像采集、贝类杂物识别，管道弧形壁识别、障碍识别，仿形除贝类组合刀具的定位、机器人与距离测定。所述清理装置2包括有电机以及设置在所述电机上的传输螺杆。所述传输螺杆的前部还设有用于清理碎渣的倒勾。参见图4直径为小d的黄色小圆为粉碎装置3中刀具的直径，黑色为聚集性高粘性一起的贝类杂物。所述机器人本体1为多自由度机械臂及驱控一体伺服电机组成，机械臂能带动组合工具完成在X,Y,Z方向上的移动和运动。所述粉碎装置3包括前端钻头以及铣刀，前端的钻头直径小于铣刀外径，后端三面刃的铣刀为大直径形式，在2种刀具上均开有螺旋槽，刀具柄端轴设计为边缘内卷仿生齿式渐开线输送通道；已知原位管道为圆形，而贝类主要堆积在下半部分的圆上，钻头工作前先打开LED灯进行视觉测量，则通过视觉检测和计算贝类堆积的体积，每次计算出钻头或三面刃铣刀轴心坐标与管道内壁的垂直距离，发给控制系统，通过运动规划，钻头开始工作；钻头先在强依附堆叠在一体的贝类堆积上体先钻开一个孔口或缺口，然后旋转的三面刃铣刀在该孔处扩大，切下更多的贝类。粉碎装置3沿管道半圆弧线移动，工具不断地作进给运动完成半圆弧面的贝类层切断，切下叠加贝类块通过挤压沿边缘内卷仿生齿式渐开线输送通道向管道口方向移动，边缘内卷仿生齿能抓入切下的贝类杂物防止杂物掉落；当沿管道切下一定长度距离贝类物体及堆积物时，则末端执行机构通过移动返回到管道口带回大部分切下的贝类堆积块，将它们倒入杂物箱。然后在沿套管内滑动支架及工具的轴心向前移动进行第二次循环作业。参见图1-图3，一种清除原水管道中贝类的视觉机器人方法，包括视觉机器人装置，还包括以下步骤：步骤1、利用双目视觉装置4进行双目标定和调照；相机标定(可用自动标定的视觉系统)，标定后，设置好机械臂起始位置，则视觉相机的相对三维空间的位置也确定了，同时相机的像素单位就能转换成我们需要本文档来自技高网...

【技术保护点】
1.一种清除原水管道中贝类的视觉机器人方法，其特征在于：包括以下步骤：/n1)、利用双目视觉装置(4)进行双目标定和调照；/n2)、利用双目视觉装置(4)对贝类及杂物图像数据采集，并将数据传输至控制器；/n3)、利用控制器通过上述数据进行识别定位与导航的神经网络系统进行训练进行MaskRCNN模型的图像语义分割网络训练，进行边缘计算，点云分类网络训练，使得训练好的视觉导航的神经网络系统能识别的贝类在弧形管道中的空间位置；/n4)、获取管道内的图像：通过控制器控制所述机器人(1)及清理装置(2)的运动和定位；/n5)、因管道是圆周立体，寻找贝类吸附堆积最多的部位，开启双目视觉装置(4)中的探照灯，使用双目立体视觉装置拍摄得到管道下部位置的左相机与右相机的贝类图像，左右图像进行双目校正，得到双目校正后的左右贝类图像；/n6)、图像分割：采用训练好且编程得到的Mask RCNN模型将双目校正后的左右贝类图像中的管道内分割出来；/n7)、通过视觉相机的测出最近距离的管道360度表面的贝类杂物堆积的体积；/n利于立体匹配算法对左右贝类图像进行三维重建，得到三维点云；/n然后利用模型准确找到管道内叠加堆积贝类的三维点云，寻找叠加贝类堆积的最大和最小体积，对最大体积的贝类堆积物，计算中心坐标；/n8)、基于视觉对贝类堆积物的定位，机器人使用粉碎装置(3)对吸附在管道内的叠加贝类杂物进行钻绞；/n9)、利用清理装置(2)将粉碎后的碎渣从原水管中取出，完成清理。/n...

【技术特征摘要】
1.一种清除原水管道中贝类的视觉机器人方法，其特征在于：包括以下步骤：
1)、利用双目视觉装置(4)进行双目标定和调照；
2)、利用双目视觉装置(4)对贝类及杂物图像数据采集，并将数据传输至控制器；
3)、利用控制器通过上述数据进行识别定位与导航的神经网络系统进行训练进行MaskRCNN模型的图像语义分割网络训练，进行边缘计算，点云分类网络训练，使得训练好的视觉导航的神经网络系统能识别的贝类在弧形管道中的空间位置；
4)、获取管道内的图像：通过控制器控制所述机器人(1)及清理装置(2)的运动和定位；
5)、因管道是圆周立体，寻找贝类吸附堆积最多的部位，开启双目视觉装置(4)中的探照灯，使用双目立体视觉装置拍摄得到管道下部位置的左相机与右相机的贝类图像，左右图像进行双目校正，得到双目校正后的左右贝类图像；
6)、图像分割：采用训练好且编程得到的MaskRCNN模型将双目校正后的左右贝类图像中的管道内分割出来；
7)、通过视觉相机的测出最近距离的管道360度表面的贝类杂物堆积的体积；
利于立体匹配算法对左右贝类图像进行三维重建，得到三维点云；
然后利用模型准确找到管道内叠加堆积贝类的三维点云，寻找叠加贝类堆积的最大和最小体积，对最大体积的贝类堆积物，计算中心坐标；
8)、基于视觉对贝类堆积物的定位，机器人使用粉碎装置(3)对吸附在管道内的叠加贝类杂物进行钻绞；
9)、利用清理装置(2)将粉碎后的碎渣从原水管中取出，完成清理。


2.根据权利要求1所述的一种清除原水管道中贝类的视觉机器人方法，其特征在于：步骤1中，所述双目视觉装置(4)先对单目标定，得到每个摄像机...

【专利技术属性】
技术研发人员：唐昀超，丘嘉俊，吴东晓，孟繁，张芸齐，丘顺萍，刘俊辉，
申请(专利权)人：仲恺农业工程学院，
类型：发明
国别省市：广东;44