一种基于三维视觉的鱼缸清洗机器人运动控制装置及控制方法制造方法及图纸

本发明专利技术公开了一种基于三维视觉的鱼缸清洗机器人运动控制装置及控制方法，所述的控制装置包括前面板和后面板，前、后面板可组装在一起组成控制装置的外壳，在外壳内安装双目视觉模组，该双目视觉模组的镜头探出前面板外，此外还在外壳内安装电路板，在电路板上设置中央处理器CPU、图形处理器GPU和通信模组，上述的双目视觉模组、GPU和通信模组均与CPU电连接并受其控制，在后面板上安装为控制装置内各部件供电的电源接口。本发明专利技术所公开的控制装置，将计算机双目视觉技术和数字图像处理算法结合应用于对鱼缸清洗机器人的运动控制，可以标定鱼缸清洗机器人在鱼缸中的精确位置、距障碍物的距离、并判断其运动状态。

Motion control device and control method of fish tank cleaning robot based on 3D vision

【技术实现步骤摘要】
一种基于三维视觉的鱼缸清洗机器人运动控制装置及控制方法
本专利技术属于水下清洗机器人领域，特别涉及该领域中的一种基于三维视觉的鱼缸清洗机器人运动控制装置及控制方法。
技术介绍
现有的鱼缸清洗机器人分为两种：一种是依靠磁吸，机器人在鱼缸外，擦洗装置在鱼缸内，两者通过永磁体隔着玻璃吸在一起。这种机器人只能擦洗鱼缸的一面，无法自动换向，不能擦洗鱼缸底部。另一种是可以在鱼缸中像AUV一样自由运动，通过无线充电、无线通信进行能量补充和数据交互，在机器人本体上有陀螺仪、加速度计、出水检测电极、碰撞检测、距离检测、测速轮等传感器，主要用于感知机器人左、右两侧是否碰到玻璃，以确定转向时机；机器人是否到达水面或者触碰鱼缸底部；机器人在鱼缸壁上的运动速度，机器人转向时的转向角度等。第二种鱼缸机器人明显更加先进，但也存在以下缺点：1、机器人无法精确感知鱼缸中换水管、加热棒、假山、水草等障碍物所处的位置及距机器人的距离，不能够实现高成功率的避障；2、依靠惯性及碰撞开关、红外传感器等方法检测与鱼缸的相对位置，无法准确检测机器人在鱼缸中所处位置及距各个鱼缸壁的距离；3、在鱼缸较大时，机器人一次充入的电量不足以擦完鱼缸的一整块鱼缸壁，由于无法精确感知与鱼缸的相对位置，因此做不到精准的断点续擦；4、机器人在遇到鱼缸内循环水水流冲击等情况时会进入无法继续自动擦洗的受阻状态，无法做到自动判断和应对各种阻碍机器人运动的情况，适应性较差；5、机器人的传感器种类多，设计与装配工艺复杂，成本高，生产难度大。
技术实现思路
本专利技术所要解决的技术问题就是提供一种基于三维视觉的鱼缸清洗机器人运动控制装置及控制方法。本专利技术采用如下技术方案：一种基于三维视觉的鱼缸清洗机器人运动控制装置，其改进之处在于：所述的控制装置包括前面板和后面板，前、后面板可组装在一起组成控制装置的外壳，在外壳内安装双目视觉模组，该双目视觉模组的镜头探出前面板外，此外还在外壳内安装电路板，在电路板上设置中央处理器CPU、图形处理器GPU和通信模组，上述的双目视觉模组、GPU和通信模组均与CPU电连接并受其控制，在后面板上安装为控制装置内各部件供电的电源接口。进一步的，电路板上设置有用于加快视觉算法运算速度的芯片，所述的芯片包括但不限于图形处理器GPU和张量处理单元TPU。进一步的，所述的通信模组包括但不限于WIFI、4G和5G高带宽通信模组。一种控制方法，基于上述的控制装置，其改进之处在于，包括如下步骤：（1）将控制装置通过磁吸或者胶贴的方式，安装于鱼缸对面或者旁边的墙上，使控制装置的双目视觉模组可以观察到鱼缸全貌；（2）控制装置通过通信模组获取用户设定的鱼缸清洗机器人对鱼缸的擦洗轨迹；（3）控制装置通过双目视觉模组得到鱼缸的双目视觉图像，并基于该双目视觉图像建立坐标系；（4）标定鱼缸清洗机器人在鱼缸中的位置，鱼缸清洗机器人周围障碍物及充电座的位置，鱼缸清洗机器人距各鱼缸壁、周围障碍物及充电座的距离；（5）控制装置通过通信模组与充电座通信，确认鱼缸清洗机器人当前电量和电机是否故障；（6）控制装置根据用户设定的擦洗轨迹、鱼缸清洗机器人在鱼缸中的位置、距各鱼缸壁和周围障碍物的距离、是否卡住、鱼缸清洗机器人的当前电量，决定鱼缸清洗机器人执行擦洗、换面、避障、脱困、回充或断点续擦指令，通过通信模组将指令下发给充电座，再由充电座下发给鱼缸清洗机器人；（7）重复执行步骤（4）-（6），直至擦洗结束。进一步的，控制装置还可以通过通信模组与用户手机APP通信，上传鱼缸清洗机器人拍摄到的照片和鱼缸实时视频；充电座与鱼缸清洗机器人之间通过具有很强穿透力的低频段载波通信。进一步的，在步骤（2）中，擦洗轨迹为“弓字形”或“回字形”。进一步的，在步骤（3）中，建立坐标系是在鱼缸的任意3个顶部拐角夹持带有鲜艳颜色的夹子，在双目视觉图像中，通过颜色可标记夹子所在位置，从而得到鱼缸三个顶部拐角的位置，由于鱼缸的顶部形状为矩形，可推算出第四个顶部拐角的位置；使用双目视觉算法，即对图像进行失真矫正、L图像分割、R图像分割和特征提取后，通过共轭图像匹配和深度恢复算法，可将鱼缸的图像坐标变换到世界坐标下，从而测得鱼缸的长、宽、高，并定义鱼缸的某个底部拐角为坐标原点，完成后可取下夹子；如双目视觉模组与鱼缸的相对位置发生移动，需要重新建立坐标系。进一步的，在步骤（4）中，由于鱼缸清洗机器人的尺寸和颜色已知，因此可以对鱼缸中同样颜色、近似尺寸的物体进行比对，认为相似度最高的物体为鱼缸清洗机器人，提取鱼缸清洗机器人的外轮廓，通过双目视觉算法确定其外轮廓距离坐标系每个轴的最小距离，即可快速标定鱼缸清洗机器人在坐标系中的实际位置；对周围障碍物的识别是通过在坐标系内搜索连续的色块来实现的，对搜索到的色块进行轮廓提取，可基本判断障碍物类型，所述的障碍物类型包括但不限于换水管和加热棒，通过双目视觉算法确定障碍物轮廓距离坐标系每个轴的最小距离，以此标定障碍物在坐标系中的实际位置。进一步的，在步骤（6）中，鱼缸清洗机器人通过前进、后退、上升、下降、左移、右移、左转、右转、前翻、后翻、停止这十种动作来完成运动控制指令。进一步的，在步骤（6）中，若控制装置发现鱼缸清洗机器人一段时间无法按正常轨迹对鱼缸进行擦洗，且鱼缸清洗机器人电量正常，则判断为鱼缸摩擦力过大或遇到较强的循环水流，此时发出脱困指令，使鱼缸清洗机器人按正常轨迹仅移动不擦洗，移动一段距离后再尝试擦洗，如仍不能按正常轨迹对鱼缸进行擦洗则再仅移动不擦洗，如此往复，直到鱼缸清洗机器人可以继续按正常轨迹对鱼缸进行擦洗。本专利技术的有益效果是：本专利技术所公开的控制装置，将计算机双目视觉技术和数字图像处理算法结合应用于对鱼缸清洗机器人的运动控制，可以标定鱼缸清洗机器人在鱼缸中的精确位置、距障碍物的距离、并判断其运动状态。控制装置通过双目视觉模组感知鱼缸清洗机器人在鱼缸中所处的位置，无需再在鱼缸清洗机器人上安装碰撞开关、红外传感器、出水电极和测速轮等传感器，减少了鱼缸清洗机器人本体上的精密检测元件数量，降低了其设计、生产难度和故障率，从而节约制造成本、延长使用寿命，提升用户体验。本专利技术所公开的控制方法，通过对鱼缸清洗机器人在鱼缸中的位置检测和运动控制，形成对鱼缸清洗机器人的位置控制闭环，可以实现在无人值守的环境下控制鱼缸清洗机器人按照用户设定的擦洗轨迹完成对鱼缸内部四壁和底部的擦洗，对于各种内部环境各异、换水管及加热棒布置均不相同的鱼缸，具有极佳的环境适应性，对鱼缸内表面的擦洗覆盖率可达95%以上，具有极好的用户体验；对于尺寸较大的鱼缸，由于可以精确感知鱼缸清洗机器人的电量及其在鱼缸中所处的位置，故而可以实现自动回充和断点续擦，极大的提升了鱼缸清洗机器人对鱼缸尺寸的适应性，这是现有的鱼缸清洗机器人控制方法所无法达到的。本专利技术所公开的控制方法，通过双目视觉模组感知鱼缸清洗机器人在鱼缸中所处的位置及其与鱼缸中障碍物的距离，从而实现对鱼缸清洗机器人的精准本文档来自技高网...

【技术保护点】
1.一种基于三维视觉的鱼缸清洗机器人运动控制装置，其特征在于：所述的控制装置包括前面板和后面板，前、后面板可组装在一起组成控制装置的外壳，在外壳内安装双目视觉模组，该双目视觉模组的镜头探出前面板外，此外还在外壳内安装电路板，在电路板上设置中央处理器CPU、图形处理器GPU和通信模组，上述的双目视觉模组、GPU和通信模组均与CPU电连接并受其控制，在后面板上安装为控制装置内各部件供电的电源接口。/n

【技术特征摘要】
1.一种基于三维视觉的鱼缸清洗机器人运动控制装置，其特征在于：所述的控制装置包括前面板和后面板，前、后面板可组装在一起组成控制装置的外壳，在外壳内安装双目视觉模组，该双目视觉模组的镜头探出前面板外，此外还在外壳内安装电路板，在电路板上设置中央处理器CPU、图形处理器GPU和通信模组，上述的双目视觉模组、GPU和通信模组均与CPU电连接并受其控制，在后面板上安装为控制装置内各部件供电的电源接口。


2.根据权利要求1所述基于三维视觉的鱼缸清洗机器人运动控制装置，其特征在于：电路板上设置有用于加快视觉算法运算速度的芯片，所述的芯片包括但不限于图形处理器GPU和张量处理单元TPU。


3.根据权利要求1所述基于三维视觉的鱼缸清洗机器人运动控制装置，其特征在于：所述的通信模组包括但不限于WIFI、4G和5G高带宽通信模组。


4.一种控制方法，基于权利要求1所述的控制装置，其特征在于，包括如下步骤：
（1）将控制装置通过磁吸或者胶贴的方式，安装于鱼缸对面或者旁边的墙上，使控制装置的双目视觉模组可以观察到鱼缸全貌；
（2）控制装置通过通信模组获取用户设定的鱼缸清洗机器人对鱼缸的擦洗轨迹；
（3）控制装置通过双目视觉模组得到鱼缸的双目视觉图像，并基于该双目视觉图像建立坐标系；
（4）标定鱼缸清洗机器人在鱼缸中的位置，鱼缸清洗机器人周围障碍物及充电座的位置，鱼缸清洗机器人距各鱼缸壁、周围障碍物及充电座的距离；
（5）控制装置通过通信模组与充电座通信，确认鱼缸清洗机器人当前电量和电机是否故障；
（6）控制装置根据用户设定的擦洗轨迹、鱼缸清洗机器人在鱼缸中的位置、距各鱼缸壁和周围障碍物的距离、是否卡住、鱼缸清洗机器人的当前电量，决定鱼缸清洗机器人执行擦洗、换面、避障、脱困、回充或断点续擦指令，通过通信模组将指令下发给充电座，再由充电座下发给鱼缸清洗机器人；
（7）重复执行步骤（4）-（6），直至擦洗结束。


5.根据权利要求4所述的控制方法，其特征在于：控制装置还可以通过通信模组与用户手机APP通信，上传鱼缸清洗机器人拍摄到的照片和鱼缸实时视频；充电座与鱼缸清洗机器人之间通过具有很...

【专利技术属性】
技术研发人员：于敬东，江文亮，綦声波，
申请(专利权)人：青岛森科特智能仪器有限公司，
类型：发明
国别省市：山东;37