一种用于内窥镜握持机器人的自动冲洗内窥镜的装置及方法制造方法及图纸

本发明专利技术涉及内窥镜自动冲洗技术领域，更具体地，涉及一种用于内窥镜握持机器人的自动冲洗内窥镜的装置及方法。对手术中模糊的内窥镜，通过机械臂握持运动来进行自动清洗，在运动过程中，通过设定一系列目标节点，在相邻目标节点之间进行避障路径规划，实现了机械臂自动握持内窥镜运动从而进行自动清洗；通过内窥镜的模糊判断，在不需要人工参与的情况下，便能实现将内窥镜清洗干净。能实现将内窥镜清洗干净。能实现将内窥镜清洗干净。

【技术实现步骤摘要】
一种用于内窥镜握持机器人的自动冲洗内窥镜的装置及方法


[0001]本专利技术涉及内窥镜自动冲洗
，更具体地，涉及一种用于内窥镜握持机器人的自动冲洗内窥镜的装置及方法。

技术介绍

[0002]内窥镜的清晰过程不是简单的从一个点运动到另外一个点，而是一个较为复杂的过程：需要先将内窥镜从实施手术的腔道中退出，然后移动到水槽中进行清洗。清洗完后需要移动到擦拭布处将内窥镜头擦干，之后还需要判断镜头是否清洗干净，若还没清洗干净则需要再次清洗擦干。将镜头清洗干净之后，还需要将内窥镜重新插入手术腔道中。内窥镜清洗的场景是镜头被血液、体液等污染而造成画面模糊。在内窥镜清洗干净前，就无法获得清晰的内窥镜图像作为控制的依据。目前的内窥镜握持机器人均不能解决内窥镜的自动冲洗，实现内窥镜的清晰，均需要在人工的操作下完成内窥镜的冲洗。

技术实现思路

[0003]本专利技术为克服上述现有技术中的缺陷，提供一种用于内窥镜握持机器人的自动冲洗内窥镜的方法，可以在内窥镜图像模糊的情况下进行路径规划与移动，从而实现内窥镜的清洗。
[0004]为解决上述技术问题，本专利技术采用的技术方案是：一种用于内窥镜握持机器人的自动冲洗内窥镜的方法，包括以下步骤：
[0005]S1.手术开始前，在手术腔道内、腔道外、清洗盆处、擦拭布处以及擦拭布的上方设置目标节点；
[0006]S2.在手术室内架设深度相机，用于对内窥镜、机械臂、目标节点以及其它障碍物进行观察，分别找到它们的目标位置；
[0007]S3.在手术过程中，当内窥镜镜头被污染而造成图像模糊时，由操作者按下自动清洗的触发开关；
[0008]S4.工控机接收到触发信息，记录当前位置为腔道内节点，控制机械臂握持内窥镜后退，从腔道内退出；
[0009]S5.深度相机对内窥镜镜头进行观察，当识别到内窥镜镜头时，说明内窥镜已经完全从腔道内退出，到达腔道外节点；
[0010]S6.设定腔道外节点为起始点，清洗盆处为目标点，根据深度相机返回的节点位置信息以及障碍物的位置信息，工控机规划出内窥镜移动路径，再转换成机械臂的运动路径；之后由工控机发出指令，控制机械臂握持内窥镜到达清洗盆处，沾水清洗内窥镜；
[0011]S7.设定清洗盆处为起始点，擦拭布处为目标点，工控机规划出内窥镜移动路径，再转换成机械臂的运动路径；之后由工控机发出指令，控制机械臂握持内窥镜到达擦拭布，将镜头上的水擦去；
[0012]S8.设定擦拭布处为起始点，擦拭布上方为目标点，工控机规划出内窥镜移动路
径，再转换成机械臂的运动路径；之后由工控机发出指令，控制机械臂握持内窥镜到达擦拭布上方；
[0013]S9.在擦拭布上方对内窥镜图像进行模糊判断，若图像清晰，则说明清洗干净，进入下一步骤；若图像模糊，则说明未清洗干净，则将内窥镜再次移动到清水盆进行清洗，之后重复步骤S7至S9；
[0014]S10.设定擦拭布上方为起始点，腔道外处为目标点，工控机规划出内窥镜移动路径，再转换成机械臂的运动路径；之后由工控机发出指令，控制机械臂握持内窥镜到达腔道外；
[0015]S11.控制内窥镜重新进入腔道内节点，利用内窥镜图像控制镜头的伸入位置和角度，继续完成手术。
[0016]在本专利技术中，构建了一个包含内窥镜、深度相机、机械臂、工控机、清洗组件(清洗盆、擦拭布)这五个主要设备组成的系统。在手术腔道内(D)、腔道外(C)、清洗盆处(B)、擦拭布处(A)、擦拭布上方(E)分别设定目标节点。在手术室中架设深度相机对内窥镜、机械臂、几个目标节点以及其他障碍物进行观察，构建它们在立体空间的位置坐标。工控机采集内窥镜和深度相机的信息，根据路径规划结果对机械臂进行控制。用机械臂握持内窥镜，将内窥镜依次移至几个目标节点，对内窥镜进行清洗。在两个节点之间移动前，工控机根据节点中间的障碍物信息规划出避障的最短路径，再控制机械臂进行移动。同时，工控机根据内窥镜图像是否模糊决定是否再次进行清洗。清洗干净后，将内窥镜重新伸入手术腔道，让医生继续进行手术操作。
[0017]进一步的，深度相机获取物体位置时，具体包括以下步骤：
[0018]深度相机获取画面中的深度信息，将画面和深度信息一起传回给工控机；
[0019]工控机用语义分割算法分割出深度相机传回的画面中的物体，然后用深度估计算法估计出每个物体的深度；
[0020]以深度相机位置作为参考，根据每个物体的深度信息推算每个物体在空间坐标系中的坐标。
[0021]进一步的，在所述的步骤S5中，深度相机识别内窥镜是否完全退出至腔道外，具体包括以下步骤：
[0022]利用内窥镜镜头完整出现的照片和镜头没有完整出现的照片作为二分类训练样本，对神经网络进行训练；
[0023]在内窥镜退出腔道外的时候，利用训练好的二分类神经网络实时对深度相机返回的图像进行判断，判断内窥镜镜头在图像中是否完整出现；
[0024]当检测到完整的内窥镜镜头时，发出内窥镜已完整退出至腔道外的信号，让机械臂执行下一阶段的运动。
[0025]进一步的，工控机规划机械臂运动路径具体包括以下步骤：
[0026]利用深度相机获取物体位置的方案，获取机械臂、内窥镜和场景中各个物品的位置；
[0027]将清洗内窥镜的过程按照设定的节点拆分成几个小过程；对于每个小过程，输入内窥镜移动的起点和终点；
[0028]对于每个小过程，工控机根据起点和终点以及中间的障碍物信息，根据现有的路
径规划算法，规划出避开障碍物的机械臂的最短路径；
[0029]工控机将路径解算成机械臂的运动轨迹，发送指令控制机械臂进行移动；
[0030]移动过程中，深度相机实时采集物体的位置信息，工控机根据返回信息判断可能发生的碰撞，进而修正路径。
[0031]进一步的，对内窥镜的图像进行模糊判断具体包括以下步骤：
[0032]工控机用Sobel算子分别提取接收到的内窥镜图像水平和垂直方向的梯度，然后计算方差，求出图像的模糊分数；
[0033]判断该图像的模糊分数是否超过阈值，超过则判定为模糊图像；
[0034]当连续3秒的内窥镜图像都被判定为模糊图像时，判定当前内窥镜需要进行清洗。
[0035]本专利技术还提供一种用于内窥镜握持机器人的自动冲洗内窥镜的装置，包括：
[0036]目标节点设置模块：用于在手术开始前，在手术腔道内、腔道外、清洗盆处、擦拭布处以及擦拭布的上方设置目标节点；
[0037]深度相机：用于对内窥镜、机械臂、目标节点以及其它障碍物进行观察，分别找到它们的目标位置；
[0038]机械臂：用于握持内窥镜运动，与工控机连接并相互通信；
[0039]内窥镜：用于采集腔道内的图像并传递给工控机；
[0040]路径规划模块：用于根据深度相机、内窥镜采集的图像以及设置的目标节点的位置，规划机械臂的移动路径；
[0041]工控机：用于根据路径规划本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于内窥镜握持机器人的自动冲洗内窥镜的方法，其特征在于，包括以下步骤：S1.手术开始前，在手术腔道内、腔道外、清洗盆处、擦拭布处以及擦拭布的上方设置目标节点；S2.在手术室内架设深度相机，用于对内窥镜、机械臂、目标节点以及其它障碍物进行观察，分别找到它们的目标位置；S3.在手术过程中，当内窥镜镜头被污染而造成图像模糊时，由操作者按下自动清洗的触发开关；S4.工控机接收到触发信息，记录当前位置为腔道内节点，控制机械臂握持内窥镜后退，从腔道内退出；S5.深度相机对内窥镜镜头进行观察，当识别到内窥镜镜头时，说明内窥镜已经完全从腔道内退出，到达腔道外节点；S6.设定腔道外节点为起始点，清洗盆处为目标点，根据深度相机返回的节点位置信息以及障碍物的位置信息，工控机规划出内窥镜移动路径，再转换成机械臂的运动路径；之后由工控机发出指令，控制机械臂握持内窥镜到达清洗盆处，沾水清洗内窥镜；S7.设定清洗盆处为起始点，擦拭布处为目标点，工控机规划出内窥镜移动路径，再转换成机械臂的运动路径；之后由工控机发出指令，控制机械臂握持内窥镜到达擦拭布，将镜头上的水擦去；S8.设定擦拭布处为起始点，擦拭布上方为目标点，工控机规划出内窥镜移动路径，再转换成机械臂的运动路径；之后由工控机发出指令，控制机械臂握持内窥镜到达擦拭布上方；S9.在擦拭布上方对内窥镜图像进行模糊判断，若图像清晰，则说明清洗干净，进入下一步骤；若图像模糊，则说明未清洗干净，则将内窥镜再次移动到清水盆进行清洗，之后重复步骤S7至S9；S10.设定擦拭布上方为起始点，腔道外处为目标点，工控机规划出内窥镜移动路径，再转换成机械臂的运动路径；之后由工控机发出指令，控制机械臂握持内窥镜到达腔道外；S11.控制内窥镜重新进入腔道内节点，利用内窥镜图像控制镜头的伸入位置和角度，继续完成手术。2.根据权利要求1所述的用于内窥镜握持机器人的自动冲洗内窥镜的方法，其特征在于，深度相机获取物体位置时，具体包括以下步骤：深度相机获取画面中的深度信息，将画面和深度信息一起传回给工控机；工控机用语义分割算法分割出深度相机传回的画面中的物体，然后用深度估计算法估计出每个物体的深度；以深度相机位置作为参考，根据每个物体的深度信息推算每个物体在空间坐标系中的坐标。3.根据权利要求1所述的用于内窥镜握持机器人的自动冲洗内窥镜的方法，其特征在于，在所述的步骤S5中，深度相机识别内窥镜是否完全退出至腔道外，具体包括以下步骤：利用内窥镜镜头完整出现的照片和镜头没有完整出现的照片作为二分类训练样本，对神经网络进行训练；在内窥镜退出腔道外的时候，利用训练好的二分类神经网络实时对深度相机返回的图
像进行判断，判断内窥镜镜头在图像中是否完整出现；当检测到完整的内窥镜镜头时，发出内窥镜已完整退出至腔道外的信号，让机械臂执行下一阶段的运动。4.根据权利要求1所述的用于内窥镜握持机器人的自动冲洗内窥镜的方法，其特征在于，工控机规划机械臂运动路径具体包括以下步骤：利用深度相机获取物体位置的方案，获取机械臂、内窥镜和场景中各个物品的位置；将清洗内窥镜的过程按照设定的节点拆分成几个小过程；对于每个小过程，输入内窥镜移动的起点和终点；对于每个小过程，工控机根据起点和终点以及中间的障碍物信息，根据现有的路径规划算法，规划出避开障碍物的机械臂的最短路径；工控机将路径解算成机械臂的运动轨迹，发送指令控制机械臂进行移动；移动过程中，深度相机实时采集物体的位置信息，工控机根据返回信息判断可能发生的碰撞，进而修正路径。5.根据权利要求1所述的用于内窥镜握持机器人的自动冲洗内窥镜的方法，其特征在于，对内窥镜的图像进行模糊判断具体包括以下步骤：工控机用Sobel算子分别提取接收到的内窥镜图像水平和...

【专利技术属性】
技术研发人员：文卫平，黄凯，宋日辉，李健，谭志东，文译辉，
申请(专利权)人：中山大学，
类型：发明
国别省市：