基于空间感知的可自主导向软式内镜控制方法技术

本发明专利技术涉及基于空间感知的可自主导向软式内镜控制方法，包括S1、获取单目内镜图像进行三维空间感知，得到环境空间深度图；S2、对环境空间深度图进行处理，提取导向路径并优化；S3、计算导向路径的几何信息，实现自适应导向控制。本发明专利技术具有对内镜工作环境的空间进行三维感知的能力；本发明专利技术具有适应内镜工作环境的空间结构的能力；在本发明专利技术的控制实施下可以实现较小的内镜输送力和更顺畅的内镜输送效果；本发明专利技术整体流程具有透明化，物理信息明确等优点。点。点。

【技术实现步骤摘要】
基于空间感知的可自主导向软式内镜控制方法


[0001]本专利技术属于医疗电子设备的控制方法领域，具体说是基于空间感知的可自主导向软式内镜控制方法。

技术介绍

[0002]机器人运动和器械控制是机器人内镜检查、内镜控制模拟以及内镜培训的基本问题。根据经验，自主内镜检查的主要挑战是空间感知受限导致的机动性受限。在器官腔体或模型腔体中的弯曲段(如图1中B)，由于近端组织对远处区域的遮挡，导致了操作的困难。因此，用于自主内镜导航策略应该感知管腔形状如何延展，以及决策内镜应该在何时何处以什么速度转向和输送。
[0003]内镜工作的腔内环境具有封闭的特点，其中内镜是唯一的光源(见图1)。基于这些认识，一类导航的方案是通过寻找视觉特征，如暗区通常被认为是指示行进方向的腔道中心。然而，因为检测暗区或管腔中心的方法只能在内镜图像上提供平面目标，无论组织状态如何，这类方法都只能指示机器人内镜转向而无法对输送进行更多调整。在这种情况下，内镜可能被过度转向到如图1中的
②
的位置，从而可能接触到组织。内镜与组织的接触可能导致输送不够平滑，从而产本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于空间感知的可自主导向软式内镜控制方法，其特征在于，包括以下步骤：S1、获取单目内镜图像进行三维空间感知，得到环境空间深度图；S2、对环境空间深度图进行处理，提取导向路径并优化；S3、计算导向路径的几何信息，实现自适应导向控制。2.根据权利要求1所述的基于空间感知的可自主导向软式内镜控制方法，其特征在于，所述获取单目内镜图像进行三维空间感知，得到环境空间深度图，采用端到端有监督的深度学习方法，包括以下步骤：所述端到端有监督的深度学习方法以单目内镜图像为输入，输出结果为同分辨率的逐像素深度图；训练时以合成单目内镜图像为输入，输出的深度图与合成真值深度图对比计算复合损失函数；训练时采用的训练数据，通过以下步骤得到：获取环境空间的三维模型；在环境空间中添加纹理，设置虚拟路径；让虚拟相机沿虚拟路径运动；通过脚本导出彩色图像和对应的深度数据。3.根据权利要求1所述的基于空间感知的可自主导向软式内镜控制方法，其特征在于，所述提取导向路径，包括以下步骤：选择离散系数和深度范围，将深度图体素化形成二值化的三维深度场网格；用数字拓扑方法对二值化的三维深度场网格进行迭代缩减，得到离散导向路径。4.根据权利要求1或3所述的基于空间感知的可自主导向软式内镜控制方法，其特征在于，所述提取导向路径，包括以下步骤：首先，基于深度转换函数对深度图D进行校正：对于深度图D上的点((i,j)
T
,d)，选择离散化分辨率参数S，则深度转换函数为：得到是拓扑图的内点；i、j表示点位置，d表示深度，d
max
、d
min
分别表示深度图的最大深度、最小深度，表示整数；然后，根据数字拓扑的定义，对内点集进行检验，删除部分不属于(26,6)拓扑图的点，得到所需要的数字拓扑图所述内点集为小于深度图上深度值的空间区域所对应的拓扑域网格集合；在内点集中得到锚点集所述锚点集为在拓扑图缩减中不能被移除的点的集合，用来约束导向路径的起止位置；锚点集需要包含两个点：相机中心点，即其中M和N分别为图像水平和垂直分辨率；目标点，选取深度最大的点，即其中X和Y分别表示对应d
max
的像素所在的图像坐标；通过迭代缩减过程构建导向路径5.根据权利要求4所述的基于空间感知的可自主导向软式内镜控制方法，其特征在于，
所述通过迭代缩减过程构建导向路径包括以下步骤：1)创建空的已删除集初始化路径为内点集2)在拓扑域上的6个邻域方向分别进行步骤3)；3)记当前邻域方向为dir，创建空的可删除集继续步骤4)；4)对每个拓扑域上不属于锚点集的点p，如果点p是dir方向的边界点和单点，则将点p添加到可删除集继续步骤5)；5)对每个可删除集中的点p，如果点p是单点，则将点p从路径中删除，将点p添加到已删除集通过步骤2)
‑
5)遍历6个邻域，继续步骤6)，否则返回步骤2)；6)如果已删除集为空则结束，此时得到路径为导向路径否则返回步骤1)。6.根据权利要求1所述的基于空间感知的可自主导向软式内镜控制方法，其特征在于，所述优化，包括以下步骤：将离散导向路径转换到深度图上表达，对深度应用校正函数进行处理；将校正后的离散点进行逆投影映射，得到空间中的离散中心点；对离散中心点进行平滑、拟合与重采样，获得优化的导向路径。7.根据权利要求1或6所述的基于空间感知的可自主导向软式内镜控制方法，其特征在于，所述优化，包括以下步骤：对于每个离散导向路径上的点使用深度转换逆函数：得到(i,j,d1)
T
∈L是深度图域D的点，构成深度图上的导向路径L
D
，其中d1是经过转换的深度；通过深度校正函数以减少非线性影响：其中，α是校正因子，通常取1.5，d2是经过校正的深度；然后，根据标准针孔相机模型，将深度图上的导向路径L
D
转换到相机空间的导向路径的导向路径其中，...

【专利技术属性】
技术研发人员：请求不公布姓名，
申请(专利权)人：沈阳术驰医疗科技有限公司，
类型：发明
国别省市：