【技术实现步骤摘要】
【国外来华专利技术】
本公开整体涉及用于医疗器械的导航和跟踪的系统和方法，并且更具体地涉及用于内腔网络内的器械的导航的基于图像的检测和定位。相关技术医疗规程诸如内窥镜检查(例如，支气管镜检查)可涉及出于诊断和/或治疗目的而进入患者的内腔(例如，气道)的内部并使其可视化。在规程期间，可将柔性管状工具或器械诸如内窥镜插入患者体内。在一些情况下，可将第二器械穿过内窥镜至所识别的组织部位以进行诊断和/或治疗。支气管镜检查是允许医师检查患者的肺中的气道诸如支气管和细支气管的内部状况的医疗规程。在医疗规程期间，可将细的柔性管状工具或器械(称为支气管镜)插入患者的口中并向下穿过患者的喉道至其肺气道中，朝向所识别的组织部位，以进行后续诊断和治疗。支气管镜可具有提供通向组织部位的通路的内部内腔(“工作通道”)，并且导管和各种医疗工具可通过该工作通道插入组织部位。在一些医疗规程中，人类操作员控制或机器人使能的系统可用于控制所使用的器械的插入和/或操纵。机器人使能的医疗系统可包括至少一个机器人臂或其他器械定位装置，该至少一个机器人臂或其他器械定位装置包括用于在规程期间控制器械的定位的操纵器组件。
技术介绍
技术实现思路
1、机器人使能的医疗系统可被配置用于在医疗或外科规程期间跟踪和导航器械。系统可用于执行多种规程，包括微创规程(例如，腹腔镜检查)和非侵入规程(例如，内窥镜检查)两者。在内窥镜检查规程中，系统可用于执行支气管镜检查、输尿管镜检查、肠胃病学等。在此类规程期间，医师可引导器械通过患者的内腔网络。内腔网络可包括多个分支内腔(诸如
2、机器人使能的医疗系统可包括用于在内腔网络内定位和/或引导医疗器械的定位系统(也称为导航系统)。在一些实施方案中，定位系统可确定或估计器械在内腔网络内的位置和/或取向。定位系统可接收和处理各种类型的定位或位置数据以确定器械的位置和/或取向。例如，定位系统可处理图像数据、电磁(em)数据、运动学数据、惯性测量数据、形状感测数据等以确定器械的位置。定位系统可从这些数据输入中的一个或组合导出或估计器械的位置。
3、例如，当器械移动通过内腔网络时，定位系统可使用包括由器械上的em传感器生成的em数据的数据输入的组合来确定器械的位置和取向。基于em数据的导航可提供器械末端的实时六个自由度(6dof)姿态，而不管相机的图像质量如何。然而，em导航和跟踪的准确性取决于em场坐标系与相关联的坐标系(诸如从术前ct图像导出的计算机断层扫描(ct)坐标系)之间的良好初始配准。此外，由于由手术室中的金属器械和ct扫描器引起的铁磁干扰，em读数可能是有噪声的和失真的。此外，当存在大的呼吸运动影响时，尤其是在外围内腔(例如，气道)处，由em跟踪估计的器械姿态的准确性可能受到损害。不准确的器械姿态估计可能导致诸如深度失配、虚拟内腔视图中的不正确滚动或导航失败的问题。当这种情况发生时，由于定位系统所使用的em数据输入，所确定的器械的位置和/或取向可能是不可靠的。如果所确定的位置正被显示给医师，则当定位系统尝试确定位置和取向时，医师可能感知到位置和/或取向的不准确。
4、本文描述的跟踪和导航方法和系统可用于例如减少、减轻或消除基于em的定位中的缺点。在一个示例中，这可通过基于视觉的方法来实现，该方法基于视频图像数据和至少部分地从术前ct扫描确定的一个或多个内腔模型来估计ct空间中的6dof相机姿态。表征内腔结构的第一模型可至少部分地根据可见内腔的视频图像来确定。可至少部分地根据ct扫描来生成多个第二模型。来自多个第二模型的具有与第一模型的最高形状相似性的候选模型可用于生成示出器械在内腔内的位置和取向的定位相机姿态。这种相机姿态可为医师提供改进的体验，从而改进对机器人使能的医疗系统的控制。
5、所描述的用于确定或估计器械在内腔网络内的位置的系统、装置和方法还可促进基于使用窥镜装置或其他医疗器械获得的各种解剖特征的图像来识别和跟踪这些特征。例如，这种特征识别和/或跟踪可促进结合医疗规程(诸如支气管镜检查或接近支气管解剖结构的其他规程)对特定解剖特征的瞄准。本公开的系统、方法和装置各自具有若干创新方面，这些创新方面中没有一个独自负责本文所公开的期望属性。
6、在一个方面，本专利技术涉及一种生成表示内部解剖结构内的空间位置的相机姿态的方法。该方法包括：至少部分地基于表示内部解剖结构的图像数据来确定表征内部解剖结构的第一深度图；至少部分地基于计算机断层扫描(ct)图像数据来生成多个第二深度图，该第二深度图中的每个第二深度图表示内部解剖结构的虚拟模型；识别多个第二深度图中的与第一深度图具有最高形状相似性的一个第二深度图；以及至少部分地基于多个第二深度图中的所识别的一个第二深度图来生成相机姿态。
7、该方法还可包括使用卷积神经网络(cnn)从视频图像数据确定第一深度图。在另一实施方案中，该方法还包括通过求解内部解剖结构的虚拟模型的3d点云与从第一深度图反向投影的点云之间的变换矩阵来估计相机姿态参数。在一个示例中，采用卷积神经网络(cnn)来求解变换矩阵并且估计相机姿态参数。在另一示例中，估计相机姿态参数还包括使用第一深度图来识别多个第二深度图中的一个第二深度图中的期望位置，该期望位置对应于一个或多个视频图像中的位置。
8、在一些实施方案中，生成多个第二深度图并且识别多个第二深度图中的表示期望位置的一个第二深度图是迭代或连续过程。例如，迭代过程可包括使用先前迭代的多个第二深度图中的一个第二深度图来初始化生成多个第二深度图。在其他实施方案中，该方法还包括使用多个虚拟相机姿态来生成多个第二深度图。
9、在实施方案中，相机姿态包括表示内部解剖结构内的物理空间位置的虚拟空间估计。在实施方案中，该方法还可包括在相对于ct图像数据的坐标中定义相机姿态。
10、在另一方面，本专利技术涉及一种生成表示支气管气道内的空间位置的相机姿态的方法。该方法包括：至少部分地基于表示支气管气道的内部解剖形状结构的视频图像数据来确定表征支气管气道的内部解剖形状结构的第一深度图；根据表示支气管气道的内部解剖形状结构的计算机断层扫描(ct)图像数据来生成表示支气管气道内的估计位置和取向的虚拟相机姿态；至少部分地基于该虚拟相机姿态来生成多个第二深度图，该第二深度图中的每个第二深度图表示支气管气道的内部解剖形状结构的虚拟模型；识别多个第二深度图中的与第一深度图具有最高形状相似性的一个第二深度图；以及至少部分地基于多个第二深度图中的所识别的一个第二深度图来生成表示在支气管气道内具有六个自由度(6dof)的位置和取向的相机姿态。
11、该方法还可包括利用执行域自适应的卷积神经网络(cnn)使用视频图像数据来形成第一深度图。在一个示例中，该方法还可包括由cnn通过使视频图像数据与对应的第一深度图成对而利用监督学习来学习映射函数，其中第一深度图形成为视频图像数据的函数。在另一示例中，该方法还可包括由cnn利用带有不需要成对数据的循环一致性的无监督生成对抗学习来学习映射本文档来自技高网...
【技术保护点】
1.一种生成表示内部解剖结构内的空间位置的相机姿态的方法，包括：
2.根据权利要求1所述的方法，还包括使用卷积神经网络(CNN)从视频图像数据来确定所述第一深度图。
3.根据权利要求2所述的方法，还包括通过求解所述内部解剖结构的所述虚拟模型的3D点云与从所述第一深度图反向投影的点云之间的变换矩阵来估计相机姿态参数。
4.根据权利要求3所述的方法，其中，采用卷积神经网络(CNN)来求解所述变换矩阵并且估计所述相机姿态参数。
5.根据权利要求3所述的方法，还包括使用所述第一深度图来识别所述多个第二深度图中的所述一个第二深度图中的期望位置，所述期望位置对应于一个或多个视频图像中的位置。
6.根据权利要求1所述的方法，其中，所述生成所述多个第二深度图以及所述识别所述多个第二深度图中的一个第二深度图是迭代或连续过程。
7.根据权利要求6所述的方法，其中，所述迭代过程包括使用先前迭代的所述多个第二深度图中的一个第二深度图的所述相机姿态来初始化生成所述多个第二深度图。
8.根据权利要求1所述的方法，还包括使用多
9.根据权利要求1所述的方法，其中，所述相机姿态包括表示所述内部解剖结构内的物理空间位置的虚拟空间估计。
10.根据权利要求9所述的方法，还包括在相对于CT图像数据的坐标中定义所述相机姿态。
11.一种生成表示支气管气道内的空间位置的相机姿态的方法，包括：
12.根据权利要求11所述的方法，还包括利用执行域自适应的卷积神经网络(CNN)使用所述视频图像数据来形成所述第一深度图。
13.根据权利要求12所述的方法，还包括由所述CNN通过使视频图像数据与对应的第一深度图成对而利用监督学习来学习映射函数，其中，所述第一深度图形成为所述视频图像数据的函数。
14.根据权利要求12所述的方法，还包括由所述CNN利用带有不需要成对数据的循环一致性的无监督生成对抗学习来学习映射函数，其中，所述第一深度图形成为所述视频图像数据的函数。
15.根据权利要求12所述的方法，还包括相对于所述第一深度图预先计算由成对的第二深度图和虚拟相机姿态组成的数据集。
16.根据权利要求15所述的方法，还包括应用图像配准技术来找到相对于所述数据集具有与所述第一深度图的最高形状相似性的候选第二深度图。
17.根据权利要求16所述的方法，还包括使用所述候选第二深度图的虚拟相机姿态值作为所述相机姿态或作为候选虚拟相机姿态的初始值，以迭代地生成接下来的多个第二深度图。
18.根据权利要求16所述的方法，还包括通过将所述候选第二深度图和所述第一深度图传递到空间变换网络中来估计所述候选第二深度图与所述第一深度图之间的相对姿态，所述空间变换网络被配置为回归所述候选第二深度图与所述第一深度图之间的相对变换。
19.一种医疗系统，包括：
20.根据权利要求19所述的医疗系统，其中，所述控制电路进一步被配置为利用第一点云来表示所述第一深度图并且利用第二点云来表示所述多个第二深度图中的第二深度图。
21.根据权利要求20所述的医疗系统，其中，所述控制电路进一步被配置为使用第一神经网络至少部分地基于所述第一点云和所述第二点云来确定深度几何特征。
22.根据权利要求21所述的医疗系统，其中，所述控制电路进一步被配置为在所述第一点云的多个关键点与所述第二点云的相关联的多个关键点之间建立逐点对应关系。
23.根据权利要求22所述的医疗系统，其中，所述控制电路进一步被配置为通过使用第二神经网络在共享特征空间中搜索来建立所述逐点对应关系，所述共享特征空间相对于所述深度几何特征。
24.根据权利要求22所述的医疗系统，其中，所述控制电路进一步被配置为将所述逐点对应关系传递到另一网络中以输出第二逐点对应关系。
25.根据权利要求24所述的医疗系统，其中，所述另一网络包括可区分的随机样本一致性(RANSAC)网络。
26.根据权利要求24所述的医疗系统，其中，所述控制电路进一步被配置为至少部分地基于所述第二逐点对应关系来生成所述相机姿态。
27.一种医疗系统，包括：
28.根据权利要求27所述的医疗系统，还包括用于使用电磁(EM)数据、运动学数据、惯性测量数据或形状感测数据中的至少一者来形成所述相机姿态的附加部件。
29.根据权利要求27所述的医疗系统，还包括用于实时传送相对于所述内部解剖结构的所述相机姿态的部件。
30...
【技术特征摘要】
【国外来华专利技术】
1.一种生成表示内部解剖结构内的空间位置的相机姿态的方法，包括：
2.根据权利要求1所述的方法，还包括使用卷积神经网络(cnn)从视频图像数据来确定所述第一深度图。
3.根据权利要求2所述的方法，还包括通过求解所述内部解剖结构的所述虚拟模型的3d点云与从所述第一深度图反向投影的点云之间的变换矩阵来估计相机姿态参数。
4.根据权利要求3所述的方法，其中，采用卷积神经网络(cnn)来求解所述变换矩阵并且估计所述相机姿态参数。
5.根据权利要求3所述的方法，还包括使用所述第一深度图来识别所述多个第二深度图中的所述一个第二深度图中的期望位置，所述期望位置对应于一个或多个视频图像中的位置。
6.根据权利要求1所述的方法，其中，所述生成所述多个第二深度图以及所述识别所述多个第二深度图中的一个第二深度图是迭代或连续过程。
7.根据权利要求6所述的方法，其中，所述迭代过程包括使用先前迭代的所述多个第二深度图中的一个第二深度图的所述相机姿态来初始化生成所述多个第二深度图。
8.根据权利要求1所述的方法，还包括使用多个虚拟相机姿态来生成所述多个第二深度图。
9.根据权利要求1所述的方法，其中，所述相机姿态包括表示所述内部解剖结构内的物理空间位置的虚拟空间估计。
10.根据权利要求9所述的方法，还包括在相对于ct图像数据的坐标中定义所述相机姿态。
11.一种生成表示支气管气道内的空间位置的相机姿态的方法，包括：
12.根据权利要求11所述的方法，还包括利用执行域自适应的卷积神经网络(cnn)使用所述视频图像数据来形成所述第一深度图。
13.根据权利要求12所述的方法，还包括由所述cnn通过使视频图像数据与对应的第一深度图成对而利用监督学习来学习映射函数，其中，所述第一深度图形成为所述视频图像数据的函数。
14.根据权利要求12所述的方法，还包括由所述cnn利用带有不需要成对数据的循环一致性的无监督生成对抗学习来学习映射函数，其中，所述第一深度图形成为所述视频图像数据的函数。
15.根据权利要求12所述的方法，还包括相对于所述第一深度图预先计算由成对的第二深度图和虚拟相机姿态组成的数据集。
16.根据权利要求15所述的方法，还包括应用图像配准技...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。