用于导航检测生理噪声的管腔网络的机器人系统和方法技术方案

本发明专利技术提供了用于导航检测生理噪声的管腔网络的机器人系统和方法。在一个方面，系统包括一组一个或多个处理器，该组一个或多个处理器被配置成：从位于器械上的图像传感器接收第一图像数据和第二图像数据；检测第一图像数据的一组一个或多个感兴趣的点；并且识别分别对应于第一图像数据和第二图像数据中的一组点的一组第一位置和一组第二位置。一组处理器被进一步配置成：基于一组第一位置和一组第二位置，来检测基于该组第一位置和该组第二位置由管腔网络相对于器械的运动引起的器械在管腔网络内的位置变化。

【技术实现步骤摘要】
【国外来华专利技术】用于导航检测生理噪声的管腔网络的机器人系统和方法相关申请的交叉引用本申请要求2018年5月31日提交的美国临时专利申请62/678520的权益，该专利申请据此全文以引用方式并入。
本文所公开的系统和方法涉及外科机器人，并且更具体地涉及管腔内导航。
技术介绍
支气管镜检是允许医师检查患者的肺气道诸如支气管和细支气管的内部状况的医疗规程。肺气道将空气从气管或气道运送到肺。在医疗规程期间，可将被称为支气管镜的细的柔性管状工具插入患者的口中并向下穿过患者的喉部进入他/她的肺气道，并且患者通常被麻醉以便放松他们的喉部和肺腔以用于在医疗规程期间进行外科检查和手术。在相关领域中，支气管镜可包括光源和允许医师检查患者的气管和气道的小相机，并且刚性管可结合支气管镜使用以用于外科目的，例如，当患者肺中存在大量出血时或者当大物体阻塞患者的喉部时。当使用刚性管时，患者通常被麻醉。机器人支气管镜在管状网络中进行导航时提供了巨大优势。它们可便于使用，并且允许即使在支气管镜检阶段期间也方便地施用治疗和活检。除了机械装置或平台(例如，上述机器人支气管镜)之外，可使用各种方法和软件模型来帮助进行外科手术。例如，患者肺部的计算机断层摄影(CT)扫描通常在外科检查的术前期间执行。来自CT扫描的数据可用于生成患者肺部的气道的三维(3D)模型，并且所生成的3D模型使得医师能够访问在外科检查的操作过程期间可能有用的视觉参考。然而，即使在采用医疗装置(例如，机器人支气管镜)时以及在使用现有方法(例如，执行CT扫描并生成3D模型)时，用于导航管状网络的先前技术仍具有挑战性。例如，基于装置的位置和取向变化，患者体内的医疗装置(例如，支气管镜工具)的运动估计可能不准确，并且因此装置的位置可能无法准确或正确地实时定位在患者体内。此类器械的不准确的位置信息可能会为在医疗操作过程期间使用3D模型作为视觉参考的医师提供误导性信息。因此，需要用于在管状结构的网络中进行导航的改进技术。
技术实现思路
在一个方面，提供了一种医疗机器人系统，该医疗机器人系统包括一组一个或多个处理器；以及至少一个计算机可读存储器，该至少一个计算机可读存储器与该组处理器通信并具有存储在其上的计算机可执行指令，以致使该组处理器：从位于器械上的图像传感器接收第一图像数据，器械被配置成被驱动通过患者的管腔网络；检测第一图像数据的一组一个或多个感兴趣的点；识别分别对应于第一图像数据中的该组点的一组第一位置；从图像传感器接收第二图像数据；检测第二图像数据中的一组一个或多个点；识别分别对应于第二图像数据中的该组点的一组第二位置；并且基于该组第一位置和该组第二位置，来检测由管腔网络相对于器械的运动引起的器械在管腔网络内的位置变化。在另一方面，提供了一种其上存储有指令的非暂态计算机可读存储介质，这些指令在被执行时致使至少一个计算装置：从位于器械上的图像传感器接收第一图像数据，所述器械被配置成被驱动通过患者的管腔网络；检测第一图像数据的一组一个或多个感兴趣的点；识别分别对应于第一图像数据中的该组点的一组第一位置；从图像传感器接收第二图像数据；检测所述第二图像数据中的一组一个或多个点；识别分别对应于所述第二图像数据中的该组点的一组第二位置；并且基于该组第一位置和该组第二位置，来检测由管腔网络相对于器械的运动引起的器械在管腔网络内的位置变化。在又一方面，提供了一种用于检测器械的位置变化的方法，该方法包括：从位于器械上的图像传感器接收第一图像数据，该器械被配置成被驱动通过患者的管腔网络；检测第一图像数据的一组一个或多个感兴趣的点；识别分别对应于第一图像数据中的该组点的一组第一位置；从图像传感器接收第二图像数据；检测第二图像数据中的一组一个或多个点；识别分别对应于所述第二图像数据中的该组点的一组第二位置；并且基于该组第一位置和该组第二位置，检测由管腔网络相对于器械的运动引起的器械在管腔网络内的位置变化。附图说明下文将结合附图描述所公开的方面，该附图被提供以说明而非限制所公开的方面，其中类似的标号表示类似的元件。图1A示出了根据一个实施方案的示例性外科机器人系统。图1B至图1F示出了根据一个实施方案的耦接到图1A所示的外科机器人系统的机器人平台的各种透视图。图2示出了根据一个实施方案的用于示例性外科机器人系统的示例性命令控制台。图3A示出了根据一个实施方案的图1A所示的器械装置操纵器(IDM)的示例性独立驱动机构的等轴视图。图3B示出了根据一个实施方案的概念图，该概念图示出可如何通过图3A所示的独立驱动机构的应变仪来测量力。图4A示出了根据一个实施方案的示例性内窥镜的顶视图。图4B示出了根据一个实施方案的图4A所示的内窥镜的示例性内窥镜末端。图5示出了根据一个实施方案的包括在外科机器人系统中的EM跟踪系统的示例性示意性设置。图6A至图6B示出了根据一个实施方案的示例性解剖管腔和解剖管腔的示例性3D模型。图7示出了根据一个实施方案的表示解剖空间的计算机生成的3D模型。图8A至图8D示出了根据一个实施方案的示出EM系统与通过管状网络的路径的3D模型的动态配准的示例性曲线图。图8E至图8F示出了根据一个实施方案的EM系统与分支管状网络的3D模型的示例性配准的效果。图9A示出了根据一个实施方案的导航配置系统的示例框图的高级概览。图9B示出了根据一个实施方案的图9A所示导航模块的示例性框图。图9C示出了根据一个实施方案的包括在状态估计器中的估计状态数据存储库的示例性框图。图10A示出了根据本公开的各方面的运动估计模块的示例性框图。图10B示出了根据一个示例的对象检测模块的示例性框图。图10C示出了根据一个实施方案的对象映射模块的示例性框图。图10D示出了根据一个实施方案的拓扑推理模块的示例性框图。图11A至图11B示出了根据一个实施方案的由对象映射模块执行的示例性对象到管腔的映射。图12是示出根据本公开的各方面的可由机器人系统或其部件操作以用于检测生理噪声的示例性方法的流程图。图13A示出了根据本公开的各方面的由图像传感器在第一时间点处捕获的示例性图像数据。图13B示出了根据本公开的各方面的由图像传感器在第一时间点之后的第二时间点处捕获的图像数据的另一个示例。图13C示出了根据本公开的各方面的图13A至图13B所示的图像数据帧之间的示例性像素的位置变化的示例。图13D示出了根据本公开的各方面的图13A至图13B所示的图像数据帧之间的示例性像素的位置变化的另一个示例。图14A至图14B示出了根据本公开的各方面的可累积尺度变化值的图像数据帧序列内的两个图像数据帧的示例。图15A至图15B是示出根据本公开的各方面的图像数据帧序列上的累积尺度变化值的变化的曲线图。现在将具体地参考若干实施方案，其示例在附图中示出。应当指出的是，只要可行，相似或相同的参考标号可用于本文档来自技高网...

【技术保护点】
1. 一种医疗机器人系统，包括：/n一组一个或多个处理器；和/n至少一个计算机可读存储器，所述至少一个计算机可读存储器与所述一组处理器通信并具有存储在其上的计算机可执行指令，以致使所述一组处理器：/n从位于器械上的图像传感器接收第一图像数据，所述器械被配置成被驱动通过患者的管腔网络，/n检测所述第一图像数据的一组一个或多个感兴趣的点，/n识别分别对应于所述第一图像数据中的所述一组点的一组第一位置，/n从所述图像传感器接收第二图像数据，/n检测所述第二图像数据中的所述一组一个或多个点，/n识别分别对应于所述第二图像数据中的所述一组点的一组第二位置，并且/n基于所述一组第一位置和所述一组第二位置，检测由所述管腔网络相对于所述器械的运动引起的所述器械在所述管腔网络内的位置变化。/n

【技术特征摘要】
【国外来华专利技术】20180531 US 62/6785201.一种医疗机器人系统，包括：
一组一个或多个处理器；和
至少一个计算机可读存储器，所述至少一个计算机可读存储器与所述一组处理器通信并具有存储在其上的计算机可执行指令，以致使所述一组处理器：
从位于器械上的图像传感器接收第一图像数据，所述器械被配置成被驱动通过患者的管腔网络，
检测所述第一图像数据的一组一个或多个感兴趣的点，
识别分别对应于所述第一图像数据中的所述一组点的一组第一位置，
从所述图像传感器接收第二图像数据，
检测所述第二图像数据中的所述一组一个或多个点，
识别分别对应于所述第二图像数据中的所述一组点的一组第二位置，并且
基于所述一组第一位置和所述一组第二位置，检测由所述管腔网络相对于所述器械的运动引起的所述器械在所述管腔网络内的位置变化。


2.根据权利要求1所述的系统，其中：
所述一组第一位置和所述一组第二位置分别限定所述第一图像数据和所述第二图像数据内的所述点的二维（2D）位置。


3.根据权利要求2所述的系统，其中所述存储器还具有存储在其上的计算机可执行指令，以致使所述一组处理器：
将所述一组点分组为多个点对，第一点对包括第一点和第二点，
基于所述一组第一位置，来确定所述第一图像数据中的所述第一点与所述第二点之间的第一距离，并且
基于所述一组第二位置，来确定所述第二图像数据中的所述第一点与所述第二点之间的第二距离，
其中检测所述器械在所述管腔网络内的所述位置变化还基于所述第一距离和所述第二距离。


4.根据权利要求3所述的系统，其中所述存储器还具有存储在其上的计算机可执行指令，以致使所述一组处理器：
基于所述第一距离和所述第二距离，来确定所述第一点对的第一尺度变化估计值，并且
基于所述尺度变化估计值，来确定表示所述第一图像数据和所述第二图像数据之间的尺度变化的尺度变化值，
其中检测所述器械在所述管腔网络内的所述位置变化还基于所述尺度变化值。


5.根据权利要求4所述的系统，其中所述存储器还具有存储在其上的计算机可执行指令，以致使所述一组处理器：
确定分别对应于所述点对的一组尺度变化估计值，并且
基于所述一组尺度变化估计值的中值或所述一组尺度变化估计值的平均值，来确定所述尺度变化值。


6.根据权利要求1所述的系统，其中所述存储器还具有存储在其上的计算机可执行指令，以致使所述一组处理器：
跟踪第一时间段内表示从所述图像传感器接收的图像数据的尺度变化的尺度变化值的累积变化，
将所跟踪的尺度变化值变换为频域，并且
识别频域中的所跟踪的尺度变化值中的至少一个谐波，
其中检测所述器械在所述管腔网络内的所述位置变化还基于所述至少一个谐波。


7.根据权利要求1所述的系统，其中所述存储器还具有存储在其上的计算机可执行指令，以致使所述一组处理器：
基于从一个或多个位置传感器接收的数据，来确定所述器械的位置，
基于所述一组第一位置和所述一组第二位置，来确定所述患者的第一生理运动频率，其中检测所述器械在所述管腔网络内的所述位置变化还基于所述第一生理运动频率，并且
将所检测到的所述器械在所述管腔网络内的位置变化的指示提供给显示器。


8.根据权利要求7所述的系统，其中所述存储器还具有存储在其上的计算机可执行指令，以致使所述一组处理器：
基于从所述一个或多个位置传感器接收的所述数据，来确定所述患者的第二生理运动频率，并且
确定所述第一生理运动频率和所述第二生理运动频率之间的差值小于阈值差值，
其中检测所述器械在所述管腔网络内的所述位置变化还响应于确定所述第一生理运动频率和所述第二生理运动频率之间的所述差值小于所述阈值差值。


9.根据权利要求7所述的系统，其中所述一个或多个位置传感器包括以下中的至少一者：电磁（EM）传感器、形状感测光纤、机器人命令数据和基于辐射的图像传感器。


10.根据权利要求7所述的系统，其中所述生理运动包括所述患者的呼吸或所述患者的心率中的至少一者。


11.根据权利要求1所述的系统，其中所述存储器还具有存储在其上的计算机可执行指令，以致使所述一组处理器：
经由将所述第一图像数据中的所述一组点从所述第二图像数据回溯到所述第一图像数据来识别所述一组点的一组回溯位置，
将所述一组回溯位置与所述一组第一位置进行比较，
识别所述一组点中的点的子组，其中所述回溯位置不在所述一组第一位置的阈值距离内，并且
从所述一组点中移除所述点的子组。


12.根据权利要求1所述的系统，其中所述第一组位置和所述第二组位置包括指示所述点相对于所述第一图像数据和所述第二图像数据的坐标系的相应位置的二维（2D）信息。


13.根据权利要求1所述的系统，其中所述存储器还具有存储在其上的计算机可执行指令，以致使所述一组处理器：
从所述第一图像数据提取所述一组点的深度信息，并且
从所述第二图像数据提取所述一组点的深度信息，
其中所述第一组位置和所述第二组位置包括指示基于从所述第一图像数据和所述第二图像数据中的每一者提取的深度信息来确定的所述点的相应位置的三维（3D）信息。


14.一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质具有存储在其上的指令，所述指令在被执行时致使至少一个计算装置：
从位于器械上的图像传感器接收第一图像数据，所述器械被配置成被驱动通过患者的管腔网络；
检测所述第一图像数据的一组一个或多个感兴趣的点；
识别分别对应于所述第一图像数据中的所述一组点的一组第一位置；
从所述图像传感器接收第二图像数据；
检测所述第二图像数据中的所述一组一个或多个点；
识别分别对应于所述第二图像数据中的所述一组点的一组第二位置；并且
基于所述一组第一位置和所述一组第二位置，检测由所述管腔网络相对于所述器械的运动引起的所述器械在所述管腔网络内的位置变化。


15.根据权利要求14所述的非暂态计算机可读存储介质，其中：
所述一组第一位置和所述一组第二位置分别限定所述第一图像数据和所述第二图像数据内的所述点的二维（2D）位置。


16.根据权利要求15所述的非暂态计算机可读存储介质，其中所述非暂态计算机可读存储介质还具有存储在其上的指令，所述指令在被执行时致使所述至少一个计算装置：
将所述一组点分组为多个点对，第一点对包括第一点和第二点；
基于所述一组第一位置，来确定所述第一图像数据中的所述第一点与所述第二点之间的第一距离；并且
基于所述一组第二位置，来确定所述第二图像数据中的所述第一点与所述第二点之间的第二距离，
其中检测所述器械在所述管腔网络内的所述位置变化还基于所述第一距离和所述第二距离。


17.根据权利要求16所述的非暂态计算机可读存储介质，其中所述非暂态计算机可读存储介质还具有存储在其上的指令，所述指令在被执行时致使所述至少一个计算装置：
基于所述第一距离和所述第二距离确定所述第一点对的第一尺度变化估计值；并且
基于所述尺度变化估计值，来确定表示所述第一图像数据和所述第二图像数据之间的尺度变化的尺度变化值，
其中检测所述器械在所述管腔网络内的所述位置变化还基于所述尺度变化值。


18.根据权利要求17所述的非暂态计算机可读存储介质，其中所述非暂态计算机可读存储介质还具有存储在其上的指令，所述指令在被执行时致使所述至少一个计算装置：
确定分别对应于所述点对的一组尺度变化估计值；并且
基于所述一组尺度变化估计值的中值或所述一组尺度变化估计值的平均值，来确定所述尺度变化值。


19...

【专利技术属性】
技术研发人员：叶梦龙，R·乌玛拉尼，H·拉菲塔里，D·P·诺南，
申请(专利权)人：奥瑞斯健康公司，
类型：发明
国别省市：美国;US