用于使用立体内窥镜测量距离的系统和方法技术方案

一种测量系统访问由包括在位于与患者相关联的手术区域处的立体内窥镜内的第一摄像机和第二摄像机分别从第一有利点和第二有利点捕获的第一图像和第二图像。该测量系统接收指定与在如第一图像中表示的手术区域内的特征部对应的用户选择的二维(“2D”)端点的用户输入，并且基于用户选择的2D端点来识别与如第二图像中表示的特征部对应的匹配的2D端点。基于用户选择的2D端点和匹配的2D端点，该测量系统限定与在手术区域内的特征部对应的三维(“3D”)端点。然后，该测量系统确定从3D端点到与在手术区域内的附加特征部对应的附加的3D端点的距离。还描述了对应的系统和方法。端点的距离。还描述了对应的系统和方法。端点的距离。还描述了对应的系统和方法。

【技术实现步骤摘要】
【国外来华专利技术】用于使用立体内窥镜测量距离的系统和方法


[0001]本申请要求2018年5月3日提交的题为“用于使用立体内窥镜测量距离的系统和方法”的美国临时专利申请No.62/666,505的优先权，其内容通过引用以其整体并入本文。

技术介绍

[0002]在微创外科手术期间内，诸如在利用机器人外科手术系统的程序中，内窥镜摄像机通常用于向外科医生提供患者的内部解剖结构的图像(例如，立体视频)。在观看这些图像时，外科医生可以操纵定位在患者内的一个或多个手术器械(例如，一个或多个机器人操纵的手术器械)，以执行该程序。
[0003]在一些情况下，可能期望在微创外科手术程序之前、期间或之后测量与患者内部解剖结构相关联的各种距离。例如，可能期望测量所述患者内疝气的大小，使得网状贴片的尺寸可以适合于疝气。作为另一示例，可能期望确定手术器械的尖端距患者内的组织的距离。
[0004]不幸地，因为执行微创外科手术程序的外科医生不能像他或她在常规“开放式”外科手术程序期间那样直接物理接近患者的内部解剖结构，所以迄今为止很难或不可能准确地确定此类测量结果。一种用于在微创外科手术程序期间估计与患者的内部解剖结构相关联的距离的方法必须将机器人操纵的手术器械定位在患者内的不同位置处，并且基于用于器械的跟踪的动力学数据来估算器械之间的距离。然而，以这种方式定位器械可能是不方便的、困难的和/或耗时的，并且由于在相对较长的运动链上引入的不精确性，由这种常规方法产生的测量结果可能在某种程度上是不准确的。另外，当使用此类常规技术时，可能无法考虑到端点之间的表面的轮廓。这可能对测量结果(诸如上述示例性疝气测量结果)造成问题，其中考虑此类轮廓可能很重要。
附图说明
[0005]附图示出了各种实施例，并且是说明书的一部分。所示的实施例仅是示例，并且不限制本公开的范围。在所有附图中，相同或类相似的参考标记指定相同或相似的元件。
[0006]图1示出了根据本文所述的原理的示例性机器人手术系统。
[0007]图2示出了根据本文所述的原理的包括在图1的机器人手术系统内的示例性患者侧系统。
[0008]图3示出了根据本文所述的原理的包括在图2的患者侧系统内的示例性机械臂。
[0009]图4示出了根据本文所述的原理的包括在图1的机器人手术系统内的示例性外科医生控制台。
[0010]图5示出了根据本文所述的原理的位于与患者相关联的示例性手术区域处的示例性立体内窥镜。
[0011]图6示出了根据本文所述的原理的示例性测量系统。
[0012]图7示出了根据本文所述的原理的由包括在立体内窥镜内的摄像机从立体有利点
捕获的示例性图像。
[0013]图8示出了根据本文所述的原理的由用户指定的示例性用户选择的二维(“2D”)端点。
[0014]图9示出了根据本文所述的原理的作为图8中所示的所述用户选择的2D端点的经识别与所述手术区域内的相同特征部对应的示例性匹配的2D端点。
[0015]图10示出了根据本文所述的原理的图9中所示的图像的某些方面的放大的像素级视图。
[0016]图11示出了根据本文所述的原理的在患者内部的手术区域内的多个手术器械。
[0017]图12示出了根据本文所述的原理的三维(“3D”)端点的示例性限定。
[0018]图13示出了根据本文所述的原理的在其之间可以确定一个或多个距离的示例性3D端点。
[0019]图14示出了根据本文所述的原理的在两个3D端点之间的示例性轮廓距离。
[0020]图15示出了根据本文所述的原理的用于使用立体内窥镜测量距离的示例性方法。
[0021]图16示出了根据本文所述的原理的示例性计算系统。
具体实施方式
[0022]本文描述了用于使用立体内窥镜测量距离的系统和方法。例如，在某些实施方式中，一种测量系统可以包括至少一个物理计算装置(例如，由存储在存储器或类似物中的指令编程的处理器)，其可以访问由第一摄像机从第一有利点捕获的第一图像和由第二摄像机从第二有利点捕获的第二图像。第一摄像机和第二摄像机均可以被包括在位于与患者相关联的手术区域处(例如，延伸到手术区域内以至少部分地设置在手术区域内的)的立体内窥镜内。例如，手术区域可以在其中要执行、正在执行或已经执行外科手术程序的位置处完全或部分地在患者的身体内。另外，第一摄像机和第二摄像机的第一有利点和第二有利点可以彼此立体。换句话说，有利点可以在空间上相对地靠近彼此设置(例如，在立体内窥镜的远端尖端的左侧和右侧处)，并且可以对准，以便朝向相同的目标区域指向。
[0023]测量系统可以接收指定与手术区域内的特征部对应的用户选择的二维(“2D”)端点的用户输入。例如，通过用户选择(例如，触摸、点击等)与第一图像内的特征部的位置对应的第一图像内的点，可以提供用户输入。基于用户选择的2D端点，测量系统可以识别与如第二图像中表示的特征部对应的匹配2D端点。随后，基于用户选择的和匹配的2D端点，测量系统可以限定与手术区域内的特征部对应的三维(“3D”)端点。例如，虽然用户选择的和匹配的2D端点可以构成第一图像和第二图像内的不同像素或像素组，但是3D端点可以构成3D坐标，3D坐标限定相对于特定坐标系统(例如，与手术区域、立体内窥镜、与测量系统相关联的机器人手术系统或类似物相关联的坐标系统)的在空间中的特定点。
[0024]一旦已经以这种方式限定3D端点，测量系统就可以确定从3D端点到与手术区域内的附加特征部对应的附加3D端点的距离。在一些示例中，附加3D端点可以是以如上所述类似的方式基于用户选择的2D端点限定的用户选择的3D端点。在其他示例中，附加3D端点可以是非用户选择的3D端点。例如，附加3D端点可以对应于特定的手术器械的位置，对应于立体内窥镜的位置，对应于限定在手术区域或坐标系统内的原点，或者对应于如可以服务于特定实施方式的手术区域内的任何其他位置。本文将描述其中测量系统可以确定3D端点之
间的距离的各种方式。
[0025]可以由本文公开的系统和方法提供各种益处。例如，本文公开的系统和方法可以促进在微创外科手术程序期间患者身体内的解剖特征部或其他关注点的点对点测量，至少与在其中可以公开访问此类特征部的开放式外科手术程序中可能的便利和准确一样。例如，本文公开的系统和方法可以促进疝气的尺寸的测量，使得网状贴片可以切成合适的尺寸(用于二尖瓣修复操作的二尖瓣的尺寸、确定可能需要多少能量以适当地消灭肿瘤的肿瘤尺寸和/或患者内的任何其他解剖特征部的尺寸)以适当地修补疝气。另外地或可替代地，本文公开的系统和方法可以促进手术器械的尖端和患者内的组织之间的距离的测量，促进设置在患者的手术区域内的两个不同手术器械之间的距离的测量，且/或促进可以用于外科手术团队在微创外科手术程序期间知道的患者内的任何其他距离的测量。因此，本文所述的系统和方法可以帮助使微创外科手术程序越来越安全、有效，并对患者和外科医生具有吸引力。
[0026]此外，与用于测量与本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种测量系统，所述测量系统包括：至少一个物理计算装置，所述至少一个物理计算装置：访问第一图像，所述第一图像由包括在位于与患者相关联的手术区域处的立体内窥镜内的第一摄像机从第一有利点捕获；访问第二图像，所述第二图像由包括在所述立体内窥镜内的第二摄像机从第二有利点捕获，所述第二有利点对于所述第一有利点是立体的；从所述测量系统的用户接收用户输入，所述用户输入指定与如所述第一图像中表示的所述手术区域内的特征部对应的用户选择的二维端点即2D端点；基于所述用户选择的2D端点，来识别与如所述第二图像中表示的所述特征部对应的匹配的2D端点；基于所述用户选择的2D端点和匹配的2D端点，来限定与所述手术区域内的所述特征部对应的三维端点即3D端点；以及确定从所述3D端点到与所述手术区域内的附加特征部对应的附加3D端点的距离。2.根据权利要求1所述的测量系统，其中所述至少一个物理计算装置进一步：在确定所述距离之前从所述用户接收指定与如所述第一图像中表示的所述附加特征部对应的附加的用户选择的2D端点的用户输入，基于所述附加的用户选择的2D端点，来识别与如所述第二图像中表示的所述附加特征部对应的附加的匹配的2D端点，以及基于所述附加的用户选择的2D端点和附加的匹配的2D端点，来限定与所述附加特征部对应的所述附加3D端点。3.根据权利要求1所述的测量系统，其中：所述用户选择的2D端点是包括第一行数和第一列数的像素块；并且所述至少一个物理计算装置通过以下操作来识别所述匹配的2D端点：在所述第二图像内识别包括多个候选像素块的矩形区域，每个候选像素块包括所述第一行数和所述第一列数，所述矩形区域包括第二列数和大于所述第一行数的第二像素行数，所述第二列数大于所述第一列数且比所述第二行数大至少两倍；分析包括在所述矩形区域内的所述多个候选像素块中的所述候选像素块，以向所述候选像素块中的每个候选像素块分配相对于所述用户选择的2D端点的相应的相似性度量；以及基于所述分析，识别特定候选像素块作为与所述特征部对应的所述匹配的2D端点，所述特定候选像素块被分配有向所述多个候选像素块中的分析的候选像素块分配的所述相应的相似性度量中的最高相似性度量。4.根据权利要求3所述的测量系统，其中所述至少一个物理计算装置进一步通过以下操作来识别所述匹配的2D端点：跟踪位于所述手术区域处的所述立体内窥镜和位于所述手术区域处的机器人操纵的手术器械中的至少一个的运动学；执行包括所述多个候选像素块的所述矩形区域的所述识别和所述候选像素块的所述分析中的至少一个，以基于所跟踪的运动学向所述候选像素块分配所述相应的相似性度量。
5.根据权利要求3所述的测量系统，其中向所述多个候选像素块中的每个个体候选像素块分配的所述相应的相似性度量是基于以下中的至少一个：个体候选像素块中的每个像素和所述用户选择的2D端点的所述像素块中的对应像素之间的绝对差之和；所述个体候选像素块中的每个像素和所述用户选择的2D端点的所述像素块的所述对应像素之间的平方差之和；所述个体候选像素块中的每个像素和所述用户选择的2D端点的所述像素块的所述对应像素之间的标准化互相关；Census变换；秩变换；以及水平梯度和垂直梯度之间的绝对差之和。6.根据权利要求1所述的测量系统，其中：在与如所述第二图像中表示的所述特征部对应的所述匹配的2D端点的识别之后并且在与所述特征部对应的所述3D端点的所述限定之前，所述至少一个物理计算装置进一步：基于所述匹配的2D端点，来识别与如所述第一图像中表示的所述特征部对应的反向匹配的2D端点，并且基于所述用户选择的2D端点和反向匹配的2D端点，来确定用于所述匹配的2D端点的匹配置信度值；并且与所述特征部对应的所述3D端点的所述限定进一步基于用于所述匹配的2D端点的所述匹配置信度值。7.根据权利要求1所述的测量系统，其中所述至少一个物理计算装置通过以下操作来从所述用户接收指定所述用户选择的2D端点的所述用户输入：提供所述第一图像用于在单视场显示屏上显示，所述单视场显示屏与所述至少一个物理计算装置通信地耦连并且被配置成由与对患者执行外科手术程序相关联的外科医生的助手使用；并且在所述用户输入被与所述显示屏相关联的用户界面检测到时，接收所述用户输入。8.根据权利要求1所述的测量系统，其中所述至少一个物理计算装置通过以下操作从所述用户接收指定所述用户选择的2D端点的所述用户输入：提供所述第一图像用于在一对立体显示屏中的每个显示屏上显示，所述一对立体显示屏与所述至少一个物理计算装置通信地耦连并且被配置成由与对所述患者执行的外科手术程序相关联的外科医生使用；并且在所述用户输入被与所述一对立体显示屏相关联的用户界面检测到时，接收所述用户输入。9.根据权利要求1所述的测量系统，其中所述至少一个物理计算装置通过以下操作从所述用户接收指定所述用户选择的2D端点的所述用户输入：提供所述第一图像用于在显示屏上显示，所述显示屏与所述至少一个物理计算装置通信地耦连；提供与所述显示屏相关联的用户界面，所述用户界面包括被配置成由所述用户移动到所述显示屏上的任何点的指针对象；以及
接收指定所述用户选择的2D端点的所述用户输入作为在所述显示屏上特定点的用户选择，其中用户已经将所述指针对象移动到所述特定点。10.根据权利要求9所述的测量系统，其中所述特定点的所述用户选择通过所述指针对象移动到所述显示屏上的所述特定点来被动态地执行，而无任何附加的用户选择动作。11.根据权利要求1所述的测量系统，其中所述至少一个物理计算装置通过以下操作来确定从所述3D端点到所述附加3D端点的距离：自动地识别在3D轮廓上的一个或多个3D中点，所述3D轮廓将所述3D端点连接到所述附加3D端点并且沿所述3D端点和所述附加3D端点均设置在其上的物理表面延伸；基于所述一个或多个3D端点，来确定从所述3D端点到所述附加3D端点的线性分段路线的每个分段的中间距离，所述线性分段路线穿过每个相邻的3D中点，以便基本上遵循所述3D端点和所述附加3D端点之间的所述3D轮廓；以及确定所述距离是从所述3D端点到所述附加3D端点的轮廓距离，该轮廓距离...

【专利技术属性】
技术研发人员：R，
申请(专利权)人：直观外科手术操作公司，
类型：发明
国别省市：