用于在手术程序期间检测图像退化的系统、方法和计算机可读介质技术方案

提供了用于在手术程序期间检测图像退化的方法、系统和计算机可读介质。一种方法包括：接收手术器械的图像；获取所述手术器械的边缘的基线图像；将所述手术器械的图像的特征与所述手术器械的边缘的基线图像的特征进行比较，所述手术器械的图像是在获取所述手术器械的边缘的基线图像之后被接收到并且在所述手术器械被设置在患者的手术部位处的同时被接收到；基于对所述手术器械的图像的特征与所述手术器械的基线图像的特征的比较，确定所述手术器械的图像是否退化；以及响应于对所述手术器械的图像退化的确定，生成图像退化通知。

【技术实现步骤摘要】
【国外来华专利技术】用于在手术程序期间检测图像退化的系统、方法和计算机可读介质
技术介绍
机器人外科系统可以用于微创手术程序中。在机器人手术程序期间，外科医生利用远程外科医生控制台处的用户接口控制机器人外科臂。用户接口允许外科医生操纵联接到机械臂的手术器械，并控制相机接收患者体内的手术部位的图像。外科医生控制台可以包括立体显示器，有时被称为三维(3D)显示器。在这方面，有时结合外科医生穿戴的对应的一对立体眼镜，这样的显示器通过将图像作为分别提供给左眼和右眼的一对不同图像而呈现给外科医生来促进来自图像的深度感知。立体显示器可以显示由立体内窥镜提供的图像。立体内窥镜采用两个信号路径，通常是左眼视图和右眼视图，它们被匹配并相互交叉以生成立体图像。如通常在手术程序期间发生的那样，生物材料或其他与手术相关的材料可能会遮挡立体内窥镜的透镜之一，从而使提供给显示器的图像退化。在立体内窥镜的情况下，这种退化会通过现在不匹配的立体图像对而对外科医生产生潜在的副作用，这可能会导致感知问题，使外科医生的视线和认知路径在外科医生没有意识到的情况下不堪重负。这可能导致外科医生在感知和响应所观察到的立体信息方面的表现退化。因此，能够检测出这些不匹配情况并告知外科医生需要纠正该情况是有用的。
技术实现思路
根据本公开的实施方式，公开了用于在手术程序期间检测图像退化的方法。在本公开的一方面，例示性方法包括：接收手术器械的图像；获取所述手术器械的边缘的基线图像；将所述手术器械的图像的特征与所述手术器械的边缘的基线图像的特征进行比较，所述手术器械的图像是在获取所述手术器械的边缘的基线图像之后被接收到并且在所述手术器械被设置在患者的手术部位处的同时被接收到；基于对所述手术器械的图像的特征与所述手术器械的边缘的基线图像的特征的比较，确定所述手术器械的图像是否退化；以及响应于对所述手术器械的图像退化的确定，生成图像退化通知。在本公开的又一方面，所述手术器械的图像由图像捕获装置接收。在本公开的另一方面，所述图像捕获装置是包括左眼透镜和右眼透镜的立体内窥镜。在本公开的又一方面，在初始图像捕获装置校准期间获取所述手术器械的边缘的基线图像的特征。在本公开的又一方面，所述方法还包括：以预定间隔周期性地接收所述手术器械的边缘的图像。在本公开的另一方面，对所述手术器械的图像退化的确定至少部分地基于接收到的所述手术器械的图像的特征与所述手术器械的边缘的基线图像的特征之间的差异大于阈值。在另一方面，所述方法还包括：通过计算从接收到的所述手术器械的图像得出的调制传递函数来确定所述手术器械的图像的特征。根据本公开的实施方式，公开了用于在手术程序期间检测图像退化的系统。在本公开的一方面，一种例示性系统包括：手术器械，所述手术器械包括至少一个边缘；图像捕获装置，所述图像捕获装置被配置成捕获所述手术器械的图像，所述手术器械的图像包括特征；显示装置；至少一个处理器，所述至少一个处理器耦合到所述图像捕获装置和所述显示装置；和存储器，所述存储器耦合到所述至少一个处理器并在其上存储：所述手术器械的边缘的基线图像的特征；和指令，所述指令在由所述至少一个处理器执行时使所述至少一个处理器执行以下操作：获取所述手术器械的边缘的基线图像的特征，接收所述手术器械的图像，将所述手术器械的图像的特征与所述手术器械的边缘的基线图像的特征进行比较，所述手术器械的图像是在获取所述手术器械的边缘的基线图像的特征之后被接收到并且在所述手术器械被设置在患者的手术部位处的同时被接收到，基于对所述手术器械的图像的特征与所述手术器械的边缘的基线图像的特征的比较，确定所述手术器械的图像是否退化，以及响应于对所述手术器械的图像退化的确定，生成图像退化通知。根据本公开的实施方式，公开了用于在手术程序期间检测图像退化的存储指令的非暂时性计算机可读介质。在本公开的一方面中，例示性非暂时性计算机可读介质存储有指令，所述指令在由处理器执行时使所述处理器：接收手术器械的图像；获取所述手术器械的边缘的基线图像；将所述手术器械的图像的特征与所述手术器械的边缘的基线图像的特征进行比较，所述手术器械的图像是在获取所述手术器械的边缘的基线图像之后被接收到并且在所述手术器械被设置在患者的手术部位处的同时被接收到；基于对所述手术器械的图像的特征与所述手术器械的边缘的基线图像的特征的比较，确定所述手术器械的图像是否退化；以及响应于对所述手术器械的图像退化的确定，生成图像退化通知。可以在不脱离本公开的范围的情况下对本公开的任何上述方面和实施方式进行组合。附图说明在参考所附附图阅读本专利技术的各种实施方式的描述时，本专利技术所公开的系统、方法和计算机可读介质的目的和特征对于本领域普通技术人员将变得显而易见，其中：图1是根据本公开的实施方式的机器人外科系统的示意图；图2是根据本公开的实施方式的图像捕获装置和手术器械的简化立体图；图3是根据本公开的从图像捕获装置接收到的手术部位的图像；图4是根据本公开的实施方式的由手术器械和周围解剖材料之间的亮度差异形成的测试图案；图5示出了根据本公开的另一实施方式的可以设置在手术器械上的测试图案的图像；图6是根据本公开的图5的测试图案的调制传递函数曲线图；以及图7是例示根据本公开的检测图像退化的示例性方法的流程图。具体实施方式本公开总体上涉及在手术程序期间动态检测图像退化并提供关联的通知。为了确定在手术程序期间发生的退化量，可以使用内窥镜校准技术。内窥镜成像系统可以在其使用之前和/或在手术程序开始时已被校准。在使用之前，校准包括以下过程：通过使用校准目标，在成像系统的峰值或近峰值操作条件下确定和记录基本参数。因此，在使用内窥镜系统之前进行的校准提供了在发生退化之前内窥镜系统的基线度量。在手术程序期间，与校准期间采用的技术相似的技术可用于确定内窥镜成像系统的当前参数。通过自动且动态地将当前参数与基本参数进行比较，可以确定内窥镜图像退化。为此，本公开涉及用于实现在手术程序期间动态检测手术部位的图像的图像退化以及用于在手术程序期间生成和显示图像退化通知的系统、方法和计算机可读介质。在这方面，在图像捕获装置的校准期间，基于校准目标(诸如图像捕获装置的视野内的测试图案和/或工具边缘)确定并记录图像捕获装置的一个或多个基线参数。在手术程序期间，手术部位的图像由图像捕获装置捕获并提供给计算装置(诸如控制台)使用与校准期间采用的技术相似的技术进行处理，以确定图像捕获装置的一个或多个当前参数。通过动态比较图像捕获装置的当前参数和基线参数，可以做出与图像退化有关的确定。如本文中所使用的，术语“临床医生”、“外科医生”、“观察者”和/或“观看者”通常是指本文中所描述的立体显示装置的用户。另外，尽管本文中所使用的术语“第一眼”和“第二眼”分别是指用户的左眼和右眼，但是这种使用是作为示例提供的并且不应该被解释为是限制性的。在整个说明书中，术语“近侧”是指装置或其部件距患者最远(因此最靠近临床医生和/或外科机器人)的部分，本文档来自技高网...

【技术保护点】
1.一种用于在手术程序期间检测图像退化的方法，所述方法包括：/n接收手术器械的图像；/n获取所述手术器械的边缘的基线图像；/n将所述手术器械的图像的特征与所述手术器械的边缘的基线图像的特征进行比较，所述手术器械的图像是在获取所述手术器械的边缘的基线图像之后被接收到并且在所述手术器械被设置在患者的手术部位处的同时被接收到；/n基于对所述手术器械的图像的特征与所述手术器械的边缘的基线图像的特征的比较，确定所述手术器械的图像是否退化；以及/n响应于对所述手术器械的图像退化的确定，生成图像退化通知。/n

【技术特征摘要】
【国外来华专利技术】20180703 US 62/693,5301.一种用于在手术程序期间检测图像退化的方法，所述方法包括：
接收手术器械的图像；
获取所述手术器械的边缘的基线图像；
将所述手术器械的图像的特征与所述手术器械的边缘的基线图像的特征进行比较，所述手术器械的图像是在获取所述手术器械的边缘的基线图像之后被接收到并且在所述手术器械被设置在患者的手术部位处的同时被接收到；
基于对所述手术器械的图像的特征与所述手术器械的边缘的基线图像的特征的比较，确定所述手术器械的图像是否退化；以及
响应于对所述手术器械的图像退化的确定，生成图像退化通知。


2.根据权利要求1所述的方法，其中，所述手术器械的图像由图像捕获装置接收。


3.根据权利要求2所述的方法，其中，所述图像捕获装置是包括左眼透镜和右眼透镜的立体内窥镜。


4.根据权利要求2所述的方法，其中，在初始图像捕获装置校准期间获取所述手术器械的边缘的基线图像的特征。


5.根据权利要求1所述的方法，还包括：以预定间隔周期性地接收所述手术器械的边缘的图像。


6.根据权利要求1所述的方法，其中，对所述手术器械的图像退化的确定至少部分地基于接收到的所述手术器械的图像的特征与所述手术器械的边缘的基线图像的特征之间的差异大于阈值。


7.根据权利要求1所述的方法，还包括：通过计算从接收到的所述手术器械的图像得出的调制传递函数来确定所述手术器械的图像的特征。


8.一种用于在手术程序期间检测图像退化的系统，所述系统包括：
手术器械，所述手术器械包括至少一个边缘；
图像捕获装置，所述图像捕获装置被配置成捕获所述手术器械的图像，所述手术器械的图像包括特征；
显示装置；
至少一个处理器，所述至少一个处理器耦合到所述图像捕获装置和所述显示装置；和
存储器，所述存储器耦合到所述至少一个处理器并在其上存储：
所述手术器械的边缘的基线图像的特征，和
指令，所述指令在由所述至少一个处理器执行时使所述至少一个处理器执行以下操作：
获取所述手术器械的边缘的基线图像的特征，
接收所述手术器械的图像，
将所述手术器械的图像的特征与所述手术器械的边缘的基线图像的特征进行比较，所述手术器械的图像是在获取所述手术器械的边缘的基线图像的特征之后被接收到并且在所述手术器械被设置在患者的手术部位处的同时被接收到，
基于对所述手术器械的图像的特征与所述手术器械的边缘的基线图像的特征的比较，确定所述手术器械的图像是否退化，以及
响应于对所述手术器械的图像退化...

【专利技术属性】
技术研发人员：德怀特·梅格兰，
申请(专利权)人：柯惠LP公司，
类型：发明
国别省市：美国;US