具有立体显示器的机器人手术系统中的观察者移动的补偿技术方案

本发明专利技术公开了用于补偿在机器人手术期间的观察者移动的系统和方法。一种示例性系统包含：图像捕获装置，其被配置成捕获手术部位的图像；立体显示器装置；传感器，其被配置成检测观察者的位置；以及计算装置，其包含处理器和存储指令的存储器。所述指令在由所述处理器执行时使所述计算装置从所述图像捕获装置接收所述手术部位的所述图像，从所述传感器接收指示所述观察者的位置的数据，基于所述观察者的移动处理所述手术部位的接收到的图像，并使所述立体显示器装置显示所述手术部位的已处理的图像。

【技术实现步骤摘要】
【国外来华专利技术】具有立体显示器的机器人手术系统中的观察者移动的补偿
技术介绍
相关技术的描述机器人手术涉及例如外科医生或技术员的临床医师经由控制台操作手术机器人。机器人手术可以用内窥镜执行，并且因此可供临床医师使用的手术部位的唯一视图可以是由内窥镜相机捕获的图像，例如三维(3D)或立体图像。在操作手术机器人并且因此查看3D图像时，临床医师的头部可能会移动。临床医师的头部的此类移动可能会使临床医师期望3D图像的对应移动，例如基于临床医师的视角的改变。然而，常规的3D视频图像未被配置成基于临床医师的头部的移动而移动。因此，如果在临床医生查看3D图像时临床医师的头部移动，则临床医生感知的3D图像与临床医生期望感知的3D图像稍微不同。在利用头部或视线跟踪来控制联接到内窥镜相机的机器人臂的移动的手术机器人系统中，此差异甚至可能更大。鉴于前述内容，将有益的是具有用于在机器人手术期间控制手术机器人时控制和显示来自内窥镜相机的立体图像的改进式系统和方法。
技术实现思路
根据各种实施例，本公开描述具有观察者移动补偿的机器人手术系统。在本公开的一方面中，一种说明性系统包含：图像捕获装置，其被配置成捕获手术部位的图像；立体显示器装置；传感器，其被配置成检测观察者的位置；以及计算装置，其包含至少一个处理器和存储指令的存储器。在由所述至少一个处理器执行时，所述指令使所述计算装置从所述图像捕获装置接收所述手术部位的所述图像，从所述传感器接收指示所述观察者的第一位置的数据，基于所述观察者的所述第一位置处理所述手术部位的接收到的图像，并使所述立体显示器装置显示所述手术部位的已处理的立体图像。在各实施例中，所述手术部位的所述图像包含左眼图像数据和右眼图像数据。在一些实施例中，所述手术部位的所述图像具有帧大小，并且所述基于所述观察者的所述第一位置处理所述手术部位的所述接收到的图像包含基于所述观察者的所述第一位置确定要显示的所述图像的部分，要显示的所述图像的所述部分小于所述帧大小。在另一个实施例中，要显示的所述图像的所述部分对应于数目小于包含在所述手术部位的所述图像中的像素的数目的像素。在一实施例中，所述确定要显示的所述图像的所述部分包含裁剪所述图像的至少一部分。在各实施例中，所述确定要显示的所述图像的所述部分包含使所述图像的至少一部分移位。在一些实施例中，所述使所述图像的至少所述部分移位包含基于所述观察者的所述第一位置确定所述观察者的移动向量，基于所述观察者的已确定的移动向量确定要移位的像素的方向和量，以及基于要移位的像素的已确定的方向和量使所述图像的至少一部分移位。在额外实施例中，所述确定所述观察者的所述移动向量进一步包含确定移动程度，并且所述确定要移位的像素的所述方向和所述量是进一步基于已确定的移动程度。在另一个实施例中，所述确定要移位的像素的所述方向和所述量是进一步基于所述观察者的所述移动向量与要移位的像素的所述方向和量之间的关系。所述关系可以基于表格或阈值。在各实施例中，所述确定所述观察者的所述移动向量包含确定所述观察者的所述第一位置是否接近最大阈值，以及提供指示所述观察者的所述第一位置接近所述最大阈值的警报。在一实施例中，所述确定所述观察者的所述移动向量包含确定所述观察者的所述第一位置是否超出最大阈值，以及提供指示所述观察者的所述第一位置超出所述最大阈值的警报。在另一个实施例中，所述系统进一步包含手术机器人，其中所述图像捕获装置联接到所述手术机器人，并且所述指令在由所述处理器执行时进一步使所述计算装置：基于从所述传感器接收的所述数据确定所述观察者的移动向量；以及使所述手术机器人基于所述观察者的已确定的移动向量重新定位所述图像捕获装置。在一些实施例中，所述立体显示器是自动立体显示器。在若干实施例中，所述立体显示器是无源立体显示器，并且所述系统进一步包括由所述观察者佩戴的三维(3D)眼镜。在各实施例中，所述3D眼镜使左眼图像显示给所述观察者的左眼并使右眼图像显示给所述观察者的右眼。在一实施例中，所述图像捕获装置是联接到内窥镜的立体相机。在另一个实施例中，所述传感器是运动传感器或相机。在一些实施例中，从所述传感器接收的指示所述观察者的第一位置的所述数据包含所述观察者的图像，并且所述指令在由所述处理器执行时进一步使所述计算装置：基于所述观察者的所述图像生成第二图像数据；以及通过处理所述第二图像数据检测所述观察者的所述第一位置。在若干实施例中，所述检测所述观察者的第一位置包含检测以下中的一个或多个：所述观察者相对于所述立体显示器的向量法线的距离、所述观察者相对于所述立体显示器的所述向量法线的方向，或所述观察者相对于所述立体显示器的定向。在各实施例中，所述观察者的所述方向是横向方向或竖直方向中的一个或多个。在一些实施例中，所述指令在由所述至少一个处理器执行时进一步使所述计算装置：从所述传感器接收指示所述观察者的第二位置的额外数据；基于所述观察者的所述第二位置处理所述手术部位的所述接收到的图像；以及使所述立体显示器显示所述手术部位的所述已处理的图像。根据本公开的实施例，提供用于补偿机器人手术系统中的观察者移动的方法。在本公开的一方面中，一种说明性方法包含：从图像捕获装置接收手术部位的图像；从传感器接收指示观察者的第一位置的数据；基于所述观察者的所述第一位置处理所述手术部位的接收到的图像；以及使立体显示器装置显示所述手术部位的已处理的图像。根据本公开的实施例，提供存储用于补偿机器人手术系统中的观察者移动的程序的非暂时性计算机可读存储介质。在本公开的一方面中，一种说明性程序包含指令，所述指令在由处理器执行时使计算装置：从图像捕获装置接收手术部位的图像；从传感器接收指示观察者的第一位置的数据；基于所述观察者的所述第一位置处理所述手术部位的接收到的图像；以及使立体显示器装置显示所述手术部位的已处理的图像。可以组合本公开的任何上述方面和实施例而不脱离本公开的范围。附图说明下文中参考图式描述本公开的各种方面和特征，其中：图1是根据本公开的实施例的可以用于补偿观察者移动的示例性机器人手术系统的示意图；图2是形成图1的系统的部分的示例性计算装置的简化框图；图3是根据本公开的实施例的用于补偿具有立体显示器的机器人手术系统中的观察者移动的示例性方法的流程图；图4是根据本公开的实施例的用于处理补偿观察者移动的立体图像数据的示例性方法的流程图；并且图5示出根据本公开的实施例的可以由图2的计算装置显示的示例性图形用户界面的各种视图。具体实施方式本公开大体上涉及立体图像在三维(3D)显示器上的显示，且更具体地说，涉及在常规的3D显示器上查看立体图像时由用户感知的头部移动效应的减轻。在这方面，本公开涉及用于补偿具有立体显示器的机器人手术系统中的观察者移动的系统和方法，例如通过检测观察者的移动，基于观察者的检测到的移动来重新定位内窥镜相机，基于检测到的观察者的移本文档来自技高网...

【技术保护点】
1.一种具有观察者移动补偿的机器人手术系统，所述系统包括：/n图像捕获装置，其被配置成捕获手术部位的图像；/n立体显示器装置；/n传感器，其被配置成检测观察者的位置；以及/n计算装置，其包含至少一个处理器和存储指令的存储器，所述指令在由所述至少一个处理器执行时使所述计算装置：/n从所述图像捕获装置接收所述手术部位的所述图像，/n从所述传感器接收指示所述观察者的第一位置的数据，/n基于所述观察者的所述第一位置处理所述手术部位的接收到的图像，以及/n使所述立体显示器装置显示所述手术部位的已处理的图像。/n

【技术特征摘要】
【国外来华专利技术】20180420 US 62/660,3981.一种具有观察者移动补偿的机器人手术系统，所述系统包括：
图像捕获装置，其被配置成捕获手术部位的图像；
立体显示器装置；
传感器，其被配置成检测观察者的位置；以及
计算装置，其包含至少一个处理器和存储指令的存储器，所述指令在由所述至少一个处理器执行时使所述计算装置：
从所述图像捕获装置接收所述手术部位的所述图像，
从所述传感器接收指示所述观察者的第一位置的数据，
基于所述观察者的所述第一位置处理所述手术部位的接收到的图像，以及
使所述立体显示器装置显示所述手术部位的已处理的图像。


2.根据权利要求1所述的系统，其中所述手术部位的所述图像包含左眼图像数据和右眼图像数据。


3.根据权利要求1所述的系统，其中所述手术部位的所述图像具有帧大小，并且
其中所述基于所述观察者的所述第一位置处理所述手术部位的所述接收到的图像包含基于所述观察者的所述第一位置确定要显示的所述图像的部分，要显示的所述图像的所述部分小于所述帧大小。


4.根据权利要求3所述的系统，其中要显示的所述图像的所述部分对应于数目小于包含在所述手术部位的所述图像中的像素的数目的像素。


5.根据权利要求3所述的系统，其中所述确定要显示的所述图像的所述部分包含裁剪所述图像的至少一部分。


6.根据权利要求3所述的系统，其中所述确定要显示的所述图像的所述部分包含使所述图像的至少一部分移位。


7.根据权利要求6所述的系统，其中所述使所述图像的至少所述部分移位包含：
基于所述观察者的所述第一位置确定所述观察者的移动向量；
基于所述观察者的已确定的移动向量确定要移位的像素的方向和量；以及
基于要移位的像素的已确定的方向和量使所述图像的至少一部分移位。


8.根据权利要求7所述的系统，其中所述确定所述观察者的所述移动向量进一步包含确定移动程度，并且
其中所述确定要移位的像素的所述方向和所述量是进一步基于已确定的移动程度。


9.根据权利要求7所述的系统，其中所述确定要移位的像素的所述方向和所述量是进一步基于所述观察者的所述移动向量与要移位的像素的所述方向和量之间的关系。


10.根据权利要求9所述的系统，其中所述关系是基于表格。


11.根据权利要求9所述的系统，其中所述关系是基于阈值。


12.根据权利要求7所述的系统，其中所述确定所述观察者的所述移动向量包含：
确定所述观察者的所述第一位置是否接近最大阈值；以及
提供指示所述观察者的所述第一位置接近所述最大阈值的警报。


13.根据权利要求7所述的系统，其中所述确定所述观察者的所述移动向量包含：
确定所述观察者的所述第一位置是否超出最大阈值；以及
提供指示所述观察者的所述第一位置超出所述最大阈值的警报。


14.根据...

【专利技术属性】
技术研发人员：德怀特·梅格兰，艾伯特·德沃尔尼克，
申请(专利权)人：柯惠LP公司，
类型：发明
国别省市：美国;US