用于控制机器人外科手术装置和观看者自适应立体显示器的方面的系统、方法和计算机可读存储媒体制造方法及图纸

提供了用于机器人外科手术装置控制的系统、方法和计算机可读媒体。提供了一种系统，其包含：机器人臂、自动立体显示器、用户图像捕获装置、图像处理器和控制器。所述机器人臂联接到患者图像捕获装置。所述自动立体显示器被配置成显示外科手术部位的从所述患者图像捕获装置获得的图像。所述图像处理器被配置成识别用户的至少一部分在从所述用户图像捕获装置获得的图像中的位置。所述控制器被配置成在第一模式中基于所识别的位置调整在自动立体显示器上显示的所述图像的三维方面，并且在第二模式中基于所识别的位置与所述外科手术部位图像之间的关系来移动所述机器人臂或器械。

Systems, methods and computer readable storage media for controlling aspects of robotic surgical devices and viewer adaptive stereoscopic displays

【技术实现步骤摘要】
【国外来华专利技术】用于控制机器人外科手术装置和观看者自适应立体显示器的方面的系统、方法和计算机可读存储媒体相关申请的交叉引用本申请要求2016年6月3日提交的第62/345,522号美国临时申请的权益和优先权，所述美国临时申请的全部内容通过引用并入本文中。
技术介绍
机器人外科手术系统越来越多地用于微创医疗程序。通常，机器人外科手术系统包含远离一个或多个机器人臂的外科医生控制台，外科手术器械和/或相机联接到所述机器人臂。外科医生控制台可以从机器人臂、另一个房间或另一个建筑物中位于手术室的另一侧，并且包含用于接收来自外科医生的输入的输入手柄或其它输入装置。输入被传送到中央控制器，所述中央控制器将输入转译成用于操纵患者附近的机器人臂的命令，例如，在外科手术部位内。外科医生控制台可以包含立体显示器，有时被称为三维(3D)显示器。在这方面，结合外科医生佩戴的对应的一对立体眼镜，这样的显示器通过将图像作为分别提供给左眼和右眼的一对不同图像呈现给外科医生来促进图像中的深度感知。创建图像对以复制左眼与右眼之间的偏移的效果，这导致每只眼睛在显示器中看到的差异。每只眼睛在显示器中看到的不同图像被感知为图像中物体深度的差异。在一些配置中，立体显示器包含与显示器的像素仔细对准的膜，其经由立体眼镜使得一只眼睛可以看到某些像素行或列，而另一只眼睛可以看到其它像素行或列。尽管上文所描述的外科医生控制台和显示方案是足够的，但其是可以改进的。具体地，关于通过立体眼镜和/或显示器观看外科手术部位，在许多情况下，需要将外科医生的眼睛中的每一只定位在特定位置，以便以最小的退化来感知图像。因此，外科医生可能受限于他或她在控制台内的定位。此外，由于一些医疗程序的持续时间可能相对较长，佩戴立体眼镜和/或维持控制台内的受限定位可能会使一些外科医生感到不适。
技术实现思路
根据本公开的一方面，提供了解决上述需求的系统、方法和计算机可读媒体。在本公开的一个方面，提供了一种用于机器人外科手术装置控制的系统，其包含：机器人臂、自动立体显示器、用户图像捕获装置、图像处理器和控制器。所述机器人臂联接到患者图像捕获装置。所述自动立体显示器被配置成显示外科手术部位的从所述患者图像捕获装置获得的图像。所述图像处理器被配置成识别用户的至少一部分在从所述用户图像捕获装置获得的图像中的位置。所述控制器被配置成在第一模式中基于所识别的位置调整在自动立体显示器上显示的所述图像的三维方面，并且在第二模式中基于所述所识别的位置与所述外科手术部位图像之间的关系来移动所述机器人臂或器械。在本公开的另一方面，所述系统的所述自动立体显示器被进一步配置成包含多个像素，所述多个像素包含偶数像素列和奇数像素列。每个像素列被安置在对应的竖直透镜下方。对应于所述偶数像素列的所述竖直透镜被配置成允许所述偶数像素列能够被所述用户的第一只眼睛感知，并且对应于所述奇数像素列的所述竖直透镜被配置成允许所述奇数像素列能够被所述用户的第二只眼睛感知。在本公开的另一方面，所述控制器被进一步配置成通过调整所述多个像素中的一个或多个来调整在所述自动立体显示器上显示的所述图像。在本公开的仍又一方面，所述系统的所述图像处理器被进一步配置成识别所述用户的所述第一只眼睛和所述第二只眼睛在从所述用户图像捕获装置获得的所述图像中的所述位置，并且所述控制器被进一步配置成部分地基于所述用户的所述第一只眼睛的所识别位置或所述用户的所述第二只眼睛的所识别位置来调整在所述自动立体显示器上显示的所述多个像素中的所述一个或多个像素。在本公开的另一方面，所述系统的所述控制器被进一步配置成：基于所述用户的所述第一只眼睛和所述第二只眼睛的所述位置检测所述用户的眼睛注视的位置；检测所述用户的所述眼睛注视的所述位置到另一个位置的变化；并且基于所述眼睛注视的所述位置与所述外科手术部位图像之间的关系移动联接到所述患者图像捕获装置的所述机器人臂。在本公开的另一方面，所述控制器被进一步配置成响应于所述用户的所述眼睛注视的所述位置的所检测变化而计算移动所述臂的速度大小和方向。在本公开的替代方面中，为了检测所述用户的所述眼睛注视的所述位置的所述变化，所述控制器被进一步配置成确定所述用户的所述眼睛注视的所述位置的所检测变化是否处于距预定位置的第一预定距离范围之外。在本公开的另一方面，所述控制器被进一步配置成确定所述用户的所述眼睛注视的所述位置的所述所检测变化是否处于大于所述第一预定距离范围的第二预定距离范围之外，并且响应于确定所述用户的所述眼睛注视的所述位置的所述所检测变化处于所述第二预定距离范围之外而使所述系统提供通知。在本公开的另一方面，所述控制器被进一步配置成确定所述用户在所述图像中的眼睛注视是否保持处于所述位置持续大于阈值时间段的时间段，并且响应于所述眼睛注视保持大于所述阈值时间段的所述时间段而移动联接到所述患者图像捕获装置的所述机器人臂。在本公开的仍又一方面，所述控制器被进一步配置成检测用于移动所述患者图像捕获装置的输入；确定所识别位置的变化；基于所述所识别位置的所述变化确定头部位置和/或速度；并且基于所确定的头部位置和/或速度确定头部倾斜角、头部朝向或头部横滚角中的一个或多个。在本公开的另一方面，所述患者图像捕获装置被配置成在捕获视觉内容和将所述视觉内容传输到所述图像处理器时实现第一预定等待时间，并且所述图像处理器包括并行执行的多个子处理器以在处理所述视觉内容、确定所述用户的所述眼睛注视的所述位置以及向所述患者图像捕获装置传输控制信号时实现第二预定等待时间。在本公开的又另一方面，所述控制器被进一步配置成基于所识别位置确定头部姿势；基于所确定的头部姿势计算平移速度；根据所计算的平移速度映射x坐标以产生进/出速度；根据所述所计算的平移速度映射z坐标；基于所述所确定的头部姿势计算YZ朝向速度；并且映射所计算的YZ速度以产生摇摄角速度；从所述所确定的头部姿势中提取横滚值；映射所提取的横滚值以产生横滚角速度；并且基于所述进/出速度、所述摇摄角速度和所述横滚角速度确定所述患者图像捕获装置的姿势。在本公开的仍又另一方面，所述机器人外科手术装置包含内窥镜。在本公开的仍又另一方面，所述控制器被配置成同时在所述第一模式和所述第二模式中运转。在本公开的仍又另一方面，所述控制器被配置成分别在所述第一模式和所述第二模式中运转。在本公开的另一方面，提供了一种用于机器人外科手术装置控制的计算机实施的方法。所述方法包含：显示外科手术部位的从联接到机器人臂的患者图像捕获装置获得的图像；识别用户的至少一部分在从所述用户图像捕获装置获得的图像中的位置；通过基于所识别的位置调整在所述自动立体显示器上显示的所述图像的三维方面在第一模式中操作；以及通过基于所述所识别的位置与所述外科手术部位图像之间的关系移动联接到所述患者图像捕获装置的所述机器人臂在第二模式中操作。根据本公开的另一方面，所述自动立体显示器被进一步配置成包含多个像素，所述多个像素包含偶数像素列和奇数像素列，每个像素列被安置在对应的竖直透镜下方，对应于所述偶数像素列的所述竖直透镜被配置成允许所述偶数像素列能够被所述用户的第一只眼睛感知，并且对应于所述奇数像素列的所述竖直透镜被配置成允许所述奇数像素列能够被所述用户的第二只眼睛感知；并且所述方法进一步本文档来自技高网...

【技术保护点】
1.一种用于机器人外科手术装置控制的系统，其包括：机器人臂，其联接到患者图像捕获装置；自动立体显示器，其被配置成显示外科手术部位的从所述患者图像捕获装置获得的图像；用户图像捕获装置；图像处理器，其被配置成识别用户的至少一部分在从所述用户图像捕获装置获得的图像中的位置；以及控制器，其被配置成在第一模式中基于所识别的位置调整在所述自动立体显示器上显示的所述图像的三维方面，并且在第二模式中基于所识别的位置与所述外科手术部位图像之间的关系来移动所述机器人臂。

【技术特征摘要】
【国外来华专利技术】2016.06.03 US 62/345,5221.一种用于机器人外科手术装置控制的系统，其包括：机器人臂，其联接到患者图像捕获装置；自动立体显示器，其被配置成显示外科手术部位的从所述患者图像捕获装置获得的图像；用户图像捕获装置；图像处理器，其被配置成识别用户的至少一部分在从所述用户图像捕获装置获得的图像中的位置；以及控制器，其被配置成在第一模式中基于所识别的位置调整在所述自动立体显示器上显示的所述图像的三维方面，并且在第二模式中基于所识别的位置与所述外科手术部位图像之间的关系来移动所述机器人臂。2.根据权利要求1所述的系统，其中：所述自动立体显示器被进一步配置成包含多个像素，所述多个像素包含偶数像素列和奇数像素列；每个像素列被安置在对应的竖直透镜下方；对应于所述偶数像素列的所述竖直透镜被配置成允许所述偶数像素列能够被所述用户的第一只眼睛感知；且对应于所述奇数像素列的所述竖直透镜被配置成允许所述奇数像素列能够被所述用户的第二只眼睛感知。3.根据权利要求2所述的系统，其中所述控制器被进一步配置成通过调整所述多个像素中的所述像素中的一个或多个来调整在所述自动立体显示器上显示的所述图像以改善所述用户的感知。4.根据权利要求3所述的系统，其中：所述图像处理器被进一步配置成识别所述用户的所述第一只眼睛和所述第二只眼睛在从所述用户图像捕获装置获得的所述图像中的位置；且所述控制器被进一步配置成部分地基于所述用户的所述第一只眼睛的所识别位置或所述用户的所述第二只眼睛的所识别位置来调整在所述自动立体显示器上显示的所述多个像素中的所述一个或多个像素。5.根据权利要求1所述的系统，其中所述控制器被进一步配置成：基于所述用户的所述第一只眼睛和所述第二只眼睛的位置检测所述用户的眼睛注视的位置；检测所述用户的所述眼睛注视的所述位置到另一个位置的变化；并且基于所述眼睛注视的所述位置与所述外科手术部位图像之间的关系移动联接到所述患者图像捕获装置的所述机器人臂。6.根据权利要求5所述的系统，其中所述患者图像捕获装置被配置成在捕获视觉内容和将所述视觉内容传输到所述图像处理器时实现第一预定等待时间，并且所述图像处理器包括并行执行的多个子处理器以在处理所述视觉内容、确定所述用户的所述眼睛注视的所述位置以及向所述患者图像捕获装置传输控制信号时实现第二预定等待时间。7.根据权利要求5所述的系统，其中所述控制器被进一步配置成响应于所述用户的所述眼睛注视的所述位置的所检测变化而计算移动所述臂的速度大小和方向。8.根据权利要求5所述的系统，其中为了检测所述用户的所述眼睛注视的所述位置的所述变化，所述控制器被进一步配置成确定所述用户的所述眼睛注视的所述位置的所检测变化是否处于距预定位置的第一预定距离范围之外。9.根据权利要求7所述的系统，其中所述控制器被进一步配置成确定所述用户的所述眼睛注视的所述位置的所检测变化是否处于大于所述第一预定距离范围的第二预定距离范围之外，并且响应于确定所述用户的所述眼睛注视的所述位置的所检测变化处于所述第二预定距离范围之外而使所述系统提供通知。10.根据权利要求1所述的系统，其中所述控制器被进一步配置成确定所述用户在所述图像中的眼睛注视是否保持处于所述位置持续大于阈值时间段的时间段，并且响应于所述眼睛注视保持大于所述阈值时间段的所述时间段而移动联接到所述患者图像捕获装置的所述机器人臂。11.根据权利要求1所述的系统，其中所述控制器被进一步配置成：检测用于移动所述患者图像捕获装置的输入；确定所识别位置的变化；基于所识别位置的所述变化确定头部位置和/或速度；且基于所确定的头部位置和/或速度确定头部倾斜角、头部朝向或头部横滚角中的一个或多个。12.根据权利要求1所述的系统，其中所述控制器被进一步配置成：基于所识别位置确定头部姿势；基于所确定的头部姿势计算平移速度；根据所计算的平移速度映射x坐标以产生进/出速度；根据所计算的平移速度映射z坐标，基于所确定的头部姿势计算YZ朝向速度，并且映射所计算的YZ速度以产生摇摄角速度；从所确定的头部姿势中提取横滚值；映射所提取的横滚值以产生横滚角速度；且基于所述进/出速度、所述摇摄角速度和所述横滚角速度确定所述患者图像捕获装置的姿势。13.根据权利要求1所述的系统，其中所述机器人臂包含内窥镜。14.根据权利要求1所述的系统，其中所述控制器被配置成同时在所述第一模式和所述第二模式中运转。15.根据权利要求1所述的系统，其中所述控制器被配置成分别在所述第一模式和所述第二模式中运转。16.一种用于机器人外科手术装置控制的计算机实施的方法，其包括：显示外科手术部位的从联接到机器人臂的患者图像捕获装置获得的图像；识别用户的至少一部分在从所述用户图像捕获装置获得的图像中的位置；通过基于所识别的位置调整在自动立体显示器上显示的所述图像的三维方面在第一模式中操作；以及通过基于所识别的位置与所述外科手术部位图像之间的关系移动联接到所述患者图像捕获装置的所述机器人臂在第二模式中操作。17.根据权利要求16所述的方法，其中：所述自动立体显示器被进一步配置成包含多个像素，所述多个像素包含偶数像素列和奇数像素列，每个像素列被安置在对应的竖直透镜下方，对应于所述偶数像素列的所述竖直透镜被配置成允许所述偶数像素列能够被所述用户的第一只眼睛感知，并且对应于所述奇数像素列的所述竖直透镜被配置成允许所述奇数像素列能够被所述用户的第二只眼睛感知，且所述方法进一步包含：通过调整所述多个像素中的一个或多个像素来调整在所述自动立体显示器上显示的所述图像。18.根据权利要求17所述的方法，其进一步包括：识别所述用户的所述第一只眼睛和所述第二只眼睛在从所述用户图像捕获装置获得的所述图像中的位置；以及部分地基于所述用户的所述第一只眼睛的所识别位置或所述用户的所述第二只眼睛的所识别位置来调整在所述自动立体显示器上显示的所述多个像素中的所述一个或多个像素以改善所述用户的感知。19.根据权利要求16所述的方法，其进一步包括：基于所述第一只眼睛和所述第二只眼睛的位置检测所述用户的眼睛注视的位置；检测所述用户的所述眼睛注视的所述位置到另一个位置的变化；以及基于所述眼睛注视的所述位置与所述外科手术部位图像之间的关系移动联接到所述患者图像捕获装置的所述机器人臂。20.根据权利要求19所述的方法，其进一步包括：响应于所述用户的所述眼睛注视的所述位置的所检测变化而计...

【专利技术属性】
技术研发人员：迈尔·罗森贝格，德怀特·梅格兰，威廉·派纳，艾伯特·德沃尔尼克，
申请(专利权)人：柯惠LP公司，
类型：发明
国别省市：美国,US