自动内窥镜视频增强制造技术

用于基于描述用来至少部分地执行任务的手术机器人系统的状态的状态数据来自动增强任务的内窥镜视频的方法和系统。所述系统包括事件检测器和增强器。所述事件检测器被配置成：接收所述状态数据；并且识别所述状态数据中的一个或多个模式，所述一个或多个模式指示在所述任务期间发生的事件。增强器被配置成接收在任务期间捕获的内窥镜视频，所述内窥镜视频与状态数据时间同步；并且响应于事件检测器识别状态数据中指示发生的事件的模式，用识别关于所述内窥镜视频的所述事件以及发生事件的时间的信息自动地增强形成所述内窥镜视频的一部分或与所述内窥镜视频相关联的元数据。

【技术实现步骤摘要】
【国外来华专利技术】自动内窥镜视频增强
技术介绍
已知使用机器人辅助和执行手术。图1示出了典型的手术机器人100，其包括基座108、臂102和器械105。基座支撑机器人，并且其自身刚性地附接到例如手术室地面、手术室天花板或推车。臂在基座与器械之间延伸。臂借助于多个柔性关节103沿着其长度铰接，所述多个柔性关节用于将手术器械定位在相对于患者的期望位置中。手术器械附接到机器人臂的远端104。手术器械在端口107处穿透患者101的身体，以便接近手术部位。在其远端，器械包括用于参与医疗程序的末端执行器106。手术机器人100由操作者(例如，外科医生)经由图2中所示的操作者控制台200远程控制。操作者控制台200可以位于与手术机器人100相同的房间(例如，手术室)中或远离手术机器人。操作者控制台200包括用于控制臂102和/或与其附接的器械105的状态的输入装置202、204。输入装置202、204可以是安装在平行四边形联动装置上的把手或手动控制器。控制系统将手动控制器的移动转换成控制信号以移动手术机器人的臂关节和/或器械末端执行器。操作者控制台200还包括显示器206。显示器206被布置成对操作输入装置202、204的用户可见。显示器用于显示手术部位的视频流(例如内窥镜视频)。一些手术程序可能需要若干手术机器人，每个机器人携带器械或其它器具，该器械或器具与手术部位处的其它器具同时使用。图3示出了手术机器人系统300，其中多个机器人302、304、306在患者308身上的共同工作空间中操作。例如，手术机器人通常用于内窥镜手术(例如腹腔镜手术)，其也可以被称为微创手术。如本领域技术人员所知，在内窥镜程序期间，外科医生将内窥镜通过身体的小切口或天然开口(例如但不限于口或鼻孔)插入。内窥镜是刚性或柔性管，微小摄像头附接到其上，将实时图像传输到视频监视器(例如，显示器206)，外科医生使用该视频监视器帮助引导他的工具穿过相同的切口/开口或穿过不同的切口/开口。内窥镜允许外科医生详细查看身体的相关区域，而不必切割开口并暴露相关区域。该技术允许外科医生看到患者身体内部并且通过比传统开放手术所需的小得多的切口操作。因此，在典型的机器人内窥镜手术中，内窥镜附接到一个手术机器人臂，一个或多个手术器械(例如一对钳子和/或手术刀)附接到一个或多个其它手术机器人臂。图4示出了可附接到机器人臂的端部以用于微创手术的示例性内窥镜400。内窥镜400具有用于插入患者的手术部位的远端402和近端404。远端402由细长轴406连接到近端404。近端404包括用于接合机器人臂的端部的接口408。内窥镜400具有用于照射手术部位的电源和光源。内窥镜400还具有用于从手术部位提取图像数据的数据线。这些可全部独立于机器人臂且在机器人臂外部附接到内窥镜400的近端404，如图4中所示。在图4中，通过杆412施加动力，通过杆412提取图像数据，并且通过光杆410施加光。在替代实施方案中，光输入、功率输入和数据输出中的任何一个或多个可以通过机器人臂施加到内窥镜/提取到内窥镜。内窥镜400安装到机器人臂的端部。内窥镜接口408接合机器人臂的互补接口。内窥镜400可经由机器人臂和内窥镜接口附接到机器人臂且可从机器人臂拆卸。在一些情况下，内窥镜400可独立于机器人臂在其拆卸状态下操作。换句话说，在这些情况下，当从机器人臂拆卸时，内窥镜400可以由手术室工作人员的成员手动操作。除了在手术期间使用由内窥镜捕获的图像(在本文中可统称为内窥镜视频)之外，由内窥镜捕获的图像可以被记录和随后用于各种目的，例如但不限于学习和/或教学手术程序，以及评估和/或审查外科医生(由第三方或由外科医生本人)的表现。机器人辅助手术优于常规手动手术的优点之一是其允许更容易地收集关于如何执行外科手术的数据。例如，可以监测和记录机器人在手术期间的运动和/或位置。能够链接或以其它方式连接内窥镜视频与手术机器人生成/收集的数据或关于手术机器人的数据是有利的，以提高内窥镜视频在教学、表现评估/审核等中的实用性。下面描述的实施例仅作为实例提供，并且不限制解决已知手术机器人系统的任何或所有缺点的实施方式。
技术实现思路
提供此
技术实现思路
以介绍下文在具体实施方式中进一步描述的构思的选择。本
技术实现思路
不旨在识别所要求保护的主题的关键特征或必要特征，也不旨在用于限制所要求保护的主题的范围。本文描述了用于基于描述在任务期间手术机器人系统的状态的状态数据而自动增强对至少部分地由手术机器人系统执行的任务的内窥镜视频的方法和系统。所述系统包括事件检测器和增强器。所述事件检测器被配置成：接收所述状态数据；并且识别所述状态数据中的一个或多个模式，所述一个或多个模式指示在所述任务期间发生的事件。所述增强器被配置成：接收在所述任务期间捕获的内窥镜视频，所述内窥镜视频与所述状态数据时间同步；以及响应于所述事件检测器识别所述状态数据中的指示发生的事件的模式，用识别关于所述内窥镜视频的事件和发生事件的时间的信息自动地增强形成所述内窥镜视频的一部分或与所述内窥镜视频相关联的元数据。第一方面提供一种生成经增强内窥镜视频的增强系统，所述增强系统包括：事件检测器，所述事件检测器被配置成：接收描述在至少部分地由手术机器人系统执行的任务期间所述手术机器人系统的状态的状态数据，所述手术机器人系统包括至少一个手术机器人，所述至少一个手术机器人具有基座以及从所述基座延伸到器械的附接件的臂，所述臂包括多个关节，由此可以改变所述臂的配置；以及识别所述状态数据中的一个或多个模式，所述一个或多个模式指示在所述任务期间发生的事件；以及增强器，所述增强器被配置成：接收在所述任务期间捕获的内窥镜视频，所述内窥镜视频与所述状态数据时间同步；以及响应于所述事件检测器识别所述状态数据中的指示发生的事件的模式，用识别关于所述内窥镜视频的事件和事件时间的信息自动地增强形成所述内窥镜视频的一部分或与所述内窥镜视频相关联的元数据。当所述经增强内窥镜视频随后被所述用户观看时，识别所述事件和所述事件时间的信息可以对于用户可见。当所述经增强内窥镜视频随后被所述用户观看时，识别所述事件和所述事件时间的信息可以对用户选择性可见。当所述经增强内窥镜视频随后基于与所述用户相关联的权限而由所述用户观看时，识别所述事件和所述事件时间的信息对于用户可以是自动可见或不可见的。用识别关于所述内窥镜视频的事件和事件时间的信息来增强所述元数据可包括在识别所述事件的事件时间处向所述内窥镜视频添加书签。所述一个或多个模式可包括多个模式，每个模式对应于不同事件，并且所述事件检测器可以是可配置的以选择性地仅识别所述多个模式的子集。所述一个或多个模式可包括多个模式，每个模式对应于不同事件，并且所述事件检测器可以被配置成基于与发起所述增强的用户相关联的用户权限来识别所述多个模式的子集。所述状态数据可以至少部分地包括由所述手术机器人系统生成的数据。所述状态数据可以至少部分地包括由所述手术机器人系统外部的一个或多个源生成的数据。所述一个或多个模式可以被本文档来自技高网...

【技术保护点】
1.一种生成经增强内窥镜视频的增强系统(500)，所述增强系统(500)包括：/n事件检测器(504)，所述事件检测器被配置成：/n接收描述在至少部分地由手术机器人系统(502)执行的任务期间所述手术机器人系统(502)的状态的状态数据，所述手术机器人系统(502)包括至少一个手术机器人，所述至少一个手术机器人具有基座以及从所述基座延伸到器械的附接件的臂，所述臂包括多个关节，由此能够改变所述臂的配置；以及/n识别所述状态数据中的一个或多个模式，所述一个或多个模式指示在所述任务期间发生的事件；以及/n增强器(506)，所述增强器被配置成：/n接收在所述任务期间捕获的内窥镜视频，所述内窥镜视频与所述状态数据时间同步；以及/n响应于所述事件检测器(504)识别所述状态数据中的指示发生的事件的模式，用识别关于所述内窥镜视频的事件和事件时间的信息自动地增强形成所述内窥镜视频的一部分或与所述内窥镜视频相关联的元数据。/n

【技术特征摘要】
【国外来华专利技术】20181003 GB 1816164.61.一种生成经增强内窥镜视频的增强系统(500)，所述增强系统(500)包括：
事件检测器(504)，所述事件检测器被配置成：
接收描述在至少部分地由手术机器人系统(502)执行的任务期间所述手术机器人系统(502)的状态的状态数据，所述手术机器人系统(502)包括至少一个手术机器人，所述至少一个手术机器人具有基座以及从所述基座延伸到器械的附接件的臂，所述臂包括多个关节，由此能够改变所述臂的配置；以及
识别所述状态数据中的一个或多个模式，所述一个或多个模式指示在所述任务期间发生的事件；以及
增强器(506)，所述增强器被配置成：
接收在所述任务期间捕获的内窥镜视频，所述内窥镜视频与所述状态数据时间同步；以及
响应于所述事件检测器(504)识别所述状态数据中的指示发生的事件的模式，用识别关于所述内窥镜视频的事件和事件时间的信息自动地增强形成所述内窥镜视频的一部分或与所述内窥镜视频相关联的元数据。


2.根据权利要求1所述的增强系统(500)，其中当所述经增强内窥镜视频随后由用户观看时，识别所述事件和所述事件时间的信息对所述用户可见。


3.根据权利要求1所述的增强系统(500)，其中当所述经增强内窥镜视频随后由用户观看时，识别所述事件和所述事件时间的信息对所述用户选择性可见。


4.根据权利要求1所述的增强系统(500)，其中当所述经增强内窥镜视频随后基于与用户相关联的权限而由所述用户观看时，识别所述事件和所述事件时间的信息对所述用户是自动可见或不可见的。


5.根据任一前述权利要求所述的增强系统(500)，其中用识别关于所述内窥镜视频的事件和事件时间的信息来增强所述元数据包括在识别所述事件的事件时间处向所述内窥镜视频添加书签。


6.根据任一前述权利要求所述的增强系统(500)，其中所述一个或多个模式包括多个模式，每个模式对应于不同事件，并且所述事件检测器(504)可配置以选择性地仅识别所述多个模式的子集。


7.根据任一前述权利要求所述的增强系统(500)，其中所述一个或多个模式包括多个模式，每个模式对应于不同事件，并且所述事件检测器(504)被配置成基于与发起所述增强的用户相关联的用户权限来识别所述多个模式的子集。


8.根据任一前述权利要求所述的增强系统(500)，其中所述状态数据至少部分地包括由所述手术机器人系统(502)生成的数据。


9.根据权利要求8所述的增强系统(500)，其中所述状态数据至少部分地包括由所述手术机器人系统(502)外部的一个或多个源生成的数据。


10.根据任一前述权利要求所述的增强系统(500)，其中所述一个或多个模式被配置成识别一个或多个器械事件，所述一个或多个器械事件包括以下各项中的一个或多个：附接到所述手术机器人系统的手术机器人臂的器械更换；在附接到所述手术机器人系统的手术机器人臂的至少一个器械是通电器械时，所述通电器械的状态改变；在附接到所述手术机器人系统的手术机器人臂的至少一个器械是内窥镜时，清洁所述内窥镜；在附接到所述手术机器人系统的手术机器人臂的至少一个器械是内窥镜时，在所述内窥镜的成像系统上执行白平衡；在附接到所述手术机器人系统的手术机器人臂的器械中的至少一个是内窥镜时，所述内窥镜移动的大小或频率落在范围之外；以及正由所述手术机器人系统主动控制的器械的更换。


11.根据任一前述权利要求所述的增强系统(500)，其中所述一个或多个模式被配置成识别一个或多个碰撞事件，所述一个或多个碰撞事件包括以下各项中的一个或多个：所述手术机器人系统(502)的至少两个手术机器人臂之间的碰撞；附接到所述手术机器人系统(502)的不同手术机器人臂的至少两个器械之间的碰撞；以及所述手术机器人系统(502)的手术机器人臂与附接到所述手术机器人系统(502)的另一手术机器人臂的器械之间的碰撞。


12.根据任一前述权利要求所述的增强系统(500)，其中所述任务是在患者身上执行的手术程序，并且所述一个或多个模式被配置成识别一个或多个患者事件，所述一个或多个患者事件包括...

【专利技术属性】
技术研发人员：卢克·戴维·罗纳德·黑尔斯，保罗·克里斯多夫·罗伯茨，鲁珀特·孟席斯，马克·克利福德·斯莱克，
申请(专利权)人：CMR外科有限公司，
类型：发明
国别省市：英国;GB