用于在远程操作医疗系统中呈现器械的屏幕识别的系统和方法技术方案

公开了一种远程操作组件，远程操作组件包括操作员控制系统和被配置为控制医疗器械在手术环境中的移动的多个操纵器。由操作员控制系统远程操作控制操纵器。该系统还包括处理单元，该处理单元被配置为显示手术环境的视场的图像，将医疗器械的远端部分的位置投影到图像的坐标空间中，确定与每个医疗器械的远端部分相关联的标记的初始位置，基于其初始位置来评估用于每个标记的显示因素，并且基于显示因素，确定图像的坐标空间中每个标记的最终显示位置。

System and method for screen recognition for presenting instruments in a remote operating medical system

A remote operation component is disclosed, which consists of an operator control system and a plurality of manipulators configured to control the movement of medical devices in the surgical environment. The operator controls the system's remote operation to control the manipulator. The system also includes a processing unit, the processing unit is configured to display the image operation environment of the field of view, the medical position of the distal part of the projection to the image coordinate space, determine the initial position of the distal part of medical devices associated with each marker, based on its initial position to assess the factors for each show mark, and based on the factors that determine the final position of each marker, display image coordinates in space.

【技术实现步骤摘要】
【国外来华专利技术】用于在远程操作医疗系统中呈现器械的屏幕识别的系统和方法相关申请本专利申请要求2015年3月17日提交的题为“用于在远程操作医疗系统中呈现器械的屏幕识别的系统和方法(SYSTEMSANDMETHODSFORRENDERINGONSCREENIDENTIFICATIONOFINSTRUMENTSINATELEOPERATIONALMEDICALSYSTEM)”的美国临时专利申请62/134,294的提交日期的优先权和权益，该美国临时专利申请以其全部内容以引用方式并入本文。
技术介绍
微创医疗技术旨在减少在侵入性医疗过程期间损伤的组织的量，从而减少患者恢复时间、不适和有害的副作用。可通过患者解剖结构中的自然孔口或通过一个或多个手术切口实行此类微创技术。通过这些自然孔口或切口，临床医生可插入医疗工具以到达目标组织位置。微创医疗工具包括诸如治疗器械、诊断器械和手术器械的器械。微创医疗工具还可包括诸如内窥镜器械的成像器械。成像器械为用户提供患者解剖结构内的视场(fieldofview)。一些微创医疗工具和成像器械可被远程操作或以其他方式计算机辅助。在远程操作医疗系统中，无论是由于小的器械大小(size)、接近视场的边缘，还是由于被组织阻挡，器械可能很难看到。操作远程操作系统的临床医生也可能很难跟踪哪些器械在哪些操作员的控制下。需要系统和方法来向临床医生提供关于在临床医生的控制下的器械的信息，以减少临床医生错误的风险。
技术实现思路
由随附的权利要求总结本专利技术的实施例。在一个实施例中，远程操作组件包括操作员控制系统和被配置为控制医疗器械在手术环境中的移动的多个操纵器。由操作员控制系统远程操作控制操纵器。该系统还包括处理单元，该处理单元被配置为显示手术环境的视场的图像，将医疗器械的远端部分的位置投影到图像的坐标空间中，确定与每个医疗器械的远端部分相关联的标记的初始位置，基于其初始位置来评估每个标记的显示因素，并且基于显示因素确定图像的坐标空间中每个标记的最终显示位置。在另一个实施例中，显示手术环境的视场的图像。由成像器械获得该图像，并且该图像包含医疗器械的远端的图像。医疗器械耦接到远程操作组件的操纵器。医疗器械的远端的位置被投影到图像的坐标空间中，确定与医疗器械的远端相关联的标记的初始位置，基于其初始位置为每个标记评估显示因素，并且基于它们的显示因素确定每个标记在图像的坐标空间中的最终显示位置。应当理解，前述一般描述和以下详细描述本质上是示例性和解释性的，并且旨在提供对本公开的理解而不限制本公开的范围。在这一点上，通过以下具体实施方式，本公开的附加方面、特征和优点对于本领域技术人员来说将是显而易见的。附图说明当与附图一起阅读时，从以下具体实施方式最好地理解本公开的方面。要强调的是，根据行业的标准实践，未按比例绘制各种特征。事实上，为了讨论清楚，可能任意地增加或减少各种特征的尺寸。此外，本公开可在各种示例中重复附图标记和/或字母。该重复是为了简单和清楚的目的，并且本身并不规定所讨论的各种实施例和/或配置之间的关系。图1A是根据本公开的实施例的远程操作医疗系统的示意图。图1B是根据许多实施例的用于远程操作医疗系统的外科医生的控制台的透视图。图1C是根据许多实施例的远程操作医疗系统电子手推车的透视图。图1D是根据本文所描述的原理的一个示例的患者侧手推车的透视图。图2A示出了具有在视场中可见的至少一个医疗器械的手术工作空间的视场，该器械具有与其相关联的标记且包含与该器械有关的关联信息。图2B是示出用于操作远程操作医疗系统的方法的流程图。图3A-图3C示出了对应于如图3D-图3F所示的关联信息标记布置的输入控制装置和用户手位置。图3D-图3F示出了关联信息标记的轨道部分的各种布置。图4A-图4B示出了当相关联的器械朝向和远离成像装置移动时关联信息标记的大小改变行为。图5A-图5B示出了当相关联的医疗器械从视野中被阻挡时，关联信息标记如何保持可见。图6A-图6B示出了当医疗器械紧密接近时关联信息标记的调节。图7A-图7C示出了当相关联的医疗器械靠近手术环境的图像的边缘时且当医疗器械移动到手术环境的图像的外面时关联信息标记的行为。图8示出了在手术工作空间的视场的图像内呈现标记的方法。图9详细示出了图8的过程，其中医疗器械远端部分的位置被投影到手术工作空间的视场的图像的坐标空间中。图10详细示出了图8的过程，其中检查和解决标记的潜在重叠。在这种情况下，存在至少两个医疗器械。图11详细示出了图8的过程，其中标记被限制到手术工作空间的视场的图像的可视空间。具体实施方式为了促进对本公开的原理的理解的目的，现在将参考附图中所示的实施例，并且将使用特定语言来描述附图中所示的实施例。然而，应当理解，不旨在限制本公开的范围。在以下对本专利技术的方面的详细描述中，阐述了大量具体细节，以便提供对所公开的实施例的透彻理解。然而，对于本领域技术人员将明显的是，可在不具有这些具体细节的情况下实践本公开的实施例。在其他情况下，没有详细描述众所周知的方法、过程、部件和电路，以免不必要地使本专利技术的实施例的方面模糊不清。如本公开所涉及的领域中的技术人员通常会想到的，对所描述的装置、器械、方法以及对本公开的原理的任何进一步的应用的任何更改和进一步的修改是完全预期的。特别地，完全预期到，关于一个实施例描述的特征、部件和/或步骤可与关于本公开的其他实施例描述的特征、部件和/或步骤组合。此外，本文提供的尺寸用于具体示例，并且预期可利用不同大小、尺寸和/或比率，以实施本公开的概念。为了避免不必要的描述性重复，如果是其他说明性实施例中适用的，可使用或省略根据一个说明性实施例描述的一个或多个部件或动作。为了简洁起见，将不会单独描述这些组合的大量迭代。为了简单，在一些情况下，在整个附图中使用相同的附图标记以指代相同或相似的部分。下面的实施例将依据各种器械和器械的部分在三维空间中的状态来描述各种器械和器械的部分。如本文所使用的，术语“位置”是指对象或对象的一部分在三维空间中的位置(例如，沿笛卡尔X、Y、Z坐标的三个平移自由度)。如本文所使用的，术语“取向”是指对象或对象的一部分的旋转放置(三个旋转自由度—例如，翻滚、俯仰和偏航)。如本文所使用的，术语“位姿”是指对象或对象的一部分在至少一个平移自由度中的位置和对象或对象的一部分在至少一个旋转自由度(最多六个自由度)中的取向。如本文所使用的，术语“形状”是指沿着对象测量的一组位姿、位置或取向。参考附图的图1A，一般由附图标记10指示用于例如包括诊断、治疗或手术过程的医疗过程中的远程操作医疗系统。如将描述的，本公开的远程操作医疗系统处于外科医生的远程操作控制下。在替代实施例中，远程操作医疗系统可处于被编程用于实行过程或子过程的计算机的部分控制之下。在其他替代实施例中，在被编程用于实行过程或子过程的计算机的完全控制下，完全自动化的医疗系统可用于实行过程或子过程。如图1A所示，远程操作医疗系统10一般包括安装到患者P被定位在其上的手术台O或手术台O附近的远程操作组件12。远程操作组件12可称为患者侧手推车。医疗器械系统14和内窥镜成像系统15可操作地耦接到远程操作组件12。操作员输入系统16允许外科医生或其他类型的临床医生S查看手术部位的图本文档来自技高网...

【技术保护点】
一种系统，包括：远程操作组件，所述远程操作组件包括操作员控制系统和被配置为由所述操作员控制系统远程操作的多个操纵器，其中所述多个操纵器的第一操纵器被配置为控制第一医疗器械在手术环境中的移动，所述多个操纵器的第二操纵器被配置为控制第二医疗器械在所述手术环境中的移动，并且所述多个操纵器的第三操纵器被配置为控制成像器械的移动；以及处理单元，所述处理单元包括一个或多个处理器，其中所述处理单元被配置为显示所述手术环境的视场的图像；将所述第一医疗器械的远端部分的位置投影到图像坐标空间中；将所述第二医疗器械的远端部分的位置投影到图像坐标空间中；确定与所述第一医疗器械的所述远端部分相关联的第一标记的初始位置；确定与所述第二医疗器械的所述远端部分相关联的第二标记的初始位置；基于所述第一标记和所述第二标记的所述初始位置，评估显示因素；基于所述显示因素，确定所述第一标记在所述图像坐标空间中的显示位置；以及基于所述显示因素，确定所述第二标记在所述图像坐标空间中的显示位置。

【技术特征摘要】
【国外来华专利技术】2015.03.17 US 62/134,2941.一种系统，包括：远程操作组件，所述远程操作组件包括操作员控制系统和被配置为由所述操作员控制系统远程操作的多个操纵器，其中所述多个操纵器的第一操纵器被配置为控制第一医疗器械在手术环境中的移动，所述多个操纵器的第二操纵器被配置为控制第二医疗器械在所述手术环境中的移动，并且所述多个操纵器的第三操纵器被配置为控制成像器械的移动；以及处理单元，所述处理单元包括一个或多个处理器，其中所述处理单元被配置为显示所述手术环境的视场的图像；将所述第一医疗器械的远端部分的位置投影到图像坐标空间中；将所述第二医疗器械的远端部分的位置投影到图像坐标空间中；确定与所述第一医疗器械的所述远端部分相关联的第一标记的初始位置；确定与所述第二医疗器械的所述远端部分相关联的第二标记的初始位置；基于所述第一标记和所述第二标记的所述初始位置，评估显示因素；基于所述显示因素，确定所述第一标记在所述图像坐标空间中的显示位置；以及基于所述显示因素，确定所述第二标记在所述图像坐标空间中的显示位置。2.根据权利要求1所述的系统，其中评估显示因素包括确定所述第一标记的所述初始位置是否与所述第二标记的所述初始位置重叠。3.根据权利要求1所述的系统，其中评估显示因素包括确定所述第一标记的所述初始位置是否与所述第二医疗器械的所述远端部分的投影位置重叠。4.根据权利要求1所述的系统，其中评估显示因素包括确定所述第一医疗器械和所述第二医疗器械的所述远端部分的投影位置之间的距离；将所述距离与预定的标记间距离阈值进行比较；确定方向分量，根据所述方向分量修改所述第一标记的所述初始位置以生成所述第一标记的所述显示位置；以及确定平移分量，根据所述平移分量修改所述第一标记的所述初始位置以生成所述第一标记的所述显示位置。5.根据权利要求1所述的系统，其中评估显示因素包括评估所述第一标记和所述第二标记的所述初始位置是否在所述视场的所述图像的边界内。6.根据权利要求1所述的系统，其中评估显示因素包括基于所述第一标记和所述第二标记的边界半径，定义所述视场的所述图像的插入边界；以及通过调节所述第一标记的所述初始位置的Y位置值以将所述第一标记约束在所述插入边界内，生成所述第一标记的所述显示位置。7.根据权利要求1所述的系统，其中所述第一标记在所述图像坐标空间中的所述显示位置包括右眼显示位置和左眼显示位置，并且其中评估显示因素包括基于所述第一标记和所述第二标记的边界半径，定义所述视场的所述图像的插入边界；以及通过计算所述第一标记的所述初始位置的X位置偏移以将所述第一标记约束在所述插入边界内，并且通过应用所述X位置偏移以生成所述右眼显示位置和所述左眼显示位置，生成所述第一标记的所述显示位置。8.根据权利要求1所述的系统，其中将所述第一医疗器械的所述远端部分的所述位置投影到所述图像坐标空间中包括：评估用于所述第一操纵器的正向运动学模型，以确定所述第一医疗器械的所述远端部分的位置；评估用于所述第二操纵器的正向运动学模型，以确定所述第二医疗器械的所述远端部分的位置；将所述第一医疗器械和所述第二医疗器械的所述远端部分的所述位置映射到成像器械尖端坐标空间；获得用于所述成像器械的校准的相机变换；以及将所述第一医疗器械和所述第二医疗器械的所述远端部分的所述位置投影到右眼图像坐标空间，并且投影到左眼图像坐标空间。9.根据权利要求8所述的系统，其中将所述第一医疗器械的所述远端部分的所述位置投影到所述图像坐标空间中还包括：评估用于所述第三操纵器的正向运动学模型，以确定成像器械远侧尖...

【专利技术属性】
技术研发人员：B·D·伊科威兹，P·W·莫尔，
申请(专利权)人：直观外科手术操作公司，
类型：发明
国别省市：美国,US