用于主机/工具配准和控制以进行直观运动的系统和方法技术方案

本发明专利技术提供了一种由计算系统执行的方法。该方法包括从成像设备接收图像数据，以及使用图像数据来确定多个图像空间工具，每个图像空间工具与多个工具中的工具相关联，每个工具由多个操纵器中的操纵器控制。该方法还包括基于与第一工具相关联的第一消歧设置来确定多个图像空间工具中的第一图像空间工具与多个工具中的第一工具之间的第一对应关系。具中的第一工具之间的第一对应关系。具中的第一工具之间的第一对应关系。

【技术实现步骤摘要】
【国外来华专利技术】用于主机/工具配准和控制以进行直观运动的系统和方法
[0001]相关申请的交叉引用
[0002]本申请要求2018年10月22日提交的美国临时申请62/748,698的权益，该专利申请的全部内容以引用方式并入本文。


[0003]本公开涉及用于执行机器人规程的系统和方法，并且更具体地涉及用于确定在控制工具的移动中使用的主机与工具对准的系统和方法。

技术介绍

[0004]机器人设备的系统可以用于在工作现场执行任务。例如，机器人系统可以包括机器人操纵器以操纵用于执行任务的器械。机器人操纵器可以包括通过一个或多个关节联接在一起的两个或更多个连杆。关节可以是被主动控制的主动关节。关节也可以是在主动关节被主动控制时符合主动关节的移动的被动关节。此类主动关节和被动关节可以是旋转关节或棱柱关节。然后，可通过关节的位置和取向、机器人操纵器的结构以及连杆的联接来确定机器人操纵器的配置。
[0005]机器人系统包括工业和娱乐机器人系统。机器人系统还包括用于诊断、非外科手术治疗、外科手术治疗等的规程中使用的医疗机器人系统。作为具体示例，机器人系统包括微创机器人远程外科手术系统，其中外科医生可以从床边或远程位置对患者进行操作。远程外科手术通常是指使用外科手术系统来执行的外科手术，其中外科医生使用某种形式的远程控制(例如，伺服机构)来操纵外科手术器械移动而不是用手直接保持和移动器械。可用于远程外科手术或其他远程医疗规程的机器人医疗系统可以包括可远程控制的机器人操纵器。操作者可以远程控制可远程控制的机器人操纵器的运动。操作者还可以手动将机器人医疗系统的各个部分移动到其环境中的位置或取向。
[0006]在机器人系统中，各种应用可以依赖于工具和工作部位图像(例如，由受机器人操纵器或人类操纵者控制的成像设备提供)中的图像空间工具之间的准确对应关系。例如，此类应用可以包括：图形信息显示系统，其将操纵器及其工具的图形信息叠加到显示器中对应的图像空间工具；自主任务执行系统，其主要由工作部位的机器视觉引导。对于进一步的示例，对于在外科手术环境中使用的机器人远程外科手术系统，可以将多个图像引导工具插入患者解剖结构中，并且包括多个图像空间工具的患者解剖结构的图像可以用于引导医疗操作。然而，在机器人系统包括多个工具的实施例中，在建立多个工具与图像中的多个图像空间工具的对应关系时可能出现歧义，这可能影响依赖于可出现的器械的多个工具与多个图像空间工具的对应关系的那些应用的性能(例如，图形信息显示系统的内容准确性、机器人远程外科手术系统的直观性)，这可以影响远程操作系统的直观性。
[0007]因此，提供用于建立器械与图像的对应关系的改善消歧过程将是有利的。

技术实现思路

[0008]本专利技术的实施例由下面随附的权利要求概括。
[0009]在一些实施例中，一种机器人系统包括：多个操纵器，其被配置为物理地联接到多个工具；以及控制系统，其可通信地联接到多个操纵器。控制系统被配置为接收由成像设备提供的图像数据，并且基于图像数据来确定多个图像空间工具。每个图像空间工具与多个工具中的工具相关联。控制系统被进一步配置为基于与第一工具相关联的第一消歧设置来确定多个图像空间工具中的第一图像空间工具与多个工具中的第一工具之间的第一对应关系。
[0010]在一些实施例中，一种方法由计算系统执行。该方法包括接收由成像设备提供的图像数据，以及使用图像数据来确定多个图像空间工具，每个图像空间工具与多个工具中的工具相关联。每个工具由多个操纵器中的操纵器控制。该方法还包括基于与第一工具相关联的第一消歧设置来确定多个图像空间工具中的第一图像空间工具与多个工具中的第一工具之间的第一对应关系。
[0011]在一些实施例中，一种非暂时性机器可读介质包括多个机器可读指令，多个机器可读指令在由一个或多个处理器执行时，适于致使一个或多个处理器执行一种方法。该方法包括从成像设备接收图像数据，以及使用图像数据来确定多个图像空间工具，每个图像空间工具与多个工具中的工具相关联，每个工具由多个操纵器中的操纵器控制。该方法还包括基于与第一工具相关联的第一消歧设置来确定多个图像空间工具中的第一图像空间工具与多个工具中的第一工具之间的第一对应关系。
[0012]应当理解，前面的一般描述和下面的详细描述在本质上都是示例性和解释性的，并且旨在提供对本公开的理解，而不限制本公开的范围。就这一点而言，根据以下详细描述，本公开的附加方面、特征和优点对于本领域技术人员将是显而易见的。
附图说明
[0013]当与附图一起阅读时，根据以下详细描述最好地理解本公开的各方面。需要强调的是，根据标准惯例，各种特征并未按比例绘制。实际上，为了讨论的清楚，各种特征的尺寸可以任意增加或减小。此外，本公开可以在各个示例中重复附图标记和/或字母。该重复是出于简单和清楚的目的，并且其本身并不指示所讨论的各种实施例和/或配置之间的关系。
[0014]图1A是根据本公开的实施例的机器人医疗系统的示意图。
[0015]图1B是根据本公开的实施例的操纵器组件的透视图。
[0016]图1C是根据本公开的实施例的用于机器人医疗系统的操作者的控制台的透视图。
[0017]图2是根据本公开的实施例的操作者的输入控制器的透视图。
[0018]图3A是根据本公开的实施例的机器人医疗系统的三个操纵器组件的透视图；图3B是根据本公开的实施例的机器人医疗系统的工具的透视图。
[0019]图4A是根据本公开的实施例的通过操作者的控制台的显示器的成像图；图4B是根据本公开的实施例的通过操作者的控制台的显示器的另一个成像图。
[0020]图5示出了提供根据本公开的实施例的用于执行消歧过程或其部分以进行主机-工具配准的方法的流程图。
[0021]图6示出了提供根据本公开的实施例的用于使用控制系统命令运动来执行消歧过
程或其部分以进行主机-工具配准的方法的流程图。
[0022]图7示出了提供根据本公开的实施例的用于使用运动估计来执行消歧过程或其部分以进行主机-工具配准的方法的流程图。
[0023]图8示出了提供根据本公开的实施例的用于使用操作者命令运动的变换来执行消歧过程或其部分以进行主机-工具配准的方法的流程图。
[0024]图9示出了提供根据本公开的实施例的用于使用姿势估计来执行消歧过程或其部分以进行主机-工具配准的方法的流程图。
[0025]图10示出了提供根据本公开的实施例的用于使用基于外观的消歧设置来执行消歧过程或其部分以进行主机-工具配准的方法的流程图。
[0026]图11示出了提供根据本公开的实施例的用于使用操作者指定的消歧设置来执行消歧过程或其部分以进行主机-工具配准的方法的流程图。
[0027]图12示出了根据本公开的实施例的工具的示例外观和姿势估计。
具体实施方式
[0028]为了促进对本公开的原理的理解的目的，现在将参考附图中示出的实施例，并且将使用特定语言来描述它们。然而，应本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种机器人系统，包括：多个操纵器，所述多个操纵器被配置为物理地联接到多个工具；以及控制系统，所述控制系统可通信地联接到所述多个操纵器，所述控制系统被配置为：接收由成像设备提供的图像数据，基于所述图像数据来确定多个图像空间工具，每个图像空间工具与多个工具中的工具相关联；以及基于与第一工具相关联的第一消歧设置来确定所述多个图像空间工具中的第一图像空间工具与所述多个工具中的所述第一工具之间的第一对应关系。2.根据权利要求1所述的机器人系统，还包括输入设备，所述输入设备可通信地联接到所述控制系统，其中所述控制系统被进一步配置为：当所述第一工具物理地联接到所述多个操纵器中的第一操纵器时，从所述输入设备接收用以移动所述第一工具的移动命令；基于所述第一对应关系来确定所述成像设备与所述第一工具之间的第一对准关系；根据所述移动命令并基于所述第一对准关系来计算所述第一操纵器的用于移动所述第一工具的运动；以及基于所计算的运动来移动所述第一操纵器。3.根据权利要求1所述的机器人系统，其中当所述第一工具联接到所述多个操纵器中的第一操纵器时，所述控制系统确定所述第一对应关系，并且当所述成像设备联接到所述多个操纵器中的第二操纵器时，所述控制系统接收所述图像数据，其中所述第一操纵器具有第一基部，并且其中所述第二操纵器具有物理上独立于所述第一基部的第二基部。4.根据权利要求1所述的机器人系统，其中当所述第一工具联接到所述多个操纵器中的第一操纵器时，所述控制系统确定所述第一对应关系，并且当所述成像设备联接到所述多个操纵器中的第二操纵器时，所述控制系统接收所述图像数据，并且其中所述第一操纵器和所述第二操纵器物理地接地到相同基部。5.根据权利要求1所述的机器人系统，其中所述控制系统被进一步配置为：基于与第二工具相关联的第二消歧设置来确定所述多个图像空间工具中的第二图像空间工具与所述多个工具中的所述第二工具之间的第二对应关系。6.根据权利要求5所述的机器人系统，其中所述第一消歧设置和所述第二消歧设置中的每一者的类型选自由以下组成的组：基于姿势的消歧设置、操作者指定的消歧设置、基于外观的消歧设置和基于运动的消歧设置，并且其中所述第一消歧设置和所述第二消歧设置具有不同的类型。7.根据权利要求5所述的机器人系统，其中所述第一消歧设置和所述第二消歧设置中的每一者的类型选自由以下组成的组：基于姿势的消歧设置、操作者指定的消歧设置、基于外观的消歧设置和基于运动的消歧设置，并且其中所述第一消歧设置和所述第二消歧设置具有相同的类型。8.根据权利要求1至7中任一项所述的机器人系统，其中所述第一消歧设置包括操作者指定的消歧设置。9.根据权利要求8所述的机器人系统，其中所述控制系统被进一步配置为：从操作者接收所述第一图像空间工具与所述第一工具相关联的第一指示。
10.根据权利要求8所述的机器人系统，其中所述控制系统被进一步配置为：指导操作者以第一移动来移动所述第一工具；以及基于所述第一移动的表现来确定第一对应关系。11.根据权利要求1至7中任一项所述的机器人系统，其中所述第一消歧设置包括基于外观的消歧设置。12.根据权利要求11所述的机器人系统，其中所述基于外观的消歧设置包括所述第一工具的可见特征。13.根据权利要求12所述的机器人系统，其中所述第一工具的所述可见特征包括末端执行器特征。14.根据权利要求12所述的机器人系统，其中所述可见特征包括所述第一工具上的第一标记。15.根据权利要求14所述的机器人系统，其中所述第一标记包括第一图案，或者其中所述第一标记与由所述第一工具发射的光相关联。16.根据权利要求14所述的机器人系统，其中所述第一标记在人眼的可见光谱之外的第一光波长带中可见；或者所述成像设备包括多光谱成像设备，并且其中所述第一标记包括光谱编码。17.根据权利要求11所述的机器人系统，其中所述基于外观的消歧设置包括工具的尺寸特征。18.根据权利要求1至7中任一项所述的机器人系统，其中所述第一消歧设置包括基于姿势的消歧设置。19.根据权利要求1至7中任一项所述的机器人系统，其中所述控制系统被进一步配置为：当所述第一操纵器物理联接到所述第一工具时，使用所述多个操纵器中的第一操纵器的操纵器数据来确定所述第一工具的第一姿势估计；以及基于所述第一姿势估计来确定所述第一对应关系。20.根据权利要求19所述的机器人系统，其中所述操纵器数据包括与所述第一操纵器相关联的传感器数据和运动学数据中的至少一者。21.根据权利要求19所述的机器人系统，其中所述第一姿势估计包括所述第一工具的末端执行器的末端执行器姿势估计。22.根据权利要求21所述的机器人系统，其中所述末端执行器姿势估计包括以下的估计：所述末端执行器的两个钳口的打开量；或者所述末端执行器相对于所述工具的另一个部分的相对姿势。23.根据权利要求19所述的机器人系统，其中所述第一姿势估计包括：所述工具围绕所述工具的第一轴线的旋转量估计；或者所述第一工具的轴的轴姿势估计；或者所述第一工具的腕部的腕部姿势估计。24.根据权利要求19所述的机器人系统，其中所述第一姿势估计包括所述第一工具的多个部分的多个姿势。
25.根据权利要求1至7中任一项所述的机器人系统，其中所述第一消歧设置包括第一基于运动的消歧设置。26.根据权利要求25所述的机器人系统，其中所述控制系统被进一步配置为：基于所述第一基于运动的消歧设置来控制联接到所述第一工具的第一操纵器使所述第一工具以第一目标运动进行移动；以及基于所述第一目标运动的表现来确定所述第一基于运动的消歧设置。27.根据权利要求26所述的机器人系统，其中所述第一目标运动包括围绕所述第一工具的第一轴线的旋转运动。28.根据权利要求26所述的机器人系统，其中所述第一目标运动包括沿着所述第一工具的第一轴线的第一量的第一平移运动。29.根据权利要求28所述的机器人系统，其中所述第一目标运动包括沿着所述第一工具的所述第一轴线的具有第二量的第二平移运动，其中所述第一平移运动是退出运动和插入运动中的一者，其中所述第二平移运动是所述退出运动和所述插入运动中的另一者，并且其中所述第二量等于或小于所述第一量。30.根据权利要求26所述的机器人系统，其中所述第一目标运动具有人类操作者无法识别的运动量。31.根据权利要求26所述的机器人系统，其中所述第一目标运动包括以第一频率的振动运动。32.根据权利要求26所述的机器人系统，其中所述控制系统被配置为控制所述第一操纵器，以便在所述图像数据中捕获到所述多个图像空间工具之后并且在通过主机输入设备启用所述第一工具的命令运动之前以所述第一目标运动移动所述第一工具。33.根据权利要求26所述的机器人系统，其中所述控制系统被进一步配置为：控制联接到第二工具的第二操纵器以便以与所述第二工具相关联的第二基于运动的消歧设置的第二目标运动移动所述第二工具；以及基于所述第二目标运动来确定所述多个图像空间工具中的第二图像空间工具与所述第二工具之间的第二对应关系。34.根据权利要求33所述的机器人系统，其中所述第一目标运动和所述第二目标运动包括不同类型的运动。35.根据权利要求33所述的机器人系统，其中所述控制系统被配置为控制所述第一操纵器以便在第一时间段期间以所述第一目标运动移动所述第一工具并且控制所述第二操纵器以便在第二时间段期间以所述第二目标运动移动所述第二工具，其中所述第一时间段和所述第二时间段在...

【专利技术属性】
技术研发人员：S，
申请(专利权)人：直观外科手术操作公司，
类型：发明
国别省市：