用于确定物体的位姿的方法和手术机器人系统技术方案

本公开涉及定位技术领域，公开一种用于确定物体的位姿的方法、计算机设备、计算机可读存储介质和手术机器人系统。用于确定物体的位姿的方法，包括：获取定位图像；在定位图像中，识别位于物体上的多个位姿标识，多个位姿标识包括不同的位姿标识图案；以及基于多个位姿标识，确定物体相对参考坐标系的位姿。确定物体相对参考坐标系的位姿。确定物体相对参考坐标系的位姿。

【技术实现步骤摘要】
用于确定物体的位姿的方法和手术机器人系统


[0001]本公开属于定位
，尤其涉及一种用于确定物体的位姿的方法和手术机器人系统。

技术介绍

[0002]随着技术的发展，由人工或者计算机控制相关机器设备执行期望的动作以辅助或者替代操作人员变得越来越普及。例如，使用物流机器人进行快递的分拣，使用手术机器人辅助医生执行手术等。
[0003]上述应用中，需要确定受控的装置或结构等可活动部件的位姿，从而实现机器设备的控制。

技术实现思路

[0004]在一些实施例中，本公开提供了一种用于确定物体的位姿的方法，包括：获取定位图像；在定位图像中，识别位于物体上的多个位姿标识，多个位姿标识包括不同的位姿标识图案；以及基于多个位姿标识，确定物体相对参考坐标系的位姿。
[0005]在一些实施例中，本公开提供了一种计算机设备，计算机设备包括：存储器，用于存储有至少一条指令；以及处理器，与存储器耦合，用于执行至少一条指令以执行本公开的方法。
[0006]在一些实施例中，本公开提供了一种计算机可读存储介质，存储介质中存储有至少一条指令，至少一条指令由处理器执行以使计算机执行本公开的方法。
[0007]在一些实施例中，本公开提供了一种手术机器人系统，包括：手术器械，手术器械包括操作臂、设置在操作臂的末端的远端的执行器以及设置在操作臂的末端上的多个位姿标识，多个位姿标识包括不同的位姿标识图案；图像采集器，用于采集操作臂的定位图像；以及处理器，与图像采集器连接，用于执行本公开的方法以确定执行器的位姿。
附图说明
[0008]图1示出根据本公开一些实施例的控制系统的示意图；
[0009]图2示出根据本公开一些实施例的包括多个位姿标识的标签的示意图；
[0010]图3示出根据本公开一些实施例设置在操作臂末端周侧并形成圆筒形的标签的示意图；
[0011]图4示出根据本公开一些实施例的确定物体的位姿的方法的流程图；
[0012]图5示出根据本公开一些实施例的确定多个位姿标识相对物体坐标系的三维坐标的方法的流程图；
[0013]图6示出根据本公开另一些实施例的确定多个位姿标识相对物体坐标系的三维坐标的方法的流程图；
[0014]图7示出根据本公开一些实施例的识别位姿标识的方法的流程图；
[0015]图8示出根据本公开一些实施例的位姿标识图案的示意图；
[0016]图9示出根据本公开一些实施例的用于搜索位姿标识的方法的流程图；
[0017]图10示出根据本公开一些实施例的搜索位姿标识的示意图；
[0018]图11示出根据本公开一些实施例的用于搜索第二位姿标识的方法的流程图；
[0019]图12示出根据本公开一些实施例的用于搜索位姿标识的方法的流程图；
[0020]图13示出根据本公开一些实施例的计算机设备的示意框图；
[0021]图14示出根据本公开一些实施例的手术机器人系统的示意图。
具体实施方式
[0022]下面结合附图描述本公开的示例性实施例，本领域技术人员可以理解，本公开的范围并不仅限于这些实施方案。本公开可以在下述实施方案的基础上作出各种改进和变化。这些改进和变化都包括在本公开的范围之内。
[0023]在本公开中，术语“位置”指物体或物体的一部分在三维空间中的定位(例如，可使用笛卡尔X、Y和Z坐标方面的变化描述三个平移自由度，例如分别沿笛卡尔X轴、Y轴和Z轴的三个平移自由度)。在本公开中，术语“姿态”指物体或物体的一部分的旋转设置(例如三个旋转自由度，可使用滚转、俯仰和偏转来描述这三个旋转自由度)。在本公开中，术语“位姿”指物体或物体的一部分的位置和姿态的组合，例如可使用以上提到的六个自由度中的六个参数来描述。
[0024]在本公开中，参考坐标系可以理解为描述物体位姿的坐标系。根据实际的定位需求，参考坐标系可以选择以虚拟参照物的原点或实体参照物的原点为坐标系原点。在一些实施例中，参考坐标系可以为世界坐标系或者相机坐标系或者操作人员自身的感知坐标系等。在一些实施例中，物体坐标系的位姿用于表示物体的位姿，物体坐标系相对参考坐标系的位姿可以表示物体相对参考坐标系的位姿。在一些实施例中，物体可以理解为需要被定位的对象或目标，例如操作臂或者操作臂末端或者设置在操作臂末端的远端的执行器。其中，操作臂可以是刚性臂或者可形变臂(例如，图1中所示的操作臂140)。
[0025]在一些实施例中，本公开的用于确定物体的位姿的方法可以应用于需要获取物体的位姿的应用场景。例如，在手术机器人的执行器执行抓取、夹持、切割、电凝或缝合等动作过程中，为了实现对执行器的精确控制，需要获取执行器相对世界坐标系的实际位置，还需要获取执行器相对世界坐标系的姿态(例如，可以包括执行器的滚转角、俯仰角和偏转角)。其中，手术机器人具体可以为腔镜手术机器人、骨科手术机器人和血管介入手术机器人等。
[0026]图1示出根据本公开一些实施例的控制系统100的示意图。如图1所示，在控制系统100中需要确定位姿的物体可以包括操作臂140。控制系统100可以包括图像采集设备110、至少一个操作臂140和控制装置120。图像采集设备110和至少一个操作臂140分别与控制装置120通信连接。在一些实施例中，如图1所示，控制装置120可以用于控制至少一个操作臂140的运动，以调整至少一个操作臂140的位姿、相互协调等。在一些实施例中，至少一个操作臂140在末端或远端处可以包括操作臂末端130。控制装置120可以控制至少一个操作臂140运动，以使操作臂末端130运动至期望的位置和姿态。本领域的技术人应理解，控制系统100可以应用于手术机器人系统，例如腔镜手术机器人系统。例如，操作臂末端130的远端处可以设置执行器160，如图1所示。应当理解，控制系统100还可以应用于其他领域(例如，制
造、机械等等)的专用或通用机器人系统。
[0027]在本公开中，控制装置120可以与至少一个操作臂140的驱动单元150(例如电机)通信连接并向驱动单元150发送驱动信号，从而使驱动单元150基于驱动信号控制至少一个操作臂140运动到相应的目标位姿。例如，控制操作臂140运动的驱动单元150可以为伺服电机，可以接受控制装置的指令以控制操作臂140运动。控制装置120还可例如通过通信接口与驱动单元150耦合的传感器通信连接，以接收操作臂140的运动数据，实现对操作臂140的运动状态监控。在本公开的一个示例中，该通信接口可以为CAN(Controller Area Network)总线通信接口，其使得控制装置120能够通过CAN总线与驱动单元150以及传感器连接通信。在一些实施例中，控制装置120可以包括本地处理器(例如，本地的计算机设备)或者云端处理器(例如，云服务器或者云计算平台)。
[0028]在一些实施例中，操作臂140可以包括连续体可形变臂，例如由多个关节构成的具有多自由度的操作臂，诸如可以实现6个自由度运动的操作臂。...

【技术保护点】

【技术特征摘要】
1.一种用于确定物体的位姿的方法，包括：获取定位图像；在所述定位图像中，识别位于所述物体上的多个位姿标识，所述多个位姿标识包括不同的位姿标识图案；以及基于所述多个位姿标识，确定所述物体相对参考坐标系的位姿。2.根据权利要求1所述的方法，包括：基于所述多个位姿标识的分布，确定所述多个位姿标识相对物体坐标系的三维坐标。3.根据权利要求2所述的方法，包括：基于所述多个位姿标识的分布，确定所述多个位姿标识相对所述物体坐标系的Z轴的绕轴角度；以及基于所述多个位姿标识的绕轴角度，确定所述多个位姿标识相对所述物体坐标系的三维坐标。4.根据权利要求3所述的方法，包括：基于所述多个位姿标识图案，确定所述多个位姿标识相对所述物体坐标系的Z轴的绕轴角度。5.根据权利要求2
‑
4中任一项所述的方法，包括：确定所述多个位姿标识在所述定位图像中的二维坐标；以及基于所述多个位姿标识在所述定位图像中的二维坐标和所述多个位姿标识相对所述物体坐标系的三维坐标，确定所述物体相对参考坐标系的位姿。6.根据权利要求1所述的方法，包括：从所述定位图像中确定多个候选位姿标识；基于多个不同的位姿图案匹配模板，从所述多个候选位姿标识中识别第一位姿标识；以及以所述第一位姿标识作为起点，搜索位姿标识。7.根据权利要求6所述的方法，所述位姿标识包括在所述位姿标识图案中的位姿标识图案角点，所述方法包括：在所述定位图像中确定感兴趣区域；将所述感兴趣区域划分为多个子区域；确定每个所述子区域中角点似然值最大的像素以形成像素集合；确定所述像素集合中角点似然值最大的像素作为候选位姿标识图案角点；以及将所述多个不同的位姿图案匹配模板分别与所述候选位姿标识图案角点位置处的图案进行匹配，以识别所述第一位姿标识。8.根据权利要求7所述的方法，包括：响应于匹配失败，确定所述像素集合中剩余像素的角点似然值最大的像素作为候选位姿标识图案角点。9.根据权利要求6
‑
8中任一项所述的方法，包括：以所述第一位姿标识作为起点，搜索第二位姿标识；基于所述第一位姿标识、所述第二位姿标识，确定搜索方向；以及以所述第一位姿标识或所述第二位姿标识作为起点，在所述搜索方向上搜索位姿标
识。10.根据权利要求9所述的方法，以所述第一位姿标识作为起点搜索第二位姿标识包括：以所述第一位姿标识作为起点，搜索所述第二位姿标识的候选位姿标识图案角点；基于所述多个位姿标识的分布，确定第一位姿图案匹配模板和第二位姿图案匹配模板，所述第一位姿图案匹配模板和第二位姿图案匹配模板对应于与所述第一位姿标识相邻的位姿标识；以及将所述第一位姿图案匹配模板和/或所述第二位姿图案匹配模板与所述第二位姿标识的候选位姿标识图案角点位置处的图案进行匹配，以识别所述第二位姿标识。11.根据权利要求9所述的方法，以所述第一位姿标识或所述第二位姿标识作为起点在所述搜索方向上搜索位姿标识包括：以所述第一位姿标识或所述第二位姿标识作为起点，搜索第三位姿标识的候选位姿标识图案角点；基于所...

【专利技术属性】
技术研发人员：徐凯，吴百波，
申请(专利权)人：术锐上海科技有限公司，
类型：发明
国别省市：