用于控制操作臂的方法和手术机器人系统技术方案

本公开涉及控制技术领域，公开一种用于控制操作臂的方法、计算机设备、计算机可读存储介质和手术机器人系统。用于控制操作臂的方法，包括：获取定位图像；在定位图像中，识别位于操作臂上的多个标识，多个标识包括多个用于标识位姿的位姿标识和至少一个用于标识位姿和角度的复合标识；基于至少一个复合标识和多个位姿标识，确定操作臂相对参考坐标系的当前相对位姿；以及基于当前相对位姿和操作臂的目标位姿，确定操作臂的驱动信号。确定操作臂的驱动信号。确定操作臂的驱动信号。

【技术实现步骤摘要】
用于控制操作臂的方法和手术机器人系统


[0001]本公开属于控制
，尤其涉及一种用于控制操作臂的方法和手术机器人系统。

技术介绍

[0002]随着技术的发展，由人工或者计算机控制相关机器设备执行期望的动作以辅助或者替代操作人员变得越来越普及。例如，使用物流机器人进行快递的分拣，使用手术机器人辅助医生执行手术等。
[0003]上述应用中，需要对操作臂进行控制，从而实现机器设备的控制。

技术实现思路

[0004]在一些实施例中，本公开提供了一种用于控制操作臂的方法，包括：获取定位图像；在定位图像中，识别位于操作臂上的多个标识，多个标识包括多个用于标识位姿的位姿标识和至少一个用于标识位姿和角度的复合标识；基于至少一个复合标识和多个位姿标识，确定操作臂相对参考坐标系的当前相对位姿；以及基于当前相对位姿和操作臂的目标位姿，确定操作臂的驱动信号。
[0005]在一些实施例中，本公开提供了一种计算机设备，计算机设备包括：存储器，用于存储有至少一条指令；以及处理器，与存储器耦合，用于执行至少一条指令以执行本公开一些实施例中任一项的方法。
[0006]在一些实施例中，本公开提供了一种计算机可读存储介质，存储介质中存储有至少一条指令，至少一条指令由处理器执行以使计算机执行本公开一些实施例中任一项的方法。
[0007]在一些实施例中，本公开提供了一种手术机器人系统，包括：手术工具，手术工具包括操作臂、设置在操作臂远端的执行器以及设置在操作臂的末端上的至少一个复合标识和多个位姿标识；图像采集器，用于采集操作臂的定位图像；以及处理器，与图像采集器连接，用于执行本公开一些实施例中任一项的方法以确定操作臂的驱动信号。
附图说明
[0008]图1示出根据本公开一些实施例的控制系统的示意图；
[0009]图2示出根据本公开一些实施例的包括多个标识的标签的示意图；
[0010]图3示出根据本公开一些实施例设置在操作臂末端周侧并形成圆筒形的标签的示意图；
[0011]图4示出根据本公开一些实施例的实施场景的示意图；
[0012]图5示出根据本公开一些实施例的操作臂控制系统的控制方法的流程图；
[0013]图6示出根据本公开一些实施例的确定操作臂相对参考坐标系的当前相对位姿的方法的流程图；
[0014]图7示出根据本公开另一些实施例的确定操作臂相对参考坐标系的位姿的方法的流程图；
[0015]图8示出根据本公开一些实施例的用于识别标识的方法的流程图；
[0016]图9示出根据本公开一些实施例的位姿标识图案的示意图；
[0017]图10示出根据本公开一些实施例的用于搜索标识的方法的流程图；
[0018]图11示出根据本公开一些实施例的搜索标识的示意图；
[0019]图12示出根据本公开一些实施例的操作臂的构节的示意图；
[0020]图13示出根据本公开一些实施例的操作臂的结构示意图；
[0021]图14示出根据本公开一些实施例的用于确定驱动信号的方法的流程图；
[0022]图15示出根据本公开一些实施例的计算机设备的示意图；
[0023]图16出根据本公开一些实施例的手术机器人系统的示意图。
具体实施方式
[0024]下面结合附图描述本公开的示例性实施例，本领域技术人员可以理解，本公开的范围并不仅限于这些实施方案。本公开可以在下述实施方案的基础上作出各种改进和变化。这些改进和变化都包括在本公开的范围之内。在本公开的附图所示的各个实施方案之间，相似附图标记指示相似部件。
[0025]在本公开中，术语“位置”指物体或物体的一部分在三维空间中的定位(例如，可使用笛卡尔X、Y和Z坐标方面的变化描述三个平移自由度，例如分别沿笛卡尔X轴、Y轴和Z轴的三个平移自由度)。在本公开中，术语“姿态”指物体或物体的一部分的旋转设置(例如三个旋转自由度，可使用滚转、俯仰和偏转来描述这三个旋转自由度)。在本公开中，术语“位姿”指物体或物体的一部分的位置和姿态的组合，例如可使用以上提到的六个自由度中的六个参数来描述。
[0026]在本公开中，参考坐标系可以理解为描述物体位姿的坐标系。根据实际的定位需求，参考坐标系可以选择以虚拟参照物的原点或实体参照物的原点为坐标系原点。在一些实施例中，参考坐标系可以为世界坐标系或者相机坐标系或者操作人员自身的感知坐标系等。在本公开中，物体可以理解为需要被定位的对象或目标，例如操作臂或者操作臂末端或者设置在操作臂末端的远端的执行器。其中，操作臂可以是刚性臂或者可形变臂。在本公开中，操作臂或其一部分的位姿是指操作臂或其一部分定义的操作臂坐标系相对于参考坐标系的位姿。
[0027]图1示出根据本公开一些实施例的控制系统100的示意图。如图1所示，控制系统100可以包括图像采集设备110、至少一个操作臂140和控制装置120。图像采集设备110和至少一个操作臂140分别与控制装置120通信连接。在一些实施例中，如图1所示，控制装置120可以用于控制至少一个操作臂140的运动，以调整至少一个操作臂140的位姿、相互协调等。在一些实施例中，至少一个操作臂140在末端或远端处可以包括操作臂末端130。控制装置120可以控制至少一个操作臂140运动，以使操作臂末端130运动至期望的位置和姿态。本领域的技术人应理解，控制系统100可以应用于手术机器人系统，例如腔镜手术机器人系统。例如，操作臂末端130的远端处可以设置执行器160，如图1所示。应当理解，控制系统100还可以应用于其他领域(例如，制造、机械等等)的专用或通用机器人系统。
[0028]在本公开中，控制装置120可以与至少一个操作臂140的驱动单元150(例如电机)通信连接并向驱动单元150发送驱动信号，从而使驱动单元150基于驱动信号控制至少一个操作臂140运动到相应的目标位姿。例如，控制操作臂140运动的驱动单元150可以为伺服电机，可以接受控制装置的指令以控制操作臂140运动。控制装置120还可例如通过通信接口与驱动单元150耦合的传感器通信连接，以接收操作臂140的运动数据，实现对操作臂140的运动状态监控。在本公开的一个示例中，该通信接口可以为CAN(Controller Area Network)总线通信接口，其使得控制装置120能够通过CAN总线与驱动单元150以及传感器连接通信。在一些实施例中，控制装置120可以包括本地处理器(例如，本地的计算机设备)或者云端处理器(例如，云服务器或者云计算平台)。
[0029]在一些实施例中，操作臂140可以包括连续体可形变臂，例如由多个关节构成的具有多自由度的操作臂，诸如可以实现6个自由度运动的操作臂。
[0030]在一些实施例中，图像采集设备110可以用于采集定位图像。定位图像中可以包括操作臂140的部分或全部的图像。在一些实施例中，图像采集设备110可以用于采集操作臂末端130的图像，操作臂末端130上可以设置有多个不同的位姿标识，这些本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于控制操作臂的方法，包括：获取定位图像；在所述定位图像中，识别位于所述操作臂上的多个标识，所述多个标识包括多个用于标识位姿的位姿标识和至少一个用于标识位姿和角度的复合标识；基于所述至少一个复合标识和所述多个位姿标识，确定所述操作臂相对参考坐标系的当前相对位姿；以及基于所述当前相对位姿和所述操作臂的目标位姿，确定所述操作臂的驱动信号。2.根据权利要求1所述的方法，还包括：基于所述至少一个复合标识，确定所述至少一个复合标识和所述多个位姿标识在操作臂坐标系中的三维坐标。3.根据权利要求2所述的方法，还包括：基于所述至少一个复合标识和所述多个位姿标识在所述定位图像中的二维坐标以及在所述操作臂坐标系中的三维坐标，确定所述操作臂坐标系相对所述参考坐标系的位姿，作为所述操作臂相对所述参考坐标系的当前相对位姿。4.根据权利要求1所述的方法，还包括：确定所述至少一个复合标识和所述多个位姿标识在标识坐标系中的三维坐标；基于所述至少一个复合标识，确定所述标识坐标系相对操作臂坐标系的滚转角；基于所述标识坐标系相对所述操作臂坐标系的滚转角以及所述至少一个复合标识和所述多个位姿标识在所述标识坐标系中的三维坐标，确定所述至少一个复合标识和所述多个位姿标识在所述操作臂坐标系中的三维坐标；以及基于所述至少一个复合标识和所述多个位姿标识在所述定位图像中的二维坐标以及在所述操作臂坐标系中的三维坐标，确定所述操作臂坐标系相对所述参考坐标系的位姿，作为所述操作臂相对所述参考坐标系的位姿。5.根据权利要求1所述的方法，还包括：从所述定位图像中确定多个候选标识；从所述多个候选标识中识别所述多个标识中的第一标识；以及以所述第一标识作为起点，搜索其他标识。6.根据权利要求5所述的方法，还包括：响应于识别到所述复合标识，基于位姿标识图案匹配模板，识别其他标识。7.根据权利要求5所述的方法，所述标识包括标识图案和在所述标识图案中的标识图案角点，所述方法还包括：在所述定位图像中确定感兴趣区域；将所述感兴趣区域划分为多个子区域；确定每个所述子区域中角点似然值最大的像素以形成像素集合；确定所述多个候选标识中角点似然值最大的像素作为候选标识图案角点；以及将所述标识图案匹配模板与所述候选标识图案角点位置处的标识图案进行匹配，以识别所述第一标识。8.根据权利要求7所述的方法，还包括：响应于匹配失败，确定所述像素集合中剩余像素中的角点似然值最大的像素作为候选
标识图案角点。9.根据权利要求5所述的方法，还包括：以所述第一标识作为起点，搜索第二标识；基于所述第一标识、所述第二标识，确定搜索方向；以及以所述第一位姿标识或所述第二标识作为起点，在所述搜索方向上搜索标识。10.根据权利要求9所述的方法，还包括：响应于搜索距离大于搜索距离阈值，确定所述像素集合中剩余像素的角点似然值最大的像素作为候选标识图案角点；以及将所述标识图案匹配模板与所述候选标识图案角点位置处的标识图案进行匹配，以识别第一标识。11.根据权利要求9所述的方法，还包括：响应于识别到的标识数量大于或等于标识数量阈值，基于识别到的标识，确定所述操作臂相对参考坐标系的当前相对位姿。12.根据权利要求9所述的方法，还包括：响应于识别到的标识数量小于标识数量阈值，确定所述像素集合中剩余像素的角点似然值最大的像素作为候选标识图案角点；以及将所述标识图案匹配模板与所述候选标识图案角点位置处的标识图案进行匹配，以识别第一标识。13.根据权利要求1所述的方法，...

【专利技术属性】
技术研发人员：徐凯，吴百波，
申请(专利权)人：术锐上海科技有限公司，
类型：发明
国别省市：