基于定位图像的机器人系统的控制方法和机器人系统技术方案

本公开涉及控制技术领域，公开了一种用于机器人系统的控制方法、计算机设备、计算机可读存储介质和机器人系统。机器人系统的控制方法包括：获取定位图像；在定位图像中，识别位于辅助连接装置上的多个位姿标识；基于多个位姿标识，确定辅助连接装置的第一鞘管相对参考坐标系的位姿；基于第一鞘管的位姿，确定第一运动臂的第一目标位姿；以及控制第一运动臂运动至第一目标位姿，以与辅助连接装置的第一鞘管连接。连接。连接。

【技术实现步骤摘要】
基于定位图像的机器人系统的控制方法和机器人系统


[0001]本公开涉及控制
，尤其涉及一种基于定位图像的用于机器人系统的控制方法和机器人系统。

技术介绍

[0002]腹腔镜手术是被广泛运用的手术形式，具有创口小等优势。近年来，手术机器人使用运动臂实现更高稳定性和精确性的外科手术。手术中，运动臂将手术器械通过辅助连接装置(例如，辅助连接装置的鞘管)送入体内(例如人类或动物)的手术部位，实施外科手术。
[0003]目前，使用手术机器人实现的手术过程主要包括术前定位(也可以称为术前摆位)、术中操作和术后整理。在术前，通常需要由手术助理(例如助理医生或护师)根据手术类型及手术位姿将运动臂调整到合适的位姿，将运动臂与辅助连接装置固定连接，然后在运动臂的末端设置手术器械，以使手术器械通过辅助连接装置的通道进入体内。
[0004]上述应用中，由于运动臂可能体积和重量较大，由手术助理或医生执行术前摆位操作会存在运动臂的稳定性问题以及术前调整时间过长的问题。

技术实现思路

[0005]在一些实施例中，本公开提供了一种用于机器人系统的控制方法，机器人系统包括多个运动臂，多个运动臂包括第一运动臂，该方法包括：获取定位图像；在定位图像中，识别位于辅助连接装置上的多个位姿标识；基于多个位姿标识，确定辅助连接装置的第一鞘管相对参考坐标系的位姿；基于第一鞘管的位姿，确定第一运动臂的第一目标位姿；以及控制第一运动臂运动至第一目标位姿，以与辅助连接装置的第一鞘管连接。
[0006]在一些实施例中，本公开提供了一种计算机设备，计算机设备包括：存储器，用于存储有至少一条指令；以及处理器，与存储器耦合，用于执行至少一条指令以执行本公开一些实施例中的方法。
[0007]在一些实施例中，本公开提供了一种计算机可读存储介质，存储介质中存储有至少一条指令，至少一条指令由处理器执行以使计算机执行本公开一些实施例中的方法。
[0008]在一些实施例中，本公开提供了一种机器人系统，包括：多个运动臂，多个运动臂包括第一运动臂；以及控制装置，被配置成执行本公开一些实施例中的方法。
附图说明
[0009]图1示出根据本公开一些实施例的机器人系统的结构框图；
[0010]图2示出根据本公开一些实施例的机器人系统的立体结构示意图；
[0011]图3示出根据本公开一些实施例的机器人系统的多个运动臂的结构示意图；
[0012]图4示出根据本公开一些实施例的辅助连接装置的局部剖面图；
[0013]图5示出根据本公开一些实施例的运动臂与辅助连接装置连接状态的示意图；
[0014]图6示出根据本公开一些实施例的包括多个位姿标识与多个角度标识的标签的示
意图；
[0015]图7示出根据本公开一些实施例的形成的圆筒形的标签的示意图；
[0016]图8示出根据本公开一些实施例的辅助连接装置设置定位标识的示意图；
[0017]图9示出根据本公开一些实施例的用于机器人系统的控制方法的流程图；
[0018]图10示出根据本公开一些实施例的用于确定第一鞘管相对参考坐标系的位姿的方法的流程图；
[0019]图11示出根据本公开一些实施例的多个位姿标识在截面圆的示意图；
[0020]图12示出根据本公开另一些实施例的用于确定第一鞘管相对参考坐标系的姿态的方法的流程图；
[0021]图13示出根据本公开一些实施例的用于识别位姿标识的方法的流程图；
[0022]图14示出根据本公开一些实施例的位姿标识图案的示意图；
[0023]图15示出根据本公开一些实施例的用于搜索位姿标识的方法的流程图；
[0024]图16示出根据本公开一些实施例的搜索位姿标识的示意图；
[0025]图17示出根据本公开一些实施例的识别角度标识的方法的流程图；
[0026]图18示出根据本公开一些实施例的用于确定运动臂的运动路径的方法的流程图；
[0027]图19示出根据本公开一些实施例的计算机设备的示意框图；
[0028]图20示出根据本公开一些实施例的手术机器人系统的示意图；
[0029]图21示出根据本公开一些实施例的手术工具的示意图；
[0030]图22示出根据本公开一些实施例的主控台车的示意图；
[0031]图23示出根据本公开一些实施例的手术台车的示意图。
具体实施方式
[0032]为使本公开解决的技术问题、采用的技术方案和达到的技术效果更加清楚，下面将结合附图对本公开实施例的技术方案作进一步的详细描述，显然，所描述的实施例仅仅是本公开示例性实施例，而不是全部的实施例。
[0033]在本公开的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本公开和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本公开的限制。此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性。在本公开的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“耦合”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连；可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本公开中的具体含义。在本公开中，定义靠近用户(例如医生)的一端为近端、近部或后端、后部，靠近手术患者的一端为远端、远部或前端、前部。本领域技术人员可以理解，本公开的实施例可以用于医疗器械或手术机器人，也可以用于其他非医疗装置(例如，工业机器人)。
[0034]在本公开中，术语“位置”指对象或对象的一部分在三维空间中的定位(例如，可使用笛卡尔X、Y和Z坐标方向的变化描述三个平移自由度，例如分别沿笛卡尔X轴、Y轴和Z轴的
三个平移自由度)。在本公开中，术语“姿态”指对象或对象的一部分的旋转设置(即三个旋转自由度之一或全部，例如可使用滚转、俯仰和偏转来描述这三个旋转自由度)。在本公开中，术语“位姿”指对象或对象的一部分的位置和姿态的组合，例如可使用以上提到的六个自由度中的六个参数来描述。在本公开中，运动臂的一部分的位姿是指运动臂或其一部分定义的坐标系相对于运动臂所在的支架、基座定义的坐标系或世界坐标系的位姿。在本公开中，运动臂的位姿可以由当运动臂处于该位姿时，运动臂所包括的多个关节的关节值集合(例如由这些关节值组成的一维矩阵)来表示。在本公开中，关节的关节值指示相应关节相对于相应的关节轴所旋转的角度或者相对于初始位置移动的距离。在本公开中，运动臂或其一部分的运动路径是指运动臂或其一部分从一个位姿移动到另一个位姿所经过的路径。
[0035]在本公开中，参考坐标系可以理解为能够描述物体位姿的坐标系。本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于机器人系统的控制方法，所述机器人系统包括多个运动臂，所述多个运动臂包括第一运动臂，所述方法包括：获取定位图像；在所述定位图像中，识别位于辅助连接装置上的多个位姿标识；基于所述多个位姿标识，确定所述辅助连接装置的第一鞘管相对参考坐标系的位姿；基于所述第一鞘管的位姿，确定所述第一运动臂的第一目标位姿；以及控制所述第一运动臂运动至所述第一目标位姿，以与所述辅助连接装置的所述第一鞘管连接。2.根据权利要求1所述的控制方法，其特征在于，包括：基于所述多个位姿标识，识别位于所述辅助连接装置上的角度标识，所述角度标识与所述多个位姿标识中的第一位姿标识具有位置关联关系；以及基于所述角度标识和所述多个位姿标识，确定所述第一鞘管相对所述参考坐标系的位姿。3.根据权利要求2所述的控制方法，包括：基于所述角度标识和所述多个位姿标识，确定位姿标识坐标系相对辅助连接装置坐标系的滚转角；基于所述多个位姿标识，确定所述位姿标识坐标系相对所述参考坐标系的位姿；以及基于所述位姿标识坐标系相对所述辅助连接装置坐标系的滚转角和所述位姿标识坐标系相对所述参考坐标系的位姿，确定所述第一鞘管相对所述参考坐标系的位姿。4.根据权利要求3所述的控制方法，包括：基于所述多个位姿标识在所述定位图像中的二维坐标和所述多个位姿标识在所述位姿标识坐标系中的三维坐标，确定所述位姿标识坐标系相对所述参考坐标系的位姿。5.根据权利要求3所述的控制方法，包括：基于所述位姿标识坐标系相对所述辅助连接装置坐标系的滚转角和所述多个位姿标识在位姿标识坐标系中的三维坐标，确定所述多个位姿标识在所述辅助连接装置坐标系中的三维坐标；以及基于所述多个位姿标识在所述定位图像中的二维坐标和所述多个位姿标识在所述辅助连接装置坐标系中的三维坐标，确定所述第一鞘管相对所述参考坐标系的位姿。6.根据权利要求3
‑
5中任一项所述的控制方法，包括：确定所述角度标识在辅助连接装置坐标系中标识的第一绕轴角度；确定所述第一位姿标识在所述位姿标识坐标系中标识的第二绕轴角度；以及基于所述第一绕轴角度和所述第二绕轴角度，确定所述位姿标识坐标系相对所述辅助连接装置坐标系的滚转角。7.根据权利要求2
‑
5中任一项所述的控制方法，所述位置关联关系包括：所述角度标识与所述第一位姿标识在轴向的对应关系。8.根据权利要求2所述的控制方法，包括：基于所述多个位姿标识在所述定位图像中的二维坐标和所述多个位姿标识在位姿标识坐标系中的三维坐标，确定成像变换关系；基于所述多个位姿标识在位姿标识坐标系中的三维坐标和所述位置关联关系，在所述
位姿标识坐标系中确定多个角度标识候选三维坐标；基于所述成像变换关系和所述多个角度标识候选三维坐标，在所述定位图像中确定所述多个角度标识候选区域；以及从所述多个角度标识候选区域，识别所述角度标识。9.根据权利要求8所述控制方法，包括：确定每个所述角度标识候选区域中角点似然值最大的像素以形成像素集合；确定所述像素集合中角点似然值最大的像素对应的角度标识候选区域作为待识别的角度标识候选区域；以及使用多个角度图案匹配模板分别与所述待识别的角度标识候选区域进行匹配，以识别所述角度标识。10.根据权利要求9所述的控制方法，包括：响应于匹配失败，确定所述像素集合的剩余像素中角点似然值最大的像素对应的角度标识候选区域作为待识别的角度标识候选区域。11.根据权利要求8所述的控制方法，包括：基于所述角度标识所在的角度标识候选区域，确定与所述角度标识具有位置关联关系的所述第一位姿标识。12.根据权利要求1所述的控制方法，包括：基于所述定位图像，确定所述辅助连接装置的主体腔管的位姿；以及基于所述辅助连接装置的主体腔管的位姿和所述辅助连接装置的构型，确定所述第一鞘管相对所述参考坐标系的位姿。13.根据权利...

【专利技术属性】
技术研发人员：徐凯，吴百波，王龙飞，姬利永，李茂林，
申请(专利权)人：北京术锐机器人股份有限公司，
类型：发明
国别省市：