一种基于3D视觉识别的控制方法及协作机器人技术

本申请提供了一种基于3D视觉识别的控制方法及协作机器人，应用于手术机器人技术领域，通过获取导引器的图像信息，以及该协作机器人距离导引器的第一相对位置信息，将协作机器人的机械臂移动到导引器的正上方，而后获取导引器圆心的轴向方向以及机械臂与导引器的距离信息，控制机械臂持神经内镜从圆心的轴向方向进入，插入合适的距离，避免器械之间发生干涉，影响手术的进行。本申请提供的协作机器人具备动作迅速准确的同时兼顾到降低人力或财力成本的有益效果。财力成本的有益效果。财力成本的有益效果。

【技术实现步骤摘要】
一种基于3D视觉识别的控制方法及协作机器人


[0001]本申请涉及手术机器人
，尤其涉及一种基于3D视觉识别的控制方法及协作机器人。

技术介绍

[0002]近年来，随着技术和器械设备的进步，经颅神经内镜手术逐渐兴起，而神经内镜导引器手术是其中非常重要的组成部分。神经镜导引器手术（EPS），EPS早起主要应用于神经内镜脑内血肿清除术这一类操作相对简单的手术，现已成为高血压脑出血内镜手术的一种主要手术方式，在此类手术中，术者常常一手持镜，另一手持器械进行操作。但在脑室内肿瘤和脑实质内病变等疾病的神经内镜手术治疗中，常常需要通过狭长的手术通道，进行较多的更为复杂的操作，如电凝、切割、分离、止血等，单手器械操作极为困难，需要进行双手器械操作，同时，由于病变常常大于导引器直径（1.6cm至2.3cm），在术中，经常需要通过扭转导引器，以求达到更大范围的暴露并切除病变。此时，一个关键技术问题就是需要一个稳定的协作机器人用于持镜，以便术者能够进行双手器械操作。
[0003]目前临床常见的解决方案主要有两种模式：1、由手术一助人工持镜。这一方法对手术一助的要求很高，在临床上常常需要2年以上培训，如果要和主刀医生配合默契，则通常需要合作5年以上。因此，在人工持镜模式中，人员培训和所需时间是一大难题。2、由持镜设备持镜。常用的有机械臂和气动臂两种持镜设备。但无论是哪种设备，当进行导引器扭转和内镜视野调整时，都需要经历繁琐的调整步骤，耗时时间长，会大大延长手术时间，增加术者劳动强度，另外，持镜设备价格十分昂贵，难以普及。r/>[0004]故而现有技术中存在的人力持镜或者机械持镜难以做到动作迅速准确的同时兼顾到降低人力或财力成本的问题。

技术实现思路

[0005]鉴于上述现有技术的不足之处，本申请提供了一种基于3D视觉识别的控制方法及协作机器人，应用于手术机器人
，通过获取导引器的图像信息，以及该协作机器人距离导引器的第一相对位置信息，将协作机器人的机械臂移动到导引器的正上方，其中，协作机器人的机械臂上持有神经内镜，机械臂要将该神经内镜伸入导引器中，以提供给术者清晰的手术视野，便于术者双手持器械进行手术。由于导引器的直径较小，为了保证机械臂能将神经内镜准确插入导引器中，还需要对机械臂所在位置进行标定，保证机械臂持神经内镜所在平面与导引器进入端所在平面完全平行，因此，在插入之前，需要对机械臂的航向角进行拟合，以保证机械臂完全处于导引器上方，消除机械臂的偏移误差，而后获取导引器圆心的轴向方向以及机械臂与导引器的距离信息，控制机械臂持神经内镜从圆心的轴向方向进入，插入合适的距离，避免器械之间发生干涉，影响手术的进行。使用该基于3D视觉识别的控制方法，精准控制协作机器人持神经内镜插入导引器中，辅助术者进行手术，通过协作机器人持镜，具备动作迅速准确的特点，节约人力成本，且相较于现有技术中的持镜机器
人在调整视野方面，操作更加简便，且制造价格较低，因此，本申请提供的协作机器人具备动作迅速准确的同时兼顾到降低人力或财力成本的有益效果。
[0006]第一方面，本申请提供一种基于3D视觉识别的控制方法，该方法应用于一种协作机器人，该方法包括以下步骤：获取导引器的图像信息；根据图像信息对导引器进行定位，以获取协作机器人的机械臂与导引器的第一相对位置信息；根据第一相对位置信息计算机械臂的航向角信息，以控制机械臂移动到导引器正上方；获取导引器圆心的轴向方向信息以及机械臂移动到导引器正上方后与导引器的距离信息；根据导引器圆心的轴向方向信息以及距离信息，控制机械臂沿导引器圆心的轴向方向插入导引器中。
[0007]通过上述的一种基于3D视觉识别的控制方法，识别获取导引器的图像信息，并根据该导引器的图像信息计算协作机器人的机械臂与导引器之间的第一相对位置信息，便于机械臂持神经内镜正确位移到导引器的正上方，在此过程中，由于机械臂本身可能存在一定的角度偏移，因此还需要对机械臂进行航向角拟合，确保机械臂处于导引器的正上方，与导引器完全平行，这样即可保证机械臂持神经内镜进入导引器后能返回准确的术野信息给术者，利于术者根据术野情况进行手术。由于导引器的直径较小（一般只有1.6cm至2.3cm），为了使机械臂持神经内镜插入导引器中时，不会与导引器发生干涉，在机械臂位移到导引器正上方之后，还需要获取导引器的圆心的轴方向信息以及机械臂与导引器的距离信息，使机械臂沿导引器的圆心的轴方向插入，并在合适的插入位置停下。通过该3D视觉识别的控制方式，精准控制协作机器人持神经内镜插入导引器中，辅助术者进行手术，通过协作机器人持镜，具备动作迅速准确的特点，节约人力成本，且相较于现有技术中的持镜机器人在调整视野方面，操作更加简便，且制造价格较低，因此，本申请提供的协作机器人具备动作迅速准确的同时兼顾到降低人力或财力成本的有益效果。
[0008]优选地，在本申请提供的一种基于3D视觉识别的控制方法，获取导引器的图像信息的步骤包括：获取导引器真实的训练数据；使用图像增强技术对导引器真实的训练数据以及导引器的虚拟图像数据进行图像增强，获得扩充后的可用数据集图像；采用深度学习Panoptic Deeplab图像分割技术对可用数据集图像进行图像分割，得到导引器的图像信息。
[0009]通过上述的一种基于3D视觉识别的控制方法，为了保证视觉识别到的导引器更加真实，可事先获取导引器真实的训练数据，同时使用Blender生成的虚拟图像数据，并且使用图像增强技术扩充可用的数据集，基于深度学习Panoptic Deeplab图像分割技术，对于导引器进行图像分割，由此得到导引器的图像信息，使获得的图像更加真实准确。
[0010]优选地，在本申请提供一种基于3D视觉识别的控制方法，机械臂携带摄像机，获取导引器的图像信息之前的步骤包括：
计算摄像机与机械臂的第二相对位置信息；计算摄像机与机械臂的第二相对位置信息的步骤包括：控制计算机在空中对高精度的标定板进行预设次数以及预设角度的3D扫描，得到扫描数据；根据扫描数据，使用TSAI校准方式以及LM非线性优化算法，对摄像机与机械臂之间的相对关系进行标定，得到标定结果；根据标定结果计算第二相对位置信息。
[0011]由于该协作机器人的机械臂上携带摄像机，该摄像机即为扫描识别导引器真实的训练数据的设备，该摄像机与机械臂连接，在机械臂移动的过程中，相机与机械臂之间的相对位置会产生偏移，导致对相机获取到的图像数据计算存在误差，因此，在摄像机识别导引器真实的训练数据之前，需要对摄像机与机械臂之间的相对关系进行标定，以便在后续的数据计算中消除误差。
[0012]优选地，本申请提供一种基于3D视觉识别的控制方法，根据图像信息对导引器进行定位，以获取协作机器人的机械臂与导引器的第一相对位置信息的步骤包括：获取图像信息的轮廓边界信息，以对导引器的亚像素位置进行定位；将定位后的轮廓边界信息映射到三维空间中，得到第一相对位置信息。
[0013]通过上述的一种基于3D视觉识别的控制方法，由于摄像机获取到的导引器的图像信本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于3D视觉识别的控制方法，其特征在于，所述基于3D视觉识别的控制方法应用于一种协作机器人，所述方法包括步骤：获取导引器的图像信息；根据所述图像信息对所述导引器进行定位，以获取所述协作机器人的机械臂与所述导引器的第一相对位置信息；根据所述第一相对位置信息计算所述机械臂的航向角信息，以控制所述机械臂移动到所述导引器正上方；获取所述导引器圆心的轴向方向信息以及所述机械臂移动到所述导引器正上方后与所述导引器的距离信息；根据所述导引器圆心的轴向方向信息以及所述距离信息，控制所述机械臂沿所述导引器圆心的轴向方向插入所述导引器中。2.根据权利要求1所述的一种基于3D视觉识别的控制方法，其特征在于，所述获取导引器的图像信息的步骤包括：获取所述导引器真实的训练数据，以及所述导引器的虚拟图像数据；使用图像增强技术对所述导引器真实的训练数据以及所述导引器的虚拟图像数据进行图像增强，获得扩充后的可用数据集图像；采用深度学习Panoptic Deeplab图像分割技术对所述可用数据集图像进行图像分割，得到所述导引器的图像信息。3.根据权利要求2所述的一种基于3D视觉识别的控制方法，其特征在于，所述机械臂携带摄像机，所述获取导引器的图像信息之前的步骤包括：计算所述摄像机与所述机械臂的第二相对位置信息；计算所述摄像机与所述机械臂的第二相对位置信息的步骤包括：控制所述计算机在空中对高精度的标定板进行预设次数以及预设角度的3D扫描，得到扫描数据；根据所述扫描数据，使用TSAI校准方式以及LM非线性优化算法，对所述摄像机与所述机械臂之间的相对关系进行标定，得到标定结果；根据所述标定结果计算所述第二相对位置信息。4.根据权利要求1所述的一种基于3D视觉识别的控制方法，其特征在于，根据所述图像信息对所述导引器进行定位，以获取所述协作机器人的机械臂与所述导引器的第一相对位置信息的步骤包括：获取所述图像信息的轮廓边界信息；将定位后的所述轮廓边界信息映射到三维空间中，得到所述第一相对位置信息。5.根据权利要求4所述的一种基于3D视觉识别的控制方法，其特征在于，所述根据所述第一相对位...

【专利技术属性】
技术研发人员：冉祥，张宇，陈小川，刘欣冉，邓志伟，
申请(专利权)人：北京微链道爱科技有限公司，
类型：发明
国别省市：