一种视觉伺服控制髓内钉远端锁紧螺钉钉入方法及系统技术方案

本发明专利技术提出一种视觉伺服控制髓内钉远端锁紧螺钉钉入方法及系统，属于手术机器人领域。该系统包括：图像采集模块、导航控制模块和执行端；该方法首先对手术区域采集图像信息并提取图像特征，根据图像特征提取目标特征；通过视觉伺服控制，根据采集到的执行端的当前特征和目标特征及运动模式注册产生的运动矩阵进行运动路径规划，并生成控制指令，使得执行端达到最优入钉点和方向；执行端在最优入钉点沿由最优方向定义的自身轴线前进，实现髓内钉远端锁紧螺钉的钉入。本发明专利技术可以实时跟踪手术情况，不需要复杂的标记过程，操作过程简单，精度较高，设备要求低，易于推广。

A visual servo control method and system for locking screw in the distal end of intramedullary nail

The invention provides a visual servo control method and a system for locking screw screws in the distal end of intramedullary nail, which belongs to the field of the operation robot. The system includes a navigation control module and image acquisition module, execution end; firstly, the operation area to collect image information and image feature extraction, image feature extraction based on target feature; control by visual servo motion path planning according to the motion characteristics of the current matrix and object features and motion pattern registration collected execution end, and generate the control command, the execution terminal optimal entry point and direction; executive end in the optimal entry point along its axis defined by the optimal direction, implementation of intramedullary nail distal locking screw nail. The invention can track the operation situation in real time, do not need complex marking process, simple operation process, high precision, low equipment requirement and easy to popularize.

【技术实现步骤摘要】
一种视觉伺服控制髓内钉远端锁紧螺钉钉入方法及系统
本专利技术属于手术机器人领域，特别涉及一种视觉伺服控制髓内钉远端锁紧螺钉钉入方法及系统。
技术介绍
随着人工智能技术的发展，医疗机器人逐渐走进手术室，成为医生实施手术不可缺少的重要助力。医疗机器人的应用使得手术进行更为快捷、安全，同时医疗机器人强大的图像处理能力、导航路径规划能力使得一些技术要求高、执行难度大的手术变得容易，可以有效的减少医疗事故的发生。运用机器人施行手术，可以将医生从高强度的辐射环境下解放出来，能够有效的降低医生的工作强度，提高工作的安全性。髓内钉及远端锁紧螺钉属医疗器械中的骨科内固定器械；髓内钉包括：髓内钉杆，在其近端和远端分别有孔位用于髓内钉的固定。锁紧螺钉即髓内钉配套使用的固定装置，髓内钉钉入骨髓腔后，将锁紧螺钉穿过髓内钉上近端和远端的孔位，对髓内钉进行固定。在手术中，近端髓内钉有专用的设备辅助钉入，远端的钉入需要在X光透视设备辅助下人工确定钉入方向和钉入位置，具有较大的难度。在手术中髓内钉远端锁紧螺的钉入先要钉入克氏针，克氏针是一根顶端尖锐的实心长圆柱,髓内钉远端锁紧螺钉沿克氏针钉入的路径钉入。现阶段髓内钉远端锁紧螺钉钉入系统一般包括：图像采集模块、导航辅助设备、导航控制模块和执行端。所述图像采集模块用于采集手术区域的图像。通过所采集的图像可以提取执行端和病人肢体在实际空间的位置、姿态信息。导航辅助设备安置在执行端上、病人肢体表面或病人肢体与图像采集模块之间的区域。导航辅助设备一般为形状已知的奇异几何体，可以较为容易地通过图像采集模块采集到的图像判断其在实际空间中的位置、姿态。它与执行端、病人肢体以固定的方式连接，在后续的导航过程中，可以根据导航辅助设备判断执行端以及病人肢体的位置、姿态。导航控制模块通过识别导航辅助设备，得到执行端、病人肢体的位置和姿态信息，对执行端进行路径规划，并发出控制指令传递给执行端。执行端(通常为六轴机器人)接收导航控制模块的控制指令，按照规划路径完成目标动作，实现髓内钉的钉入。其中，导航辅助设备植入的过程或增加了系统的复杂程度，或给病人造成二次伤害，效果并不理想。同时，现有技术一般需要搭配使用特殊的图像采集模块，价格昂贵。在图像采集模块上以天智航机器人为例，天智航机器人采用光学跟踪系统。这种光学跟踪系统在标准手术室一般没有配备，推广起来成本较高，这种形式的手术设备也不便于医生接受。而在整个系统的控制方法上，多采用固定坐标系，需要进行复杂的标定过程。一次使用需要进行漫长的标定，标定过程若产生较大误差会严重地影响手术结果。现有的有些系统虽然不采用形状已知的奇异几何体作为导航辅助设备，而是采用一种与执行端所在的机器人坐标系(以机器人基点和轴方向为标准的坐标系)相对位置关系确定的标定设备。这种标定设备可以通过扫描的形式，将人肢体与执行端的位置关系关联起来。这种方法标定过程极为漫长，且标定结果准确性无法判别，若标定操作不规范造成标定误差大，无法直观地显示出来，若不能发现，将对手术效果造成严重的影响。现阶段，髓内钉远端锁紧螺钉钉入方法，一般包括：图像采集、识别导航辅助设备、坐标系标定、导航路径规划四个阶段。图像采集阶段利用图像采集设备采集病人肢体和执行端的图像信息。该图像信息包含病人肢体和执行端在实际空间的位置和姿态。识别导航辅助设备阶段包括：计算机收到图像采集阶段采集到的图像信息，对其进行处理，提取其中的导航辅助设备在实际空间中的位置和姿态信息，并根据导航辅助设备与执行端、病人肢体之间固定的相对位置关系计算得到执行端和病人肢体的位置和姿态信息。坐标系标定阶段，利用与执行端的相对位置关系已知的标定设备，扫描病人肢体，以此建立病人肢体与执行端的位置关系。导航路径规划阶段，利用识别导航辅助设备阶段得到的执行端和病人肢体的位置和姿态信息或坐标系标定阶段得到的病人肢体与执行端的位置关系来进行执行端动作路径规划。执行端根据路径规划的结果执行相应动作，完成髓内钉远端锁紧螺钉钉入。在技术检索过程中，我们发现一种已有髓内钉的钉入方法，(一种骨外科手术机器人的图像导航方法)，该方法所采用系统包括：图像采集模块、导航辅助设备、导航控制模块和执行端。该系统的导航辅助设备采用一个双层夹板形式的标记物，该导航辅助设备上下两层夹板上各有一组奇异排布的特征点。手术过程中，图像采集模块采集包含执行端和病人肢体上的导航辅助设备的位置、姿态信息的图像。通过识别图像上两层夹板的特征点之间的相对距离，来计算实际空间中执行端和病人肢体上导航辅助设备的位置和姿态，并以此计算执行端和病人肢体的在实际空间中的位置和姿态。该导航辅助设备在手术过程中辅助标定，它与图像采集模块的相对位置不能发生移动，一旦发生移动则需重新标定。双层夹板的导航辅助设备会限制执行端进入的方向，影响手术效果。
技术实现思路
本专利技术针对目前手术机器人在髓内钉远端锁紧螺钉钉入过程中存在的标定过程繁琐复杂、植入标记物带来额外伤害的问题，提出一种视觉伺服控制髓内钉远端锁紧螺钉钉入方法及系统。本专利技术操作过程简单，精度较高，设备要求低，易于推广。本专利技术提出一种视觉伺服控制髓内钉远端锁紧螺钉钉入方法，其特征在于，包括以下步骤：1)图像采集阶段；采集一次手术区域的当前图像信息，所述图像信息包含髓内钉和执行端的位置信息；2)图像特征提取阶段；对步骤1)采集的图像提取相应的图像特征；提取到的图像特征包括：边缘、轴线、特殊点；3)目标特征提取阶段；利用步骤2)得到的图像特征提取本次手术的目标特征；4)视觉伺服控制阶段；具体步骤如下：4-1)运动模式注册；按照设定的运动模式，执行端进行试探运动，记录运动产生的数据变化，存在运动矩阵J中；4-2)运动路径规划；根据采集到的执行端的当前特征和目标特征及运动模式注册产生的运动矩阵J进行运动路径规划，并生成控制指令，使得执行端达到最优入钉点和方向；5)钉入阶段；执行端在最优入钉点沿由最优方向定义的自身轴线前进，实现髓内钉远端锁紧螺钉的钉入。本专利技术提出的一种基于如上述方法的视觉伺服控制髓内钉远端锁紧螺钉钉入系统，其特征在于,包括：图像采集模块、导航控制模块和执行端；所述图像采集模块与导航控制模块之间通过数据线连接，导航控制模块与执行端之间通过网线连接；所述图像采集模块用于采集手术区域的图像数据并将采集到的图像数据传递给导航控制模块；所述导航控制模块用于接收图像采集模块传递的图像数据，并对图像数据进行处理，生成控制指令传递给执行端；所述执行端用于接收到导航控制模块发送的控制指令后，按照控制指令进行相应的运动。本专利技术的特点及有益效果：1本专利技术提出的一种视觉伺服控制髓内钉远端锁紧螺钉钉入方法，可以实时跟踪手术情况，通过对采集到的图像提取当前特征和目标特征，不需要复杂的标记过程，操作过程简单。2本专利技术系统不需要添加额外的标记物，也不需要添加额外的手术辅助设备，应用简单，不会对病人造成二次伤害。3本专利技术系统所用的图像采集设备为G型臂等手术室常用设备，无需额外添加配套设备，节约了成本，降低了操作难度，易于推广。附图说明图1为本专利技术的一种视觉伺服控制髓内钉远端锁紧螺钉钉入方法的整体流程框图。图2为本专利技术实施例的图像特征提取示意图。图3为本专利技术实施例的目标特征提取示意图。具体实施方本文档来自技高网...

【技术保护点】
一种视觉伺服控制髓内钉远端锁紧螺钉钉入方法，其特征在于，包括以下步骤：1)图像采集阶段；采集一次手术区域的当前图像信息，所述图像信息包含髓内钉和执行端的位置信息；2)图像特征提取阶段；对步骤1)采集的图像提取相应的图像特征；提取到的图像特征包括：边缘、轴线、特殊点；3)目标特征提取阶段；利用步骤2)得到的图像特征提取本次手术的目标特征；4)视觉伺服控制阶段；具体步骤如下：4‑1)运动模式注册；按照设定的运动模式，执行端进行试探运动，记录运动产生的数据变化，存在运动矩阵J中；4‑2)运动路径规划；根据采集到的执行端的当前特征和目标特征及运动模式注册产生的运动矩阵J进行运动路径规划，并生成控制指令，使得执行端达到最优入钉点和方向；5)钉入阶段；执行端在最优入钉点沿由最优方向定义的自身轴线前进，实现髓内钉远端锁紧螺钉的钉入。

【技术特征摘要】
1.一种视觉伺服控制髓内钉远端锁紧螺钉钉入方法，其特征在于，包括以下步骤：1)图像采集阶段；采集一次手术区域的当前图像信息，所述图像信息包含髓内钉和执行端的位置信息；2)图像特征提取阶段；对步骤1)采集的图像提取相应的图像特征；提取到的图像特征包括：边缘、轴线、特殊点；3)目标特征提取阶段；利用步骤2)得到的图像特征提取本次手术的目标特征；4)视觉伺服控制阶段；具体步骤如下：4-1)运动模式注册；按照设定的运动模式，执行端进行试探运动，记录运动产生的数据变化，存在运动矩阵J中；4-2)运动路径规划；根据采集到的执行端的当前特征和目标特征及运动模式注册产生的运动矩阵J进行运动路径规划，并生成控制指令...

【专利技术属性】
技术研发人员：张必聪，祝世杰，陈煜，郑钢铁，潘勇卫，赵喆，邓玖征，
申请(专利权)人：清华大学，
类型：发明
国别省市：北京,11