一种角膜移植手术机器人用自主立体视觉导航方法及系统技术方案

本发明专利技术公开了一种角膜移植手术机器人用自主立体视觉导航方法及系统，获取立体显微镜相机与世界坐标系Oxyz的配准数据以及立体显微镜相机的标定、矫正数据，根据立体显微镜相机采集两幅面部图像，分别作为参考图像R和目标图像T；将参考图像R和目标图像T输入卷积神经网络CNN进行特征提取，实时捕捉目标物体的三维信息以及手术工具的位姿信息并进行更新，通过深度学习方法获取参考图像R和目标图像T完成自主立体视觉导航的视觉传感信息；利用视觉传感信息，控制角膜移植手术机器人对角膜移植手术缝针刺入和缝线打结进行自主立体视觉导航。导航。导航。

【技术实现步骤摘要】
一种角膜移植手术机器人用自主立体视觉导航方法及系统


[0001]本专利技术属于医疗手术机器人
，具体涉及一种角膜移植手术机器人用自主立体视觉导航方法及系统。

技术介绍

[0002]角膜移植手术是用透明的角膜片置换浑浊或有病变部分的角膜，以达到增视、治疗某些角膜病和改善外观的目的。角膜缝合是角膜移植手术中难度最大的、耗时最长的手术环节，角膜缝合主要为将供体角膜植片用缝针和缝线缝合于植床。医生进行环钻和缝合时，手部生理细微抖动以及视觉微弱不易判断角膜刀和缝针的深度，会导致植片和植床的切割边缘不吻合、缝合大小和深度不一致、缝合张力不对称等问题，直接影响角膜移植术后的康复效果。
[0003]角膜移植手术过程中，缝合不均匀极易造成角膜起皱和变形导致散光，也会引起角膜损伤，严重时则会引起其他的并发症。正常角膜各径线的曲度是一致的，因此折光率相同，如果曲度不均匀，就会引起折光异常，即散光。一般的角膜移植钻切、缝合参数由医生经验进行估计，因此并非最佳值，所以有必要通过手术机器人的高精度操作控制手段将手术参数调整到最优，而对显微眼科手术机器人的视觉感知及其反馈控制是高精度手术操作的前提，也是改善患者术后康复的基础。
[0004]与传统的医生手术方法相比，角膜移植手术机器人基于视觉导航进行自主缝合更具有优势，主要表现在：
[0005]①
能够更加全面、准确地呈现局部手术过程影像，实现医生对显微眼科手术过程中手术视野的清晰观察；
[0006]②
能够稳定、高精度的控制手术器械完成手术操作，降低对眼组织的损伤程度，改善患者术后康复效果；
[0007]③
解决医生长时间手术易疲劳的问题。

技术实现思路

[0008]本专利技术所要解决的技术问题在于针对上述现有技术中的不足，提供一种角膜移植手术机器人用自主立体视觉导航方法及系统，能够感知角膜移植手术过程中深度信息、实现无人辅助下的智能化角膜移植手术的优点。
[0009]本专利技术采用以下技术方案：
[0010]一种角膜移植手术机器人用自主立体视觉导航方法，包括以下步骤：
[0011]S1、获取立体显微镜相机与世界坐标系Oxyz的配准数据以及立体显微镜相机的标定、矫正数据，根据立体显微镜相机采集两幅面部图像，分别作为参考图像R和目标图像T；
[0012]S2、将步骤S1得到的参考图像R和目标图像T输入卷积神经网络CNN进行特征提取，实时捕捉目标物体的三维信息以及手术工具的位姿信息并进行更新，通过深度学习方法获取参考图像R和目标图像T完成自主立体视觉导航的视觉传感信息；
[0013]S3、利用步骤S2获取的视觉传感信息，控制角膜移植手术机器人对角膜移植手术缝针刺入和缝线打结进行自主立体视觉导航。
[0014]具体的，步骤S2具体为：
[0015]S201、将参考图像R和目标图像T输入卷积神经网络CNN进行特征提取，并用特征图金字塔网络FPN找出图像中的感兴趣区域RoIs，并生成RoIs的目标边框；
[0016]S202、通过关联算法将步骤S201参考图像R和目标图像T相对应的目标边框进行匹配生成视差图，计算相对应的目标边框内三维点云集合F(X，Y，Z)；
[0017]S203、通过全卷积神经网络FCN对每一个目标边框内的RoI预测实例所属分类生成实例分割掩码；
[0018]S204、将步骤S203的实例分割掩码与步骤S202的三维点云集合F(X，Y，Z)相匹配，计算各实例所得目标物体内对应点的三维坐标集合RoIs(X，Y，Z)，并由各目标物体的三维点云形成相对应的立体表面Surf；
[0019]S205、在步骤S204的立体表面Surf上计算操作工具位姿和被操作对象上目标点位姿，将实时更新的操作工具位姿和被操作对象目标点输入步骤S206；
[0020]S206、基于步骤S205中实时更新的手术工具当前位姿和目标位姿，对手术工具的轨迹规划Tr进行实时更新，手术工具完成规划动作执行后，采集参考图像R和目标图像T，返回步骤S201，进行动作，直至所有动作完成后结束。
[0021]进一步的，步骤S204中，将实例分割结果与视差图相匹配后转换为感兴趣区域内各目标物体RoIs的三维点云数据，并由各目标物体的三维点云，采用Delaunay三角剖分方法将各目标物体的三维点云构造为三角网格，形成相对应的立体三角网格表面；感兴趣区域RoIs包括角膜植片、植床、持针钳、镊子、缝针和缝线所在位置的立体表面区域。
[0022]进一步的，步骤S206中，基于获得的实时感兴趣区域的三维点云RoIs(X，Y，Z)，结合专家库的规范化角膜移植手术操作动作序列获得对应手术动作基元U，结合RoIs(X，Y，Z)中目标点PTarget及操作工具当前位姿PTool(x,y,z,a,b,c,g)，对角膜移植手术机器人末端手术工具从当前位姿PTool(x,y,z,a,b,c,g)到目标点PTarget的轨迹规划Tr进行实时更新。
[0023]具体的，步骤S3具体为：
[0024]S301、获得植片置于植床内的原始图像对，目标物体植片、手术工具的三角网格表面，计算植片的极值点、手术工具的当前位姿，使手术工具按预定轨迹由当前位姿运动至目标点PTarget，使用镊子夹持角膜植片；
[0025]S302、计算角膜的厚度t，根据缝合深度要求预估目标点的位置点Pdepth；
[0026]S303、通过持针钳操作缝针刺入角膜植片，并同时刺入角膜植床；
[0027]S304、通过持针钳操作缝针拔出角膜植床；
[0028]S305、打第一个接近环的缠绕动作；
[0029]S306、打第一个接近环的张紧动作；
[0030]S307、镊子操作缝线绕持针钳向相反方向绕n圈，打完第二个环；重复操作至镊子操作缝线绕持针钳打完第k个环，一次打结结束；
[0031]S308、重复步骤S301～步骤S307，对角膜植片和植床完成16～24个点位的缝合，自动化缝合结束。
[0032]进一步的，步骤S303中，持针钳夹持缝针进入双目立体显微镜的手术视场内，获得目标物体植片、缝针的三维点云，计算植片上距离边界极值点0.8mm～1mm的缝针刺入点位置，角膜植片刺出点位置，结合角膜移植手术要求缝针针尖应与刺入面、刺出面垂直的要求，通过样条插值计算缝针针尖应该走过的位姿轨迹Tr，持针钳与缝针相对运动忽略不计，通过对缝针位姿轨迹的其次坐标变换即可求得持针钳的位姿轨迹。
[0033]进一步的，步骤S304中，获得目标物体植片、缝针的三维点云，计算缝针被持针钳夹持的位置，角膜移植手术机器人操作持针钳松开缝针尾部后运动至缝针头部被夹持点夹起缝针，然后沿角膜斜上方拔出缝针。
[0034]进一步的，步骤S305中，手术机器人操作持针钳松开缝针后移动至与结垂直位置的上方，获得目标物体缝线线头、持针钳、镊子的三维点云，计算缝线线头被镊子夹持的位置，操作镊子运动本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种角膜移植手术机器人用自主立体视觉导航方法，其特征在于，包括以下步骤：S1、获取立体显微镜相机与世界坐标系Oxyz的配准数据以及立体显微镜相机的标定、矫正数据，根据立体显微镜相机采集两幅面部图像，分别作为参考图像R和目标图像T；S2、将步骤S1得到的参考图像R和目标图像T输入卷积神经网络CNN进行特征提取，实时捕捉目标物体的三维信息以及手术工具的位姿信息并进行更新，通过深度学习方法获取参考图像R和目标图像T完成自主立体视觉导航的视觉传感信息；S3、利用步骤S2获取的视觉传感信息，控制角膜移植手术机器人对角膜移植手术缝针刺入和缝线打结进行自主立体视觉导航。2.根据权利要求1所述的方法，其特征在于，步骤S2具体为：S201、将参考图像R和目标图像T输入卷积神经网络CNN进行特征提取，并用特征图金字塔网络FPN找出图像中的感兴趣区域RoIs，并生成RoIs的目标边框；S202、通过关联算法将步骤S201参考图像R和目标图像T相对应的目标边框进行匹配生成视差图，计算相对应的目标边框内三维点云集合F(X，Y，Z)；S203、通过全卷积神经网络FCN对每一个目标边框内的RoI预测实例所属分类生成实例分割掩码；S204、将步骤S203的实例分割掩码与步骤S202的三维点云集合F(X，Y，Z)相匹配，计算各实例所得目标物体内对应点的三维坐标集合RoIs(X，Y，Z)，并由各目标物体的三维点云形成相对应的立体表面Surf；S205、在步骤S204的立体表面Surf上计算操作工具位姿和被操作对象上目标点位姿，将实时更新的操作工具位姿和被操作对象目标点输入步骤S206；S206、基于步骤S205中实时更新的手术工具当前位姿和目标位姿，对手术工具的轨迹规划Tr进行实时更新，手术工具完成规划动作执行后，采集参考图像R和目标图像T，返回步骤S201，进行动作，直至所有动作完成后结束。3.根据权利要求2所述的方法，其特征在于，步骤S204中，将实例分割结果与视差图相匹配后转换为感兴趣区域内各目标物体RoIs的三维点云数据，并由各目标物体的三维点云，采用Delaunay三角剖分方法将各目标物体的三维点云构造为三角网格，形成相对应的立体三角网格表面；感兴趣区域RoIs包括角膜植片、植床、持针钳、镊子、缝针和缝线所在位置的立体表面区域。4.根据权利要求2所述的方法，其特征在于，步骤S206中，基于获得的实时感兴趣区域的三维点云RoIs(X，Y，Z)，结合专家库的规范化角膜移植手术操作动作序列获得对应手术动作基元U，结合RoIs(X，Y，Z)中目标点PTarget及操作工具当前位姿PTool(x,y,z,a,b,c,g)，对角膜移植手术机器人末端手术工具从当前位姿PTool(x,y,z,a,b,c,g)到目标点PTarget的轨迹规划Tr进行实时更新。5.根据权利要求1所述的方法，其特征在于，步骤S3具体为：S301...

【专利技术属性】
技术研发人员：张小栋，冯晓静，黎黎，史晓军，汪绍鹏，王宁，李明阳，
申请(专利权)人：西安交通大学，
类型：发明
国别省市：