板层角膜移植AR手术导航系统及方法技术方案

本发明专利技术提供一种板层角膜移植AR手术导航系统及方法。该板层角膜移植AR手术导航系统包括依次连接的摄像单元、处理单元以及AR单元；摄像单元用于获取板层角膜移植手术过程中的视频影像；处理单元用于对视频影像中的每一帧图像中的角膜轮廓进行分割，得到多帧角膜轮廓图像，将多帧角膜轮廓图像划分为多个关键帧角膜轮廓图像与多个遮挡帧角膜轮廓图像，当当前帧角膜轮廓图像为遮挡帧角膜轮廓图像时，恢复当前帧角膜轮廓图像被遮挡的运动信息并对关键帧角膜轮廓图像进行变形以重建当前帧角膜轮廓图像，再控制AR单元在当前帧角膜轮廓图像中叠加一标记以标注出角膜轮廓以及多个角膜缝针位置，从而指导医生及时准确的找到角膜缝针位置，提高手术成功率。

Navigation system and method for lamellar keratoplasty

【技术实现步骤摘要】
板层角膜移植AR手术导航系统及方法
本专利技术涉及眼科手术领域，尤其涉及一种板层角膜移植AR手术导航系统及方法。
技术介绍
角膜疾病是世界范围内最主要的致盲性眼病之一，在我国的发病率仅次于白内障，约为11.5/10000。随着技术的发展，深板层角膜移植手术(DeepAnteriorLamellarKeratoplasty，DALK)成为药物无法治疗的感染性角膜溃疡等疾病的唯一有效的治疗手段，板层角膜移植手术是以角膜的部分组织为操作对象进行的手术，只切除有病变的角膜浅层组织，深层比较完好的受主角膜仍然保留作为移植床，然后取同样大小和厚度的角膜材料作为浅层角膜片，缝于患者角膜的创面上，由于板层角膜移植手术不扰动眼内组织，因此板层角膜移植手术能够有效地降低发生内皮性排斥反应的风险，减少散光等手术并发症的发生。然而，板层角膜移植手术对医生的技术和经验有着严格的要求，由于板层角膜移植手术场景复杂，手术时间较长，手术过程中受血液污染和手术器械遮挡的干扰较大，角膜轮廓边界十分模糊，因此板层角膜移植过程中难以定位角膜缝针位置，造成角膜缝合位置分布不均匀，导致移植的角膜受力不均匀，从而引发多种术后并发症的问题，因此训练有素的医务人员和角膜供体的严重缺乏，容易导致角膜疾病难以得到及时有效的治疗，引发失明等严重后果。增强现实(AugmentedReality，AR)是一种新的技术，是将计算机产生的虚拟图形融合到使用者所看到的真实世界景象中，使用者可从计算机描绘的模拟模型中获得额外的信息，从而对真实环境进行增强。增强现实具有三大特点：虚拟结合、实时交互、三维匹配。手术导航是将病人术前或术中影像数据和手术床上病人解剖结构准确对应，手术中跟踪手术器械并将手术器械的位置在病人影像上以虚拟探针的形式实时更新显示，使医生对手术器械相对病人解剖结构的位置一目了然，使外科手术更快速、更精确、更安全。增强现实手术导航(AugmentedRealitySurgeryNavigation)则是将虚拟信息融合到现实手术环境中，能够让医生直接看到配准叠加后的场景，为医生提供实时的手术指导，及时做出精准决策，减少手术风险。
技术实现思路
本专利技术的目的在于提供一种板层角膜移植AR手术导航系统，能够实时追踪角膜轮廓，指导医生能够及时准确的找到角膜缝针位置，提高手术成功率。本专利技术的目的还在于提供一种板层角膜移植AR手术导航方法，能够实时追踪角膜轮廓，指导医生能够及时准确的找到角膜缝针位置，提高手术成功率。为实现上述目的，本专利技术提供了一种板层角膜移植AR手术导航系统，包括：摄像单元、与所述摄像单元连接的处理单元以及与所述处理单元连接的AR单元；所述AR单元用于通过AR在当前帧角膜轮廓图像中叠加一标记以标注出角膜轮廓以及多个角膜缝针位置；所述摄像单元用于获取板层角膜移植手术过程中的视频影像；所述处理单元用于对视频影像中的每一帧图像中的角膜轮廓进行分割，得到多帧角膜轮廓图像，将多帧角膜轮廓图像划分为多个关键帧角膜轮廓图像与多个遮挡帧角膜轮廓图像，所述关键帧角膜轮廓图像为角膜轮廓完全可见的图像，所述遮挡帧角膜轮廓图像为角膜轮廓被遮挡的图像，当当前帧角膜轮廓图像为遮挡帧角膜轮廓图像时，通过光流补全网络恢复当前帧角膜轮廓图像与该当前帧角膜轮廓图像相邻的一个关键帧角膜轮廓图像之间被遮挡而丢失的运动信息，并通过光流补全网络输出的补全光流对关键帧角膜轮廓图像进行变形以重建当前帧角膜轮廓图像，再控制AR单元通过AR在当前帧角膜轮廓图像中叠加一标记以标注出角膜轮廓以及多个角膜缝针位置；当当前帧角膜轮廓图像为关键帧角膜轮廓图像时，控制AR单元通过AR在当前帧角膜轮廓图像中叠加一标记以标注出角膜轮廓以及多个角膜缝针位置。所述处理单元通过U-Net分割网络对角膜轮廓进行分割。所述处理单元划分角膜轮廓图像的具体步骤为：通过每一帧角膜轮廓图像分割处的角膜轮廓前景点计算每一帧角膜轮廓图像的中心点坐标p0(x0，y0)，x0和y0定义为其中，P为分割得到的角膜轮廓的点集，n为点集的个数；分别统计中心点p0的四个象限内的前景点个数(n1，n2，n3，n4)，并计算四个象限的对称比例：其中，n1为第一象限内的前景点个数，n2为第二象限内的前景点个数，n3为第三象限内的前景点个数，n4为第四象限内的前景点个数，rLR为四个象限的左右对称比例，rUD为四个象限的上下对称比例；通过筛选公式判断角膜轮廓图像为关键帧角膜轮廓图像或遮挡帧角膜轮廓图像，所述筛选公式为：其中，It为角膜轮廓图像，为遮挡帧角膜轮廓图像，为关键帧角膜轮廓图像，nthres为点集个数的阈值，rthres_occ为遮挡帧角膜轮廓图像对称比例的阈值，rthres_key为关键帧角膜轮廓图像对称比例的阈值。所述处理单元通过变形公式对关键帧角膜轮廓图像进行变形，所述变形公式为：其中，i和j分别为图像中一预设位置的横坐标与纵坐标，yij为光流变形后的值，和为在预设位置的两通道光流值，k为线性插值核函数，m和v均为常数。所述处理单元还通过联合损失函数重建当前帧角膜轮廓图像；所述联合损失函数包括变形损失函数及扩展空间计算损失函数；所述联合损失函数为：L＝αLwarp+(1-α)Lesdl，其中，L为联合损失函数，Iwarp为变形损失函数，Lesdl为扩展空间计算损失函数，α大于0且小于1；所述变形损失函数为：其中，Ikey为与当前帧角膜轮廓图像相邻的关键帧角膜轮廓图像，为通过光流补全网络补全的光流，为光流的真实值，为Ikey沿耆与当前帧角膜轮廓图像的对齐操作，为Ikey沿耆与当前帧角膜轮廓图像的对齐操作；扩展空间计算损失函数为：其中，ft，key为由FlowNet2网络产生的在当前帧角膜轮廓图像和Ikey之间的光流，为扩展空间计算掩模，⊙表示点乘操作。本专利技术还提供一种板层角膜移植AR手术导航方法，包括如下步骤：步骤S1、获取板层角膜移植手术过程中的视频影像，对视频影像中的每一帧图像中的角膜轮廓进行分割，得到多帧角膜轮廓图像；步骤S2、将多帧角膜轮廓图像划分为多个关键帧角膜轮廓图像与多个遮挡帧角膜轮廓图像；所述关键帧角膜轮廓图像为角膜轮廓完全可见的图像；所述遮挡帧角膜轮廓图像为角膜轮廓被遮挡的图像；步骤S3、当当前帧角膜轮廓图像为遮挡帧角膜轮廓图像时，通过光流补全网络恢复当前帧角膜轮廓图像与该当前帧角膜轮廓图像相邻的一个关键帧角膜轮廓图像之间被遮挡而丢失的运动信息，并通过光流补全网络输出的补全光流对关键帧角膜轮廓图像进行变形以重建当前帧角膜轮廓图像；当当前帧角膜轮廓图像为关键帧角膜轮廓图像时，则进行步骤S4；步骤S4、通过AR在当前帧角膜轮廓图像中叠加一标记以标注出角膜轮廓以及多个角膜缝针位置。所述步骤S1中，通过U-Net分割网络对角膜轮廓进行分割。所述步骤S2中划分角膜轮廓图像的具体步骤为：步骤S21、通过每本文档来自技高网...

【技术保护点】
1.一种板层角膜移植AR手术导航系统，其特征在于，包括：摄像单元(10)、与所述摄像单元(10)连接的处理单元(20)以及与所述处理单元(20)连接的AR单元(30)；/n所述AR单元(30)用于通过AR在当前帧角膜轮廓图像中叠加一标记以标注出角膜轮廓以及多个角膜缝针位置；/n所述摄像单元(10)用于获取板层角膜移植手术过程中的视频影像；/n所述处理单元(20)用于对视频影像中的每一帧图像中的角膜轮廓进行分割，得到多帧角膜轮廓图像，将多帧角膜轮廓图像划分为多个关键帧角膜轮廓图像与多个遮挡帧角膜轮廓图像，所述关键帧角膜轮廓图像为角膜轮廓完全可见的图像，所述遮挡帧角膜轮廓图像为角膜轮廓被遮挡的图像，/n当当前帧角膜轮廓图像为遮挡帧角膜轮廓图像时，通过光流补全网络恢复当前帧角膜轮廓图像与该当前帧角膜轮廓图像相邻的一个关键帧角膜轮廓图像之间被遮挡而丢失的运动信息，并通过光流补全网络输出的补全光流对关键帧角膜轮廓图像进行变形以重建当前帧角膜轮廓图像，再控制AR单元(30)通过AR在当前帧角膜轮廓图像中叠加一标记以标注出角膜轮廓以及多个角膜缝针位置；/n当当前帧角膜轮廓图像为关键帧角膜轮廓图像时，控制AR单元(30)通过AR在当前帧角膜轮廓图像中叠加一标记以标注出角膜轮廓以及多个角膜缝针位置。/n...

【技术特征摘要】
1.一种板层角膜移植AR手术导航系统，其特征在于，包括：摄像单元(10)、与所述摄像单元(10)连接的处理单元(20)以及与所述处理单元(20)连接的AR单元(30)；
所述AR单元(30)用于通过AR在当前帧角膜轮廓图像中叠加一标记以标注出角膜轮廓以及多个角膜缝针位置；
所述摄像单元(10)用于获取板层角膜移植手术过程中的视频影像；
所述处理单元(20)用于对视频影像中的每一帧图像中的角膜轮廓进行分割，得到多帧角膜轮廓图像，将多帧角膜轮廓图像划分为多个关键帧角膜轮廓图像与多个遮挡帧角膜轮廓图像，所述关键帧角膜轮廓图像为角膜轮廓完全可见的图像，所述遮挡帧角膜轮廓图像为角膜轮廓被遮挡的图像，
当当前帧角膜轮廓图像为遮挡帧角膜轮廓图像时，通过光流补全网络恢复当前帧角膜轮廓图像与该当前帧角膜轮廓图像相邻的一个关键帧角膜轮廓图像之间被遮挡而丢失的运动信息，并通过光流补全网络输出的补全光流对关键帧角膜轮廓图像进行变形以重建当前帧角膜轮廓图像，再控制AR单元(30)通过AR在当前帧角膜轮廓图像中叠加一标记以标注出角膜轮廓以及多个角膜缝针位置；
当当前帧角膜轮廓图像为关键帧角膜轮廓图像时，控制AR单元(30)通过AR在当前帧角膜轮廓图像中叠加一标记以标注出角膜轮廓以及多个角膜缝针位置。


2.如权利要求1所述的板层角膜移植AR手术导航系统，其特征在于，所述处理单元(20)通过U-Net分割网络对角膜轮廓进行分割。


3.如权利要求1所述的板层角膜移植AR手术导航系统，其特征在于，所述处理单元(20)划分角膜轮廓图像的具体步骤为：通过每一帧角膜轮廓图像分割处的角膜轮廓前景点计算每一帧角膜轮廓图像的中心点坐标p0(x0，y0)，x0和y0定义为



其中，P为分割得到的角膜轮廓的点集，n为点集的个数；
分别统计中心点p0的四个象限内的前景点个数(n1，n2，n3，n4)，并计算四个象限的对称比例：



其中，n1为第一象限内的前景点个数，n2为第二象限内的前景点个数，n3为第三象限内的前景点个数，n4为第四象限内的前景点个数，rLR为四个象限的左右对称比例，rUD为四个象限的上下对称比例；
通过筛选公式判断角膜轮廓图像为关键帧角膜轮廓图像或遮挡帧角膜轮廓图像，所述筛选公式为：



其中，It为角膜轮廓图像，为遮挡帧角膜轮廓图像，为关键帧角膜轮廓图像，nthres为点集个数的阈值，rthres_occ为遮挡帧角膜轮廓图像对称比例的阈值，rthres_key为关键帧角膜轮廓图像对称比例的阈值。


4.如权利要求1所述的板层角膜移植AR手术导航系统，其特征在于，所述处理单元(20)通过变形公式对关键帧角膜轮廓图像进行变形，所述变形公式为：



其中，i和j分别为图像中一预设位置的横坐标与纵坐标，yij为光流变形后的值，和为在预设位置的两通道光流值，k为线性插值核函数，m和v均为常数。


5.如权利要求1所述的板层角膜移植AR手术导航系统，其特征在于，所述处理单元(20)还通过联合损失函数重建当前帧角膜轮廓图像；所述联合损失函数包括变形损失函数及扩展空间计算损失函数；
所述联合损失函数为：L＝αLwarp+(1-α)Lesdl，其中，L为联合损失函数，Iwarp为变形损失函数，Lesdl为扩展空间计算损失函数，α大于0且小于1；
所述变形损失函数为：其中，Ikey为与当前帧角膜轮廓图像相邻的关键帧角膜轮廓图像，为通过光流补全网络补全的光流，为光流的真实值，为Ikey沿着与当前帧角膜轮廓图像的对齐操作，为Ikey沿着与当前帧角膜轮廓图像的对齐操作；
扩展空间计算...

【专利技术属性】
技术研发人员：潘俊君，李方红，葛璞，
申请(专利权)人：深圳市科创数字显示技术有限公司，
类型：发明
国别省市：广东;44