基于多模态图像融合的血管介入手术导航方法及装置制造方法及图纸

本发明专利技术属于手术导航技术领域，公开了基于多模态图像融合的血管介入手术导航方法及装置。该方法包括：获取术前冠脉图像和获取实时冠脉造影图像；确定深入冠脉长度；通过实时冠脉造影图像确定导丝所在血管的血管名称；基于血管名称和深入冠脉长度，匹配到导丝末端点在术前冠脉图像中的匹配位置；基于实时冠脉造影图像和Mip图像，确定Mip图像中导丝末端点对应位置的坐标；确定误差范围a，并从冠脉中心线(OM

【技术实现步骤摘要】
基于多模态图像融合的血管介入手术导航方法及装置


[0001]本专利技术涉及手术导航
，尤其涉及一种基于多模态图像融合的血管介入手术导航方法及装置。

技术介绍

[0002]冠脉造影是一种有创的诊断技术，广泛应用与临床中，医生通常动态实时的通过术中2D造影图像(如DSA)作为引导图像。然而，这种模态图像是通过投影原理所采集，因此缺少了三维空间的深度信息。由于投影造成的组织重叠现象，使得医生在手术中难以清晰和直观地进行介入方式和治疗方案的精准决策。而术前的CTA具有较好的三维信息，通过三维重建可以直观、立体地呈现血管的三维空间信息，可以衍生3D VR、血管横断面、3D MIP、面CPR、线CPR、切片图，CT
‑
FFR的功能性信息。因此，将实时的2D造影图像与具有空间结构信息的CTA图像进行融合，能够从多方面快速辅助医生进行精准诊断。
[0003]目前多模态(3D/2D)图像融合技术是先通过2D图像确定导丝所在的血管名称，根据血管名称确定导丝末端点在3D图像中的大概位置，再根据导丝伸入到血管中长度确定导丝末端点在3D图本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多模态图像融合的血管介入手术导航方法，其特征在于，所述基于多模态图像融合的血管介入手术导航方法包括：获取术前冠脉图像以及获取实时冠脉造影图像，其中，所述术前冠脉图像为3D
‑
CTA数据，所述实时冠脉造影图像为2D
‑
DSA数据；将所述术前冠脉图像输入至训练好的3D分割模型中，得到3D血管初分割结果；基于Region grow算法或者机器学习算法确定所述3D血管初分割结果中的3D血管中心线提取结果，/或基于minimal
‑
path确定所述3D血管初分割结果中的3D血管中心线提取结果；通过深度学习或匹配方法对所述3D血管中心线提取结果中的所有中心线进行命名，以完成对所述术前冠脉图像中冠脉血管中心线的命名；确定导丝的深入冠脉长度，其中，所述深入冠脉长度为导丝从冠脉入口点伸入至导丝末端点对应位置的长度，所述深入冠脉长度大于中心线步移长度，所述中心线步移长度为从冠脉入口点至所述导丝末端点对应位置的冠脉中心线长度；通过实时冠脉造影图像确定所述导丝所在冠脉血管的血管名称；基于所述血管名称、所述深入冠脉长度以及导丝的末端端点，匹配到导丝末端点在所述术前冠脉图像中的匹配位置，并将所述匹配位置记为M，以及将所述术前冠脉图像中的冠脉入口点记为O；基于所述实时冠脉造影图像以及Mip图像，确定所述Mip图像中导丝末端点对应位置的坐标，其中，所述Mip图像是根据所述术前冠脉图像确定的；确定误差范围a，并从冠脉中心线(OM
‑
a)至OM段之间选出N个候选点，并确定所述N个候选点的对应Mip坐标；从所述N个候选点的对应Mip坐标中确定最近点，并在判定所述最近点不在边缘位置后，将所述最近点对应于所述术前冠脉图像的三维坐标作为所述导丝末端点的真实位置，其中，所述最近点为与所述Mip图像中导丝末端点对应位置的坐标距离最近的点。2.如权利要求1所述的方法，其特征在于，所述确定导丝的深入冠脉长度，包括：确定介入机器人中的齿轮转速以及驱动设备直径；根据所述齿轮转速、所述驱动设备直径以及运动时间，确定所述导丝的向前长度/回撤长度；基于所述向前长度/回撤长度，确定导丝的深入冠脉长度。3.如权利要求1所述的方法，其特征在于，所述基于所述实时冠脉造影图像以及Mip图像，确定所述Mip图像中导丝末端点对应位置的坐标，包括：将所述实时冠脉造影图像以及Mip图像输入至训练好的关键点追踪网络；通过所述训练好的关键点追踪网络得到所述Mip图像中导丝末端点对应位置的坐标。4.如权利要求3所述的方法，其特征在于，所述将所述实时冠脉造影图像以及Mip图像输入至训练好的关键点追踪网络之前，还包括：获取目标冠脉的造影图像以及所述目标冠脉的Mip图像；基于所述目标冠脉的造影图像，确定导丝末端点在所述目标冠脉的Mip图像中的位置点，并对所述位置点进行标注；对标注有导丝末端点的Mip图像进行图像处理，确定四周呈现高斯分布的标注热力图；
将所述目标冠脉的造影图像以及所述目标冠脉的Mip图像输入至关键点追踪网络中，得到预测热力图；基于所述标注热力图以及预测热力图，确定损失值，并基于所述损失值更新所述关键点追踪网络，以得到训练好的关键点追踪网络。5.如权利要求1所述的方法，其特征在于，所述基于所述实时冠脉造影图像以及Mip图像，确定所述Mip图像中导丝末端点对应位置的坐标之前，还包括：从所述实时冠脉造影图像中确定角度信息，并将所述术前冠脉图像沿着所述角度信息进行旋转，得到旋转后的术前冠脉图像；基于数字重建投影算法，根据所述旋转后的术前冠脉图像生成Mip图像。6.如权利要求1所述的方法，其特征在于，所述从所述N个候...

【专利技术属性】
技术研发人员：王旭，马骏，郑凌霄，兰宏志，
申请(专利权)人：深圳睿心智能医疗科技有限公司，
类型：发明
国别省市：