基于血管3D/2D匹配的3D导丝跟踪方法及装置制造方法及图纸

基于血管3D/2D匹配的3D导丝跟踪方法及装置，方法包括：血管拓扑的构建：针对3D血管，从术前CTA图像中识别出血管、构建血管表面模型并进行中心线的提取；通过深度学习的方法对2D血管分割来提取中心线；构建血管图模型分别描述2D和3D血管的结构；构建约束关系，找到3D和2D之间所有可能的匹配，通过最大化匹配分数找到最优匹配结果；采用深度学习对2D X射线图像中的导丝尖端分割，模型采用U‑Net作为基础结构，网络输入是x射线图像，输出是像素值为0到1的概率图，越接近1表示该像素是导丝尖端的概率越大；构建导丝尖端与2D血管树的对应关系，将2D导丝尖端反投影到3D血管空间中，实现3D导丝尖端的位姿估计。

【技术实现步骤摘要】
基于血管3D/2D匹配的3D导丝跟踪方法及装置
本专利技术涉及医学图像处理的
，尤其涉及一种基于血管3D/2D匹配的3D导丝跟踪方法，以及基于血管3D/2D匹配的3D导丝跟踪装置。
技术介绍
微创介入手术由于其创伤小，恢复时间快的特点，逐渐成为了医生们的主要选择。在介入手术中，医生通过将导管沿血管插入到病变区域，之后通过导管放置支架或药物进行治疗。在导管插入期间，通常使用术中X射线荧光透视图像进行引导。在这种图像中，导管可见，但血管是不可见的。因此，通常需要在引导过程中使用造影剂使血管显影，引导导管的插入过程。然而，二维的血管图像存在交叉等情况，医生通常难以判断实际的血管形状和位置。因此，将3D血管模型叠加到二维的图像上帮助医生引导导管的插入十分重要。CTA又叫做非创伤性血管成像技术，是在增强CT扫描以后进行的重建方法，简单讲就是在扫描时向血管内注入一定的造影剂使血管腔充盈并采集其数据，然后经过计算机重建处理，将非兴趣区的内容删除，仅保留血管的影像并进行整体和多角度的重建，使血管整体外观充分展现，同时也利于病变血管的显示。这个类似于数字减影检查(但CTA可以提供3维图像信息)。有很多学者通过血管3D/2D配准将3D血管模型显示在术中二维图像上，这能够帮助医生理解二维图像中导丝在三维血管中的大致位置，但对于导丝的实际位置并没有一个直观的展示。卷积神经网络在图像处理方面发展迅速，在图像分割等应用场景下达到了非常好的效果。Ronnerberger等人提出了一种称为U-Net的端到端的神经网络结构，独特的编码器-解码器结构使得在具有较小数据集的情况下，神经网络也能取得较好的效果。Pierre等人将U-Net应用在整个导丝的分割任务上，取得了较好的结果。在PCI手术中使用的导丝通常只有尖端部分和导管部分可见，导丝尖端的位置对手术导航具有重要意义。因此，更关注导丝尖端而不是整个导丝。Wang等人通过使用一种基于神经网络的方法，实现了对导丝尖端区域的探测，但是并没有进行导丝尖端的分割。YuDong等人采取了先探测目标区域后分割的方法实现了导丝尖端的分割。这种方法具有一定的精度，但是模型比较复杂，导致时间效率较低。3D/2D配准方法已经被广泛应用于心脏、颅骨、腹部以及整形外科等手术引导中。Markelj等人对3D/2D配准方法进行了总结。配准方法可以分为基于外部，基于内部以及基于校准的方法。基于外部的方法使用物理标记来配准，通常在获取3D图像之前将标记(X射线图像上可见的对象)放置在感兴趣区域附近。基于内部的方法依赖于骨骼或血管之类的解剖结构，通常基于强度，梯度或他们的组合。当3D术前图像和2D术中图像来自于同一台设备时，可以使用基于校准的方法。Ruijters等人使用C型臂信息来更新术前CT和2DX射线图像之间的配准。这种方法很适合在颅骨手术中应用，因为颅骨手术过程中不会移动头部。Atasoy等人提出了一种半自动方法，可以跟踪术中医生选择的一个感兴趣区域(导管的一部分)，并利用此信息平移以及转换3D模型以校正由呼吸运动引起的偏移。在血管介入手术中，2D血管显影较为清晰，更加适合采用基于血管的3D/2D配准。由于血管的特性，需要采用一些较为灵活的仿射模型变换。Groher等人介绍了一种能够将3D血管结构可变形的配准到不同场景的单个投影的方法，其变换模型受到长度守恒项的约束。该方法在实际图像上的计算时间约为5分钟，限制了其在介入手术中的应用。Metz等人的方法通过4DCTA构建心脏运动模型，但是在大多数情况下，4DCTA的获取较为困难。Liao等人通过利用腹主动脉特有的特性有效提升了配准计算的精度。
技术实现思路
为克服现有技术的缺陷，本专利技术要解决的技术问题是提供了一种基于血管3D/2D匹配的3D导丝跟踪方法，其能够实现3D导丝尖端的位姿估计，为医生直观地展示导丝尖端与血管的相对位置关系。本专利技术的技术方案是：这种基于血管3D/2D匹配的3D导丝跟踪方法，其包括以下步骤：(1)血管拓扑的构建：针对3D血管，从术前CTA图像中识别出血管、构建血管表面模型并进行中心线的提取；通过深度学习的方法对2D血管进行分割来提取中心线；构建一个血管图模型G(V,E)来分别描述2D和3D血管的结构，其中，图的节点vi∈V(1≤i≤|V|)代表一个血管段的端点或分叉点，图的边ei∈E(1≤i≤|E|)代表两个血管点之间的血管段；(2)构建约束关系，找到3D和2D之间所有可能的匹配，通过最大化匹配分数找到最优匹配结果；(3)采用深度学习对2DX射线图像中的导丝尖端进行分割，模型采用U-Net作为基础结构，网络的输入是一张x射线图像，输出是一张像素值为0到1的概率图，越接近1表示该像素是导丝尖端的概率越大；(4)构建导丝尖端与2D血管树的对应关系，将2D导丝尖端反投影到3D血管空间中，实现3D导丝尖端的位姿估计。本专利技术首先针对3D和2D的血管分别构建血管树，构建约束关系找到3D和2D之间所有可能的匹配，通过最大化匹配分数找到最优匹配结果，然后结合一种基于神经网络的方法对导丝尖端进行分割，构建导丝尖端与2D血管树的对应关系，将2D导丝尖端反投影到3D血管空间中，因此能够实现3D导丝尖端的位姿估计，为医生直观地展示导丝尖端与血管的相对位置关系。还提供了基于血管3D/2D匹配的3D导丝跟踪装置，其包括：血管拓扑的构建模块，其针对3D血管，从术前CTA图像中识别出血管、构建血管表面模型并进行中心线的提取；通过深度学习的方法对2D血管进行分割来提取中心线；构建一个血管图模型G(V,E)来分别描述2D和3D血管的结构，其中，图的节点vi∈V(1≤i≤|V|)代表一个血管段的端点或分叉点，图的边ei∈E(1≤i≤|E|)代表两个血管点之间的血管段；约束关系构建模块，其找到3D和2D之间所有可能的匹配，通过最大化匹配分数找到最优匹配结果；二维图像导丝尖端分割模块，其采用深度学习对2DX射线图像中的导丝尖端进行分割，模型采用U-Net作为基础结构，网络的输入是一张x射线图像，输出是一张像素值为0到1的概率图，越接近1表示该像素是导丝尖端的概率越大；导丝尖端2D-3D反投影模块，其构建导丝尖端与2D血管树的对应关系，将2D导丝尖端反投影到3D血管空间中，实现3D导丝尖端的位姿估计。附图说明图1示出了根据本专利技术的血管拓扑结构。图2示出了根据本专利技术的3D和2D血管树结构，左侧为3D血管，右侧为2D血管。图3示出了对应的2D造影图像以及2DX射线图像。图4示出了根据本专利技术的基于血管3D/2D匹配的3D导丝跟踪方法的流程图。具体实施方式如图4所示，这种基于血管3D/2D匹配的3D导丝跟踪方法，其包括以下步骤：(1)血管拓扑的构建：针对3D血管，从术前CTA图像中识别出血管、构建血管表面模型并进行中心线的提取；通过深度学习的方法对2D血管进行分割来提取中心线；构建一个血管图模型G(V,E)来分别本文档来自技高网...

【技术保护点】
1.基于血管3D/2D匹配的3D导丝跟踪方法，其特征在于：其包括以下步骤：/n(1)血管拓扑的构建：针对3D血管，从术前CTA图像中识别出血管、构建血管表面模型并进行中心线的提取；通过深度学习的方法对2D血管进行分割来提取中心线；构建一个血管图模型G(V,E)来分别描述2D和3D血管的结构，其中，图的节点v

【技术特征摘要】
1.基于血管3D/2D匹配的3D导丝跟踪方法，其特征在于：其包括以下步骤：
(1)血管拓扑的构建：针对3D血管，从术前CTA图像中识别出血管、构建血管表面模型并进行中心线的提取；通过深度学习的方法对2D血管进行分割来提取中心线；构建一个血管图模型G(V,E)来分别描述2D和3D血管的结构，其中，图的节点vi∈V(1≤i≤|V|)代表一个血管段的端点或分叉点，图的边ei∈E(1≤i≤|E|)代表两个血管点之间的血管段；
(2)构建约束关系，找到3D和2D之间所有可能的匹配，通过最大化匹配分数找到最优匹配结果；
(3)采用深度学习对2DX射线图像中的导丝尖端进行分割，模型采用U-Net作为基础结构，网络的输入是一张x射线图像，输出是一张像素值为0到1的概率图，越接近1表示该像素是导丝尖端的概率越大；
(4)构建导丝尖端与2D血管树的对应关系，将2D导丝尖端反投影到3D血管空间中，实现3D导丝尖端的位姿估计。


2.根据权利要求1所述的基于血管3D/2D匹配的3D导丝跟踪方法，其特征在于：所述步骤(1)中，首先使用Mimics交互的对3D血管进行分割，得到较为平滑的血管3D模型，使用一种基于曲率的迭代细化方法提取其中心线，将平均曲率流的思想应用到骨架提取中，迭代进行的细化过程使模型的表面收缩为一条中心线；针对2D血管，选择一帧造影剂充溢的X射线图像，使用基于增强图像引导的神经网络的方法对其进行血管分割，为了能够得到更加平滑的2D血管中心线，在形态学细化方法的基础上，加入了非极大值抑制的策略来优化对血管中心线的提取过程。


3.根据权利要求2所述的基于血管3D/2D匹配的3D导丝跟踪方法，其特征在于：所述步骤(1)中，在分别对2D和3D血管图像进行预处理后，得到2D和3D血管的中心线，由若干个顶点以及边组成；对于2D血管的中心线，通过遍历的方法找到其端点、分叉点以及中心线，规定其8邻域内的点都是连接的；对于3D血管中心线，通过深度优先搜索构建邻接矩阵得到连接关系，识别出端点和分叉点。


4.根据权利要求3所述的基于血管3D/2D匹配的3D导丝跟踪方法，其特征在于：所述步骤(2)中，为了找到最佳匹配，构建一个全局的匹配分数S，通过评估每一个曲线匹配的匹配分数来找出所有匹配中的最佳匹配，匹配分数包含衡量曲线之间的距离以及3D曲线投影后与2D曲线的相似度两个部分，每个可能的曲线匹配集合表示为公式(1)：
π＝[(R,p)]∪πc1∪πc2…(1)
其中，R表示根节点处的中心线，p表示2D中心线中可能与其匹配的曲线段，πc1等代表去掉已有曲线匹配对的其它曲线匹配；
曲线匹配分数的可分离性允许将曲线匹配分数通过公式(2)独立计算：
S(π)＝L(R)·S(R,p)+S(πc1)+S(πc2)…(2)
针对每个子树来计算匹配分数求得最优匹配，而后进行回溯找到全局最优匹配。


5.根据权利要求4所述的基于血管3D/2D匹配的3D导丝跟踪方法，其特征在于：所述步骤(3)中，网络的结构包含四个下采样和四个上采样过程，同时包含跳连接将网络低层特征和高层特征相结合；为了加速网络的收敛，在每个卷积层之后加入了bn层；同时，将U-Net中的卷积块替换为dense-block，还在每个dense-block之后加入了dropout层以避免过拟合；构建的dense-block具有五个卷积层；在第l层，接受所有之前层的输出作为输入，表示为公式(3)：
...

【专利技术属性】
技术研发人员：艾丹妮，杨健，范敬凡，郭帅，王涌天，
申请(专利权)人：北京理工大学，
类型：发明
国别省市：北京;11