【技术实现步骤摘要】
本专利技术涉及计算机视觉预测，具体为一种基于深度神经网络的术前与术中ct图像自动融合方法。
技术介绍
1、近年来，医学影像引导的微创手术在骨科等临床治疗过程中起着越来越重要的作用。术前与术中ct图像的融合是医学影像引导的微创手术路径自动规划和置针精度评估的关键步骤。然而，由于医学图像中解剖结构的复杂性和个体差异性，实现术前与术中ct图像的精确自动融合一直是一个具有挑战性的任务。
2、传统医学图像自动融合方法采用的整幅图像直接配准方式。传统图像自动融合方法采用的通常是整幅图像直接配准方式，即通过互信息等算法在全图像范围内提取所有区域特征信息以完成配准。例如，zhang等人在《automatic medical image registrationbased on an integrated method combining feature and area information》中详细介绍了一种基于直接图像配准的自动医学图像融合方法，利用整幅图像级别的特征匹配来实现mri和ct图像的融合，以提高医学影像的质量和准确性；wu等人在《medical imageregistration in image guided surgery: issues, challenges and researchopportunities》中提出了一种用于微创神经外科导航的图像融合技术，详细介绍了整幅图像直接配准方法的实施步骤，以及如何将术前和术中图像融合以提高手术的导航和定位精度；choi等人在《a novel approach to
3、而骨科临床根据尽可能降低患者和医生所受电离辐射伤害的原则，会大幅降低术中ct图像的x线辐射剂量，但同时会使得术中ct图像含有大量噪声和伪影。而非病灶区域的图像噪声和伪影将严重影响传统图像自动融合方法的性能，导致传统医学图像自动融合方法获得结果的精度并不能满足基于医学影像引导的骨科临床微创手术的实际需要。
技术实现思路
1、鉴于上述存在的问题，提出了本专利技术。
2、本专利技术实施例的第一方面，提供一种基于深度神经网络的术前与术中ct图像自动融合方法，包括：采集脊柱微创术前和术后同一病人的三维c形臂ct图像，对所述三维c形臂ct图像的腰椎区域分别进行标注；根据所述标注的图像构建基于注意力机制的三维u型分割网络模型，利用所述三维u型分割网络模型从术前和术后ct图像中自动分割出腰椎区域；利用快速全局点云配准算法对术前和术后ct图像中自动分割出的腰椎区域进行配准，并获得术前ct图像和术后ct图像间的形变矩阵；通过所述形变矩阵将所述术前ct图像转换到所述术后ct图像的坐标空间，实现术前和术后ct图像的自动融合。
3、作为本专利技术所述的基于深度神经网络的术前与术中ct图像自动融合方法的一种优选方案，其中：对所述三维c形臂ct图像的腰椎区域分别进行标注包括，
4、采集脊柱微创术前和术后同一病人的三维c形臂ct图像，分别从横断面方向、矢状面方向以及冠状面方向观察术前和术后ct图像中的腰椎区域；
5、遍历术前和术后ct图像中的体素，将在腰椎区域内的体素标记为1，其余区域内的体素标记为0，从而获得术前和术后ct图像的腰椎区域标注信息。
6、作为本专利技术所述的基于深度神经网络的术前与术中ct图像自动融合方法的一种优选方案，其中：所述三维u型分割网络模型由特征提取子网络、特征融合子网络和预测子网络三部分组成；
7、所述特征提取子网络包括初始卷积模块、下采样卷积模块和注意力机制模块；
8、所述初始卷积模块利用三维卷积层将输入的标注图像的通道数从c1转换为指定的输出通道数c2，再使用n个下采样卷积模块逐步提取尺寸从大到小的特征，即依次经过批归一化层和relu激活函数得到初始特征图，所述注意力机制模块对所述初始特征图的尺寸进行全局平均池化缩减后，通过一个卷积层和relu激活函数将特征图的通道数减半，再通过另一个卷积层和sigmoid激活函数得到注意力权重，最后将所述注意力权重和特征图相乘得到加权后的特征图；
9、所述特征融合子网络包括上采样模块和特征拼接操作；
10、将从所述特征提取子网络的注意力模块输出的尺寸为(c, d, h, w)的特征图作为上采样模块u1的输入，所述上采样模块u1将输入的特征图尺寸扩大至原来的两倍，再将所述下采样卷积模块的输出特征通过特征拼接操作p1与所述上采样模块u1的输出特征融合后，作为上采样模块u2的输入；
11、将所述上采样模块u2的输出特征和利用通道l2传输至所述特征融合子网络的上采样模块d2的输出特征，一并通过特征拼接操作p2产生融合特征后送入上采样模块u3，利用通道l3传输至所述特征融合子网络的上采样模块d2的输出特征，再通过特征拼接操作p3与所述上采样模块u3的输出特征进行融合后输入至上采样模块u4，利用通道l4传输至所述特征融合子网络的上采样模块d1的输出特征，再通过特征拼接操作p4与所述上采样模块u4的输出特征进行融合后输入分类预测模块f1，最终获得特征融合子网络的输出结果；
12、所述预测子网络包括特征拼接操作和分类预测模块；
13、所述初始卷积模块的输出特征通过通道l4传送至所述预测子网络，并使用特征拼接操作进行融合，将融合后的特征图输入分类预测模块，所述分类预测模块预测出c形臂ct图像中各体素属于腰椎部分的概率并输出。
14、作为本专利技术所述的基于深度神经网络的术前与术中ct图像自动融合方法的一种优选方案，其中：所述三维u型分割网络模型的训练包括，
15、采用ldice作为损失函数表示模型预测的c形臂ct图像中各体素属于腰椎区域的概率值与真实值之间的偏差，用于训练基于注意力机制的三维u型分割网络模型；
16、所述损失函数的计算包括，
17、；
18、其中，表示使用深度神经网络获得的ct图像脊柱分割结果，表示使用深度神经网络获得的ct图像脊柱分割的真实结果，表示取x的模值，表示取y的模值，表示取x和y交集的模值。
19、作为本专利技术所述的基于深度神经网络的术前与术中ct图像自动融合方法的一种优选方案，其中：还包括，
20、将新采集的术前和术后c形臂ct图像分别输入已训练好的三维u型分割网络模型；
21、所述三维u型分割网络模型将预测出术前和术后c形臂ct图像每个体素属于腰椎区域的概率值，若所述概率值大于等于默认阈值，则被赋值1，即体素属于c形臂ct图像腰椎部分，若所述概率值小于默认阈值，则被赋值0，即体素不属于c形臂ct图像腰椎部分。
22、作为本专利技术所述的基本文档来自技高网...
【技术保护点】
1.一种基于深度神经网络的术前与术中CT图像自动融合方法，其特征在于，包括：
2.如权利要求1所述的基于深度神经网络的术前与术中CT图像自动融合方法，其特征在于：对所述三维C形臂CT图像的腰椎区域分别进行标注包括，
3.如权利要求2所述的基于深度神经网络的术前与术中CT图像自动融合方法，其特征在于：所述三维U型分割网络模型由特征提取子网络、特征融合子网络和预测子网络三部分组成；
4.如权利要求3所述的基于深度神经网络的术前与术中CT图像自动融合方法，其特征在于：所述三维U型分割网络模型的训练包括，
5.如权利要求4所述的基于深度神经网络的术前与术中CT图像自动融合方法，其特征在于：还包括，
6.如权利要求5所述的基于深度神经网络的术前与术中CT图像自动融合方法，其特征在于：所述快速全局点云配准算法的应用包括，
7.如权利要求6所述的基于深度神经网络的术前与术中CT图像自动融合方法，其特征在于：术前和术后CT图像的自动融合包括，
8.一种实施如权利要求1~7任一所述的基于深度神经网络的术前与术中CT
9.一种设备，其特征在于，所述设备包括，
10.一种计算机可读存储介质，其上存储有计算机程序指令，其特征在于，所述计算机程序指令被处理器执行时实现权利要求1~7中任一所述的方法。
...【技术特征摘要】
1.一种基于深度神经网络的术前与术中ct图像自动融合方法，其特征在于，包括：
2.如权利要求1所述的基于深度神经网络的术前与术中ct图像自动融合方法，其特征在于：对所述三维c形臂ct图像的腰椎区域分别进行标注包括，
3.如权利要求2所述的基于深度神经网络的术前与术中ct图像自动融合方法，其特征在于：所述三维u型分割网络模型由特征提取子网络、特征融合子网络和预测子网络三部分组成；
4.如权利要求3所述的基于深度神经网络的术前与术中ct图像自动融合方法，其特征在于：所述三维u型分割网络模型的训练包括，
5.如权利要求4所述的基于深度神经网络的术前与术中ct图像自动融合方...
【专利技术属性】
技术研发人员：戴修斌，孙智民，王东苗，朱书进，冒添逸，刘天亮，
申请(专利权)人：南京邮电大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。