一种基于深度学习的二维和三维医学图像配准方法和系统技术方案

本发明专利技术公开了一种基于深度学习的二维和三维医学图像配准方法和系统，先利用深度学习技术对三维医学图像中的目标病灶进行分割，然后对分割出来的图像进行重建。根据临床先验信息从重建的三维图像中获取病灶的边缘信息，得到若干个二值图。通过摄像头获取医师所需要观察的部位，利用深度学习技术计算目标病灶的边缘，得到另外一个二值图。运用图像配准技术将这两种来源的二值图进行配准，得到的两种类型的图像之间的变换矩阵，将这一变换矩阵应用在原始图像之上，即完成了图像配准问题。这一方法使得医师可以在诊断和治疗过程中具有一双实时的“透视眼”，更好的完成了医学图像配准任务，更加充分的利用了患者的影像学检查信息，辅助了临床治疗。

【技术实现步骤摘要】
一种基于深度学习的二维和三维医学图像配准方法和系统
本专利技术属于医学图像配准领域，主要应用了深度学习技术，并融合了临床先验知识来进行多模态和多维度的医学图像的配准。
技术介绍
在医学领域，医学影像学检查能够提供身体内部病灶的影像学信息，比如病灶的形态、大小、有无包膜、血供等信息。医生通过阅片，将影像学提供的信息和自身知识相融合，从而对患者进行诊治(例如手术)。在手术或者治疗过程中，医师无法透过浅层组织看到深层信息，只能利用逐层深入的办法来接近病灶，这一过程要求医生有着坚实的理论素养的手术经验。如果能够在诊治过程中将含有患者病灶三维信息的影像学图片经过某种处理并向医师所看到的视野上进行投影，则可以充分的利用影像学提供的信息，帮助医师实时“看透”病灶，使得医生能够更加准确的识别变异的组织和血管、距离病灶的远近等等，这一过程将能够能更好的辅助医师进行手术和治疗。医学图像配准技术能够帮助医师更好的阅读不同模态的医学图像，更加充分的利用图像信息，对提高疾病的诊疗水平有着重要的临床意义。因此得到了广泛的重视。专利202010205018.0公开了本文档来自技高网...

【技术保护点】
1.一种基于深度学习的二维和三维医学图像配准方法，其特征在于，包括如下步骤：/n步骤1，构建基于深度学习的三维影像图片分割网络，用于获取三维影像上病灶部位和病灶肿瘤的分割结果；/n所述基于深度学习的三维影像图片分割网络包括5个结构相同的分割模块，每个分割模块由三维编码器和三维解码器组成，所述三维编码器处理过程为：先对输入的三维矩阵进行两次卷积操作，然后进行第一次类池化操作，得到数组一，然后再进行两次卷积操作，之后进行第二次类池化操作，得到数组二，最后再进行两次卷积操作，最终生成数组三；所述三维解码器处理过程为：首先对三维编码器生成的数组三进行一次卷积操作和第一次反卷积操作，获得数组四，然后将三...

【技术特征摘要】
1.一种基于深度学习的二维和三维医学图像配准方法，其特征在于，包括如下步骤：
步骤1，构建基于深度学习的三维影像图片分割网络，用于获取三维影像上病灶部位和病灶肿瘤的分割结果；
所述基于深度学习的三维影像图片分割网络包括5个结构相同的分割模块，每个分割模块由三维编码器和三维解码器组成，所述三维编码器处理过程为：先对输入的三维矩阵进行两次卷积操作，然后进行第一次类池化操作，得到数组一，然后再进行两次卷积操作，之后进行第二次类池化操作，得到数组二，最后再进行两次卷积操作，最终生成数组三；所述三维解码器处理过程为：首先对三维编码器生成的数组三进行一次卷积操作和第一次反卷积操作，获得数组四，然后将三维解码器生成的数组四和三维编码器中对应的数组二进行合并，之后进行两次卷积操作，然后进行第二次反卷积操作，得到数组五，将三维解码器生成的数组五和三维编码器中对应的数组一进行合并，再经过两次卷积操作，并删除数组中维度为1的维度，得到形状和输入相同的数组；每次卷积操作之后进行Relu操作；
步骤2，基于步骤1中病灶部位和病灶肿瘤的分割结果重建病灶部位和病灶肿瘤的三维图像，并将病灶部位和病灶肿瘤以不同的颜色显示，设置一定的透明度，并获取不同距离和不同角度下包含了两者相对位置的二维图片image1，对image1进行二值化处理得到对应二值图称为image1a；
步骤3，构建基于深度学习的二维图像分割网络，用于获取二维图像上病灶部位和病灶肿瘤的分割结果，所述基于深度学习的二维图像分割网络由二维编码器和二维解码器组成，二维编码器包括8个卷积层，二维解码器包括8个反卷积层，二维编码器和二维解码器之间采用跳跃连接；每次卷积操作之后进行Relu操作；
步骤4，将步骤3中生成的分割结果记为image2，对应的二值图称为image2a，首先将image1a往image2a进行配准，计算每一张image1a和image2a配准之后的Dice系数和变换矩阵f，取Dice最大时的变换矩阵F，将image1应用F进行变换，将变换后的图像调整透明度并叠加到image2之上，实现病灶部位和病灶肿瘤的相对位置关系在二维图像上的可视化展示。


2.如权利要求1所述的一种基于深度学习的二维和三维医学图像配准方法，其特征在于：三维影像包括CT、MRI、PET/CT包含了病灶三维断层信息的影像学图片。


3.如权利要求1所述的一种基于深度学习的二维和三维医学图像配准方法，其特征在于：二维图像包含腔镜图像或者普通摄像头拍摄到的图像。


4.如权利要求1所述的一种基于深度学习的二维和三维医学图像配准方法，其特征在于：三维编码器的卷积层中卷积核的大小均为3*3*3，步长为1，类池化操作通过卷积核大小为2*2*2，步长为2的卷积实现；三维解码器中反卷积核大小为2*2*2，步长为2；
步骤1中每一个分割模块的具体处理过程如下；
当输入大小为(255，255，24)的三维矩阵时，先进行一次卷积核大小为(3*3*3)，步长为1，卷积核个数为16的卷积操作，对周围像素数进行补0以保证卷积之后的数组大小和卷积前的大小一致，进行Relu操作；
再经过一次卷积核大小为(3*3*3)，步长为1，卷积核个数为32的卷积操作，生成的数组大小为(255.255，24，32)，进行Relu操作；
随后进行第一次类池化操作，采用的卷积核大小为(2*2*2)，步长为2，生成的数组一大小为(128，128，12，32)；
将生成的32个三维数据数组经过卷积核大小为(3*3*3)，步长为1，卷积核为64的卷积层，进行Relu操作；
经过卷积核大小为(3*3*3)，步长为1，卷积核为128的卷积层，进行Relu操作；生成(128，128，12，128)的数组；
然后经过第二次类池化操作，依然采用卷积核大小为(2*2*2)，步长为2，生成形状为(64，64，6，128)的数组二；
然后再将这128个三维数组经过卷积核大小为(3*3*3)，步长为1，卷积核为128的卷积层，进行Relu操作；
经过卷积核大小为(3*3*3)，步长为1，卷积核为256的卷积层，进行Relu操作；
最终生成的数组三为(64，64，6，256)形状，此时完成了三维编码器部分，随后是三维解码器部分；
将数组三输入卷积核大小为(3*3*3)，步长为1，卷积核为128的卷积层，进行Relu操作，生成的三维数组形状为(64，64，6，128)；
经过一次反卷积，反卷积核大小为(2*2*2)，步长为2，进行Relu操作，生成数组四大小为(128，128，12，128)；
将生成的数组四和编码器中对应的数组二进行合并，生成数组形状为(128，128，12，256)，然后将合并过的数组依次经过卷积核为(3*3*3)，步长为1，卷积核为62的卷积层、进行Relu操作；
经过卷积核为(3*3*3)，步长为1，卷积核为32的卷积层，进行Relu操作，得到的数组形状为(128，128，12，32)；
经过第二次反卷积操作，采用的反卷积核大小为(2*2*2)，步长为2，进行Relu操作，生成形如(256，256，24，32)的数组五；
将数组五和对应的编码器中的数组一进行合并，生成数组形如(256，256，24，64)；再经过卷积核为(3*3*3)，步长为1，卷积核为16的卷积层，进行Relu操作；
经过卷积核为(3*3*3)，步长为1，卷积核为1的卷积层，进行Relu操作，生成(256，256，24，1)的数组，去掉维度为1的维度，即得到了形状和输入相同的(256，256，24)数组。


5.如权利要求1所述的一种基于深度学习的二维和三维医学图像配准方法，其特征在于：基于深度学习的三维影像图片分割网络的损失函数构建如下，
L＝λ1*Dice1+λ2*Dice2+λ3*Dice3+λ4*Dice4+λ5*Dice5
其中λ*代表损失项的超参数，Dice*代表对应分割模块的分割结果同真实分割结果的Dice相关系数；Dice相关系数是一种集合相似度度量函数，用于计算两个集合的重叠范围，取值范围为[0,1]，越靠近1重叠越多，越靠近0重叠越少，Dice定义如下：



其中指X和Y之间的交集；|...

【专利技术属性】
技术研发人员：王磊，杨瑞，李彦泽，张烨，陈志远，刘修恒，
申请(专利权)人：武汉大学，
类型：发明
国别省市：湖北;42