一种基于深度卷积神经网络的前列腺MR图像多任务配准方法技术

本发明专利技术公开了一种基于深度卷积神经网络的前列腺MR图像多任务配准方法，包括训练阶段和推理阶段。训练阶段包括前列腺MR图像的预处理、构建神经网络模型和神经网络参数的训练。通过对单向配准任务的扩展，实现多任务的联合训练模型，利用前列腺的标签信息作为弱监督信息指导网络的训练，并利用循环一致性和逆一致性对网络训练进行约束，同时构建双路径的深度卷积神经网络实现网络权值共享。同时对网络预测的位移矢量场进行正则化，使得位移矢量场更加平滑。在推理阶段，将预处理的运动图像和参考图像数据作为网络的输入，经过训练好的网络会得到预测的位移矢量场，将位移矢量场作用于运动图像，从而得到前列腺的MR图像配准的结果。

A multi task prostate MR image registration method based on deep convolution neural network

【技术实现步骤摘要】
一种基于深度卷积神经网络的前列腺MR图像多任务配准方法
本专利技术属于医学影像处理
，尤其涉及一种基于深度卷积神经网络的前列腺MR图像多任务配准方法。
技术介绍
随着计算机技术和医学影像工程的发展，越来越多的科学技术被应用于现代医学中，特别是医学成像技术，渗透了医学的临床应用，各种医学成像设备从不同的侧面反映人体的身体状况，为医疗诊断治疗提供直接、客观的信息。现代医学成像技术常见的有核磁共振成像(MRI)、计算机X射线摄影(X-光)、超声成像、计算机断层成像(CT)、正电子发射计算机断层显像(PET)等，它们主要分为两大类：解剖图像和功能图像，解剖图像分辨率较高，能够较为准确的获得脏器的结构信息，但是不具备功能作用。功能图像分辨率低，无法清楚的显示脏器的轮廓信息，但是可以显示人体的新陈代谢情况。虽然两者的成像技术都在不断的进步，成像结果越来越准确，但是在实际的临床应用中，由于成像原理的不同，某一种成像技术只能反映人体的某些特定的信息，往往需要医生结合多种成像技术对病人进行诊断治疗。然而，综合多种医学影像的信息往往需要多年的经验，不仅局限于很多主观因素，还增加了医生的工作量。解决这个问题的最佳方法便是医学图像配准技术，医学图像配准是医学图像分析的重要研究分支，是医学图像融合、重建的核心技术，在临床应用中具有重要的意义。医学图像配准技术是指将两幅或两幅以上的图像进行几何对准，使得同一像素代表相同的解剖位置。通过医学图像配准技术能够将多种成像技术有机的联合起来，将多种医学信息整合在一张图像上，更加直观、准确的辅助医生进行诊断治疗。图像配准技术可分为刚性配准和非刚性配准。上世纪80年代，医学图像配准主要以刚体配准为主，通过学习图像灰度差异等医学信息来估计图像之间的刚性变换系数。目前，基于刚体配准的算法已经趋近成熟，在临床得到了广泛的应用。但是刚体配准的自由度小，只解决了配准问题中的小部分。对于实际医学应用中，刚体变换是远远不能满足实际需求的，医学图像配准问题需要更多自由度的变换。21世纪以来，非刚体配准技术成为了研究的重点，且得到了快速发展，许多学者研究出了许多非线性变换方式，例如基于B样条的自由变换模型、基于弹性变换模型、基于光流扩散的物理学形变模型等。经典的非刚体图像配准算法往往首先选择一个变换模型，随后定义一个相似度指标，最后迭代优化变换参数。虽然经典的算法取得了不错的性能，但由于迭代优化的性质，其速度往往较慢，无法满足临床的实时性需求，且可能陷入局部最优。此外，不同的相似性度量具有不同的性质，针对不同的脏器或影像，需要定义不同的相似性度量。最近几年,深度学习特别是深度卷积神经网络,在计算机视觉方面取得了突破性研究成果，同时，在医学图像分析方面也得到迅速发展，深度卷积神经网络在医学图像配准方面也得到了一定的成果，例如DIRNet、VoxelMorph等。虽然模型的训练时间较长，但是一旦训练完毕，模型可以快速的配准图像，更好的满足临床需要。虽然目前基于深度学习的算法取得了令人满意的结果，但是现存的方法还存在较多不足，配准的结果往往与训练数据集的大小密切相关，同时忽略了位移矢量场的物理属性。
技术实现思路
针对现有技术存在的不足，本专利技术提供了一种高精度、高效率的基于深度卷积神经网络的前列腺MR图像多任务配准方法。为解决上述技术问题，本专利技术采用如下的技术方案：一种基于深度卷积神经网络的前列腺MR图像多任务配准方法，包括如下步骤：步骤1，将不同格式的前列腺MR图像进行统一格式处理并筛选；步骤2，对图像进行像素范围裁剪及归一化，统计图像的体素间距分布，对图像重采样统一体素间距；步骤3，设计双路径的深度卷积神经网络模型实现多个图像的配准，网络模型的具体处理过程如下，在编码阶段通过两条不同路径的卷积层和下采样层分别提取运动图像和参考图像不同尺度的特征信息，即是在编码阶段分为上下支流，上支流的输入是运动图像，下支流的输入是参考图像，编码阶段上下支流的结构参数和操作相同，都包括10个卷积层和5个下采样层，每经过两次卷积层之后经过一次下采样层；在解码阶段，是对编码阶段中学习的特征进行解码，首先将上下两个支流的特征图进行叠加，然后通过10卷积层和5个上采层对上下两个直流的特征进行融合及使解码之后输出的位移矢量场与原图的大小一样，每经过两次卷积层之后经过一次上采样层；同时，每次上采样之后得到的特征图通过跳跃连接与编码阶段上下两支流相同尺度的特征图进行叠加；最后一层使用1×1卷积对数据进行降维及输出最后的位移矢量场；步骤4，利用前列腺的标签信息作为弱监督信息指导双路径的深度卷积神经网络模型的训练，并对位移矢量场进行正则化；步骤5，将运动图像和参考图像输入训练好的网络模型得到预测的位移矢量场，利用位移矢量场对运动图像进行重采样得到对应的配准结果。进一步的，步骤3中，在编码阶段，卷积核的大小均为3×3，其中卷积层的卷积步长为1，下采样层卷积步长为2，每经过一次下采样层之后，卷积层特征通道数量都加倍，分别为32，64，128，256，512；在解码阶段，卷积核大小均为3×3，卷积层卷积步长为1，上采样层卷积步长为2，每经过1次上采样层之后的卷积层都将特征通道数减半，分别为512，256，128，64，32。进一步的，步骤4中，在训练过程中使用循环一致性与逆一致性约束实现多任务互连，具体实现如下，多任务是指A→B→A′；B→A→B′；A′→A→A″；B′→B→B″这四个任务，其中以A→B→A′为例，A表示运动图像，B表示参考图像，A′表示配准的结果图像；其中循环一致性约束和逆一致性约束的数学表达式如下：循环一致性：|A-A″|2+|B-B″|2逆一致性：|ΦAB-ΦB′B|2+|ΦBA-ΦA′A|2其中，ΦAB表示从图像A配准到图像B网络模型预测的位移矢量场，ΦB′B表示从图像B′配准到图像B网络模型预测的位移矢量场，ΦBA表示从图像B配准到图像A网络模型预测的位移矢量场，ΦA′A表示从图像A′配准到图像A网络模型预测的位移矢量场。进一步的，步骤4中对位移矢量场进行正则化包括范围约束正则化、L2正则化及反折叠约束，其中范围约束正则化的数学表达式如下：其中，p表示像素点，Ω表示空间内的所有像素，Φ()表示生成的位移矢量场，h()表示变形后的像素网格，通过将位移矢量场与原始坐标相加得到，为位移矢量场的梯度，为L2正则化，fσ为分段函数；其中，s表示像素网格的大小，即图像的大小；反折叠约束的数学表达式如下：其中，Relu用于对产生折叠的位置进行惩罚，时表示此处存在折叠，其他值则表示无折叠，即不进行惩罚。本专利技术的有益效果为：(1)本专利技术提出了一种多任务的配准网络，将单个任务扩展成为了四个任务，在一定程度上增加了数据量，缓解了医学图像可用数据量少的问题，进一步提高了配准的精度。(2)本专利技术提出了一种自适应的基于解剖学约束的配准算法，图像的解剖学本文档来自技高网...

【技术保护点】
1.一种基于深度卷积神经网络的前列腺MR图像多任务配准方法，其特征在于，包括如下步骤：/n步骤1，将不同格式的前列腺MR图像进行统一格式处理并筛选；/n步骤2，对图像进行像素范围裁剪及归一化，统计图像的体素间距分布，对图像重采样统一体素间距；/n步骤3，设计双路径的深度卷积神经网络模型实现多个图像的配准，网络模型的具体处理过程如下，/n在编码阶段通过两条不同路径的卷积层和下采样层分别提取运动图像和参考图像不同尺度的特征信息，即是在编码阶段分为上下支流，上支流的输入是运动图像，下支流的输入是参考图像，编码阶段上下支流的结构参数和操作相同，都包括10个卷积层和5个下采样层，每经过两次卷积层之后经过一次下采样层；在解码阶段，是对编码阶段中学习的特征进行解码，首先将上下两个支流的特征图进行叠加，然后通过10卷积层和5个上采层对上下两个直流的特征进行融合及使解码之后输出的位移矢量场与原图的大小一样，每经过两次卷积层之后经过一次上采样层；同时，每次上采样之后得到的特征图通过跳跃连接与编码阶段上下两支流相同尺度的特征图进行叠加；最后一层使用1×1卷积对数据进行降维及输出最后的位移矢量场；/n步骤4，利用前列腺的标签信息作为弱监督信息指导双路径的深度卷积神经网络模型的训练，并对位移矢量场进行正则化；/n步骤5，将运动图像和参考图像输入训练好的网络模型得到预测的位移矢量场，利用位移矢量场对运动图像进行重采样得到对应的配准结果。/n...

【技术特征摘要】
1.一种基于深度卷积神经网络的前列腺MR图像多任务配准方法，其特征在于，包括如下步骤：
步骤1，将不同格式的前列腺MR图像进行统一格式处理并筛选；
步骤2，对图像进行像素范围裁剪及归一化，统计图像的体素间距分布，对图像重采样统一体素间距；
步骤3，设计双路径的深度卷积神经网络模型实现多个图像的配准，网络模型的具体处理过程如下，
在编码阶段通过两条不同路径的卷积层和下采样层分别提取运动图像和参考图像不同尺度的特征信息，即是在编码阶段分为上下支流，上支流的输入是运动图像，下支流的输入是参考图像，编码阶段上下支流的结构参数和操作相同，都包括10个卷积层和5个下采样层，每经过两次卷积层之后经过一次下采样层；在解码阶段，是对编码阶段中学习的特征进行解码，首先将上下两个支流的特征图进行叠加，然后通过10卷积层和5个上采层对上下两个直流的特征进行融合及使解码之后输出的位移矢量场与原图的大小一样，每经过两次卷积层之后经过一次上采样层；同时，每次上采样之后得到的特征图通过跳跃连接与编码阶段上下两支流相同尺度的特征图进行叠加；最后一层使用1×1卷积对数据进行降维及输出最后的位移矢量场；
步骤4，利用前列腺的标签信息作为弱监督信息指导双路径的深度卷积神经网络模型的训练，并对位移矢量场进行正则化；
步骤5，将运动图像和参考图像输入训练好的网络模型得到预测的位移矢量场，利用位移矢量场对运动图像进行重采样得到对应的配准结果。


2.如权利要求1所述的一种基于深度卷积神经网络的前列腺MR图像多任务配准方法，其特征在于：步骤3中，在编码阶段，卷积核的大小均为3×3，其中卷积层的卷积步长为1，下采样层卷积步长为2，每经过一次下采样层之后，卷积层特征通道数量都加倍，分别为32，64，128，256，512；在解码阶段，卷积核大小均为3×3，卷积层卷...

【专利技术属性】
技术研发人员：杜博，廖健东，
申请(专利权)人：武汉大学，
类型：发明
国别省市：湖北;42