一种医学图像模态合成的方法技术

本发明专利技术公开了一种医学图像模态合成的方法，源模态图像空间分辨率归一化处理，使图像的分辨率归一化到同样大小，源模态图像灰度值标准化或者归一化处理，对第一步处理后的源模态图像灰度值归一化到均值为0，标准偏差为1，将处理后的源模态图像为输入，由卷积神经网络进行预测，将卷积神经网络预测输出进行线性变换生成目标模态图像；以此达到进行线性变换的目的，最终生成目标模态图像。通过学习得到的卷积神经网络模型快速有效地实现医学图像的模态合成，通过对卷积神经网络模型的训练自动完成不同尺度、多种层次图像特征的学习和优化，不需要进行耗时的图像配准过程，可快速准确地完成模态合成。

【技术实现步骤摘要】

本专利技术涉及数字图像处理
，具体为一种医学图像模态合成的方法。
技术介绍
通过计算机模拟另一种成像设备的成像方法合成、虚拟重建相应的图像，这一过程称为模态合成，如由X线计算机断层扫描图像数据重构超声图像、由磁共振成像设备获取的图像数据预测合成对应的CT图像等。本专利技术的目的在于提供一种有效的模态合成方法，快速有效地实现医学图像的模态合成。模态合成所产生的结果可用于简化多模态医学图像配准问题、PET/MRI成像系统中的衰减校正、放疗中辐射剂量分布计算等。普通的数字图像处理方法在建立物理模型的时难以应用于现有大多数成像设备和常规成像方式下获取的图像数据，普适性有限、应用范围窄，对于图像分割的方法只能得到相当粗糙的合成图像，而图谱的方法适用部位有限，模态合成图像的精度受到限制，不能保证所有个体图像与图谱很好地对应，并且图谱配准非常耗时，建立回归预测模型只能提取较小区域的图像特征，难以很好逼近不同模态医学图像之间复杂的映射关系。
技术实现思路
本专利技术的目的在于提供一种医学图像模态合成的方法，以解决上述
技术介绍
中提出的问题。为实现上述目的，本专利技术提供如下技术方案：一种医学图像模态合成的方法,包括以下步骤：第一步，源模态图像空间分辨率归一化处理，将所有的源模态图像在空间上经过降采样的方法进行缩小或经过插值的方法进行放大，使图像的分辨率归一化到同样大小；第二步，源模态图像灰度值标准化或者归一化处理，对第一步处理后的源模态图像灰度值归一化到均值为0，标准偏差为1；第三步，将处理后的源模态图像为输入，由卷积神经网络进行预测，以第二步处理后的源模态图像数据中的二维数据、三维体数据或者相邻的若干层图像为输入，预测源模态对应的目标模态图像，其中所采用的卷积神经网络构架具有多个卷积层、池化层、并置层和上采样层；第四步，将卷积神经网络预测输出进行线性变换生成目标模态图像。优选的，卷积神经网络各层的输入和输出称为特征图，特征图具有多个通道，通道数目取决于对应卷积层中卷积核的数目，设第l层卷积层有nl个卷积核，第l层卷积层输出的特征图记为Fl，特征图Fl的第i个通道记为Fil，其中i＝1,2,3,...,nl，卷积网络的输入记为具有一个或多个通道；数学上，卷积神经网络中第l层卷积层输出特征图Fl与输入Fl-1之间的关系描述为：Fil=σ(Σj=1nlwi,jl*Fjl-1+bil),i=1,2,...,L-1;]]>上式中，*表示二维卷积操作，σ(.)表示输入矩阵中元素的非线性激活函数，为第l层卷积层中用于计算输出特征图第i个通道、与输入特征图中第j个通道进行卷积的二维卷积核，为第l层卷积层中用于计算输出特征图第i个通道的偏置项，L表示卷积网络中的卷积层数目，非线性激活函数σ(.)为Sigmoid函数、双曲线正切函数或者ReLU函数；当非线性激活函数σ(.)为Sigmoid函数时：σ(x)＝1/(1+e-x)；其中e为自然底数；当非线性激活函数σ(.)为双曲线正切函数时：σ(x)＝(ex-e-x)/(ex+e-x)；其中e为自然底数；当非线性激活函数σ(.)为ReLU函数时：σ(x)=0,ifx<0x,ifx≥0]]>第L层卷积层激活函数为线性函数，输出为预测的目标模态图像：G=Σj=1nLw1,jL*FjL-1+b1L.]]>优选的，卷积神经网络的池化层只改变特征图的大小，不改变图像的通道数，池化的方式为最大池化、平均池化或者加权平均池化，；在二维图像的情况下，假设最大池化的作用区域为w×h的图像区域，其中w、h分别为特征图的长宽，则此次作用的区域输出的结果为：y(i+1)/2,(j+1)/2=max1≤i≤w,1≤j≤h(xij);]]>其中，y(i+1)/2,(j+1)/2代表区域为w×h的图像区域中心像素点的池化结果，i和j为整数，xij为原图像坐标点为(i,j)的像素点的灰度值；类似地，在二维图像下，区域为w×h的图像区域的平均池化的结果是：y(i+1)/2,(j+1)/2=1w·hΣ1≤i≤w,1≤j≤h(xij);]]>其中，y(i+1)/2,(j+1)/2代表区域为w×h的图像区域中心像素点的池化结果，i和j为整数，xij为原图像坐标点为(i,j)的像素点的灰度值；同样，在二维图像下，区域为w×h的图像区域的加权平均池化的结果是：y(i+1)/2,(j+1)/2＝∑1≤i≤w,1≤j≤h(wij·xij)；其中，y(i+1)/2,(j+1)/2代表区域为w×h的图像区域中心像素点的池化结果，i和j为整数，xij为原图像坐标点为(i,j)的像素点的灰度值，wij为xij的权重，且有：Σ1≤i≤w,1≤j≤h(wij)=1.]]>优选的，卷积神经网络的并置层是将多通道的特征图叠加在一起，设两组输入的特征图的大小分别为w×h×c×m和w×h×c×n，其中w、h分别为特征图的长宽，c为输入特征图的通道数，m和n为输出特征图的通道数，经过并置层得到的输出为大小为w×h×c×(m+n)的特征图。优选的，卷积神经网络的上采样层通过卷积核的卷积转置实现，上采样的倍数通过卷积核的移动步长来决定；卷积转置是一维信号x经过卷积f’获得输出的信号y，其中，f’是由f转置而来的，f是前向神经网络的卷积核，f’每次卷积的移动步长s和裁减的数目大小c决定了输出信号的长度，卷积转置用公式表示如下：yij=Σa=0q(h,sh)Σb=0q(w,sw)f1+sh·a+m(i+ch,sh),1+sw·b+m(j+cw,sw)×x1-a+q(i+ch,sh),1-b+q(j+cw,sw);]]>其中，Sh和Sw分别是垂直方向和竖直方向的上采样倍数，Ch和Cw分别是垂直方向和竖直方向的裁减数目，a和b分别为卷积核在输入x上的卷积范围内的横坐标减1和纵坐标减1，yij为输出图像上坐标点为(i,j)的像素点的卷积转置结果，fuv的下标u和v分别为卷积核f的行和列，mod表示的是求余，表示的是向下求整。优选的，卷积神经网络训练用的图像样本数据，采集大量同一对象的源模态与目标模态的图像数据，通过多模态图像配准方法将不同模态的图像在空间上进行对齐后，作为训练样本，训练卷积神经网络通过自动或人工分割方法，确定有效成像区域，将无关区域的权重值置为0，并将重要的组织结构区域的权重值设为较大的值。优选的，卷积神经网络训练的目标函数和优化算法，训练卷积神经网络预测模型的目标函数为预测的目标模态图像与实际目标模态图像之间的均方误差、加权的均方误差、平均绝对误差或者加权的鲁棒损失函数，加权所用的权重依据有效成像区域或者人工标注结果进行设置，卷积神经网络的训练可采用误差反向传播和随机梯度下降算法最小化目标函数完成。优选的，提升模态合成的精度通过级联方式以一卷积神经网络预测的目标模态图像和源模态图像共同作为输入，训练另一卷积神经网络预测目标模态图像。优选的，训练卷积神经网络为本文档来自技高网...

【技术保护点】
一种医学图像模态合成的方法,其特征在于，包括以下步骤：第一步，源模态图像空间分辨率归一化处理，将所有的源模态图像在空间上经过降采样的方法进行缩小或经过插值的方法进行放大，使图像的分辨率归一化到同样大小；第二步，源模态图像灰度值标准化或者归一化处理，对第一步处理后的源模态图像灰度值归一化到均值为0，标准偏差为1；第三步，将处理后的源模态图像为输入，由卷积神经网络进行预测，以第二步处理后的源模态图像数据中的二维数据、三维体数据或者相邻的若干层图像为输入，预测源模态对应的目标模态图像，其中所采用的卷积神经网络构架具有多个卷积层、池化层、并置层和上采样层；第四步，将卷积神经网络预测输出进行线性变换生成目标模态图像。

【技术特征摘要】
1.一种医学图像模态合成的方法,其特征在于，包括以下步骤：第一步，源模态图像空间分辨率归一化处理，将所有的源模态图像在空间上经过降采样的方法进行缩小或经过插值的方法进行放大，使图像的分辨率归一化到同样大小；第二步，源模态图像灰度值标准化或者归一化处理，对第一步处理后的源模态图像灰度值归一化到均值为0，标准偏差为1；第三步，将处理后的源模态图像为输入，由卷积神经网络进行预测，以第二步处理后的源模态图像数据中的二维数据、三维体数据或者相邻的若干层图像为输入，预测源模态对应的目标模态图像，其中所采用的卷积神经网络构架具有多个卷积层、池化层、并置层和上采样层；第四步，将卷积神经网络预测输出进行线性变换生成目标模态图像。2.根据权利要求1所述的一种医学图像模态合成的方法，其特征在于：卷积神经网络各层的输入和输出称为特征图，特征图具有多个通道，通道数目取决于对应卷积层中卷积核的数目，设第l层卷积层有nl个卷积核，第l层卷积层输出的特征图记为Fl，特征图Fl的第i个通道记为其中i＝1,2,3,...,nl，卷积网络的输入记为具有一个或多个通道；数学上，卷积神经网络中第l层卷积层输出特征图Fl与输入Fl-1之间的关系描述为：Fil=σ(Σj=1nlwi,jl*Fjl-1+bil),l=1,2,...,L-1;]]>上式中，*表示二维卷积操作，σ(.)表示输入矩阵中元素的非线性激活函数，为第l层卷积层中用于计算输出特征图第i个通道、与输入特征图中第j个通道进行卷积的二维卷积核，为第l层卷积层中用于计算输出特征图第i个通道的偏置项，L表示卷积网络中的卷积层数目，非线性激活函数σ(.)为Sigmoid函数、双曲线正切函数或者ReLU函数；当非线性激活函数σ(.)为Sigmoid函数时：σ(x)＝1/(1+e-x)；其中e为自然底数；当非线性激活函数σ(.)为双曲线正切函数时：σ(x)＝(ex-e-x)/(ex+e-x)；其中e为自然底数；当非线性激活函数σ(.)为ReLU函数时：σ(x)=0,ifx<0x,ifx≥0]]>第L层卷积层激活函数为线性函数，输出为预测的目标模态图像：G=Σj=1nLw1,jL*FjL-1+b1L.]]>3.根据权利要求2所述的一种医学图像模态合成的方法，其特征在于：卷积神经网络的池化层只改变特征图的大小，不改变图像的通道数，池化的方式为最大池化、平均池化或者加权平均池化，；在二维图像的情况下，假设最大池化的作用区域为w×h的图像区域，其中w、h分别为特征图的长宽，则此次作用的区域输出的结果为：y(i+1)/2,(j+1)/2=max1≤i≤w,1≤j≤h(xij);]]>其中，y(i+1)/2,(j+1)/2代表区域为w×h的图像区域中心像素点的池化结果，i和j为整数，xij为原图像坐标点为(i,j)的像素点的灰度值；类似地，在二维图像下，区域为w×h的图像区域的平均池化的结果是：y(i+1)/2,(j+1)/2=1w·hΣ1≤i≤w,1≤j≤h(xij);]]>其中，y(i+1)/2,(j+1)/2代表区域为w×h的图像区域中心像...

【专利技术属性】
技术研发人员：阳维，冯前进，林莉燕，钟丽明，陈武凡，
申请(专利权)人：南方医科大学，
类型：发明
国别省市：广东;44