基于多尺度融合CNN的磁共振图像超分辨率重建方法技术

本发明专利技术涉及一种基于多尺度融合CNN的磁共振图像超分辨率重建方法，首先对低分辨率图像和与其对应的高分辨率图像进行预处理，并构建训练数据集和标签数据集，然后构建融合多尺度信息全卷积神经网络，将训练数据集输入到构建的融合多尺度信息卷积神经网络中进行训练，获得学习后的卷积神经网络模型，将测试低分辨率图像输入到学习后的卷积神经网络中，得到重建高分辨率图像。本发明专利技术通过多尺度融合单元，将不同卷积层的特征映射进行融合，克服了传统卷积神经网络的多层卷积层堆叠的平层结构，能够加快网络的收敛速度，更快地重建出低分辨率图像丢失的图像细节，减少重建时间，提高重建效率，避免资源浪费。

Super-resolution reconstruction method of magnetic resonance image based on multiscale fusion CNN

【技术实现步骤摘要】
基于多尺度融合CNN的磁共振图像超分辨率重建方法
本专利技术属于图像处理领域，尤其涉及一种基于多尺度融合CNN的磁共振图像超分辨率重建方法。
技术介绍
较高空间分辨率结构磁共振图像具有较少的伪影，直接影响后续图像处理和医疗诊断的精度，如配准，分割等。但是，由于物理设备，采集技术以及经济等方面的限制，现有磁共振图像的空间分辨率受到一定的影响。在图像处理领域，传统超分辨率重建方法主要采用插值方法，如双线性插值，B样条插值等方法。这些方法假设局部区域具有平滑的性质，根据邻近体素估计新插值的体素值。但插值方法不适用于非均匀区域，容易导致图像模糊。对于磁共振图像，根据不同的重建阶段，超分辨率重建方法主要分为两种：第一种重建在采集过程中，直接对K空间数据进行重建；第二种重建是在后处理阶段，通常采用传统重建方法应用于结构磁共振图像数据。最常用的方法是非局部均值方法和稀疏编码方法。由于非局部均值方法重建的先验知识仍然来自局部图像块，无法获得理想的重建效果。稀疏编码方法采用机器学习方法，分别从低分辨率图像块和对应的高分辨率图像块中学习低分辨率和高分辨率字典；然后认为低分辨率图像稀疏表示低分辨率字典空间中的线性组合，求解其稀疏系数。并将稀疏系数投影到高分辨率字典空间，从而获得重建后的高分辨率图像。但是基于图像块的稀疏表达无法保证整体图像的最优重构。传统的卷积神经网络的训练需要大量样本才能保证最终较好的效果。在医学领域，很难获得大量的磁共振图像数据，因此直接采用传统卷积神经网络很难保证网络的收敛和重建精度。
技术实现思路
针对现有技术之不足，本专利技术提出一种基于多尺度融合CNN的磁共振图像超分辨率重建方法，所述方法包括：步骤1：对低分辨率结构磁共振图像和与其对应的高分辨率结构磁共振图像进行预处理操作，并构建训练数据集和标签数据集；步骤11：输入标准格式的低分辨率结构磁共振图像和高分辨率结构磁共振图像，进行格式转换；步骤12：将步骤11中转换后的所述低分辨率结构磁共振图像和所述高分辨率结构磁共振图像移除头骨部分，只保留脑区部分；步骤13：对步骤12中移除头骨后的所述低分辨率结构磁共振图像和所述高分辨率结构磁共振图像进行归一化处理，将其归一化到[0-1]区间；步骤14：对步骤13中归一化处理后的分辨率结构磁共振图像和所述高分辨率结构磁共振图像采用滑动窗口方式在每层上依次分别提取多个二维图像块，其中由低分辨率图像块构成训练数据集，高分辨率图像块构成标签数据集；步骤2：构建融合多尺度信息卷积神经网络，所述卷积神经网络包括一个输入层、至少三个堆叠的多尺度融合单元和一个重构层；步骤21：所述输入层用于接收所述训练数据集；步骤22：构建至少三个多尺度融合单元；步骤23：构建重构层，所述重构层为一个卷积核构成的卷积层；步骤3：将所述训练数据集输入到步骤2构建的卷积神经网络中进行训练，获得学习后的卷积神经网络模型；步骤31：将所述训练数据集分成多批训练数据，并初始化步骤2构建的所述多尺度信息卷积神经网络中所有卷积层中的卷积核权重和偏置对损失函数倒数为0，即：△W(l)＝0△b(l)＝0其中，W表示卷积核权重，b表示偏置对损失函数，l表示第l层；步骤32：每次输入一批训练数据与所述多尺度融合单元中各个节点参数进行计算，实现神经网络训练的前向传播，最后通过重构层，获得输出高分辨率数据；步骤33：利用欧式距离，将步骤32中获得的输出高分辨率数据与所述标签数据集的误差：其中，I，J表示图像块的尺寸；步骤34：基于所述误差，采用梯度下降法，反向计算卷积核权重和偏置对损失函数的导数和并将其累加到△W(l)和△b(l)，即：步骤35：重复步骤32至步骤34，直到所有训练数据处理完毕，完成一次迭代，根据上述△W(l)和△b(l)，采用批量梯度下降算法，得到更新后网络参数：其中m表示训练数据的批数，α为学习率，λ为动能；步骤36：重复步骤32至步骤35，直到达到预设的迭代次数；步骤4：将测试低分辨率结构磁共振图像输入到步骤3训练好的卷积神经网络中，输出重建高分辨率结构磁共振图像；步骤41：将测试低分辨率结构磁共振图像的每一层直接输入步骤3训练好的卷积神经网络模型中的输入层；步骤42：将步骤41接收的测试低分辨率结构磁共振图像输入到学习好的卷积神经网络模型中，从前向后进行运算，最后在重构层输出重建高分辨率结构磁共振图像。根据一种优选的实施方式，所述多尺度融合单元包括主路径、至少一条子路径和融合层，所述主路径由一个卷积层加一个ReLU激活函数构成，所述子路径由一个卷积层加一个ReLU激活函数依次交替构成，并且最后一层为卷积层，所述融合层将所述主路径和所述子路径的输出通过相加融合以输出到下一个多尺度融合单元。与现有技术相比，本专利技术的有益效果在于：1、本专利技术通过多尺度融合单元，将不同卷积层的特征映射进行融合，克服了传统卷积神经网络的多层卷积层堆叠的平层结构，能够加快网络的收敛速度，更快地重建低分辨率图像丢失的图像细节，减少重建需要的时间，减少了资源浪费。2、与现有的重建方法相比，本专利技术的重建方法获得的重建效果更好，恢复的细节信息和结构信息更接近真实高分辨率图像，获得的峰值信噪比也更高。附图说明图1是本专利技术超分辨率重建方法的流程示意图；图2是本专利技术多尺度融合单元的结构示意图；图3是本专利技术融合多尺度信息卷积神经网络的结构示意图；图4是传统卷积神经网络的结构示意图；图5是多尺度融合单元各个部分输出的特征映射；图6是在仿真数据集Brainweb上各类方法的重建效果图；和图7在真实数据集上各类方法的重建效果图。具体实施方式为使本专利技术的目的、技术方案和优点更加清楚明了，下面结合具体实施方式并参照附图，对本专利技术进一步详细说明。应该理解，这些描述只是实例性的，而并非要限制本专利技术的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本专利技术的概念。本专利技术的多尺度融合单元MFU：TheMulti-scaleFusionUnit。图1是本专利技术超分辨率重建方法的流程示意图。如图1所示，本专利技术提出的一种多尺度融合CNN的磁共振图像超分辨率重建方法，方法包括：步骤1：对低分辨率结构磁共振图像和与其对应的高分辨率结构磁共振图像进行预处理操作，并构建训练数据集和标签数据集。高分辨率图像来源于采用3T磁共振设备真实采集到的图像，低分辨率图像来源于对高分辨率图像进行下采样得到的。步骤1中的低分辨率结构磁共振图像作为训练样本来训练卷积神经网络。步骤11：输入标准格式的低分辨率结构磁共振图像和高分辨率结构磁共振图像，进行格式转换。原始磁共振图像数据格式为DCM格式，采用SPM将其转换为NII格式。原因在于原始DCM格式是一个人的磁共振数据由N个DCM文件构成，而转为NII格式后，一个人的磁共振数据由1个NII文件构成，方便于后面的数据处理。步骤12：将步骤11中转换后的低分辨率结构磁共振图像和高分辨率结构磁共振图像移除头骨部分，只保留脑区部分。步骤13：对步骤12中移除头骨后的低分辨率结构磁共振图像和高分辨率结构磁共振图像进行归一化处理，将其归一化到[0-1]区间。由于原始采集到的磁共振图像数据范围从0到上万不等，而图像处理通常要将其范围变换到[0-1]，以便于把所有数据放到同一个本文档来自技高网...

【技术保护点】
一种基于多尺度融合CNN的磁共振图像超分辨率重建方法，其特征在于，所述方法包括：步骤1：对低分辨率结构磁共振图像和与其对应的高分辨率结构磁共振图像进行预处理操作，并构建训练数据集和标签数据集；步骤11：输入标准格式的低分辨率结构磁共振图像和高分辨率结构磁共振图像，进行格式转换；步骤12：将步骤11中转换后的所述低分辨率结构磁共振图像和所述高分辨率结构磁共振图像移除头骨部分，只保留脑区部分；步骤13：对步骤12中移除头骨后的所述低分辨率结构磁共振图像和所述高分辨率结构磁共振图像进行归一化处理，将其归一化到[0‑1]区间；步骤14：对步骤13中归一化处理后的低分辨率结构磁共振图像和所述高分辨率结构磁共振图像采用滑动窗口方式在每层上依次分别提取多个二维图像块，其中由低分辨率图像块构成训练数据集，高分辨率图像块构成标签数据集；步骤2：构建融合多尺度信息卷积神经网络，所述卷积神经网络包括一个输入层、至少三个堆叠的多尺度融合单元和一个重构层；步骤21：所述输入层用于接收所述训练数据集；步骤22：构建至少三个多尺度融合单元；步骤23：构建重构层，所述重构层为一个卷积核构成的卷积层；步骤3：将所述训练数据集输入到步骤2构建的卷积神经网络中进行训练，获得学习后的卷积神经网络模型；步骤31：将所述训练数据集分成多批训练数据，并初始化步骤2构建的所述多尺度信息卷积神经网络中所有卷积层中的卷积核权重和偏置对损失函数倒数为0，即：△W...

【技术特征摘要】
1.一种基于多尺度融合CNN的磁共振图像超分辨率重建方法，其特征在于，所述方法包括：步骤1：对低分辨率结构磁共振图像和与其对应的高分辨率结构磁共振图像进行预处理操作，并构建训练数据集和标签数据集；步骤11：输入标准格式的低分辨率结构磁共振图像和高分辨率结构磁共振图像，进行格式转换；步骤12：将步骤11中转换后的所述低分辨率结构磁共振图像和所述高分辨率结构磁共振图像移除头骨部分，只保留脑区部分；步骤13：对步骤12中移除头骨后的所述低分辨率结构磁共振图像和所述高分辨率结构磁共振图像进行归一化处理，将其归一化到[0-1]区间；步骤14：对步骤13中归一化处理后的低分辨率结构磁共振图像和所述高分辨率结构磁共振图像采用滑动窗口方式在每层上依次分别提取多个二维图像块，其中由低分辨率图像块构成训练数据集，高分辨率图像块构成标签数据集；步骤2：构建融合多尺度信息卷积神经网络，所述卷积神经网络包括一个输入层、至少三个堆叠的多尺度融合单元和一个重构层；步骤21：所述输入层用于接收所述训练数据集；步骤22：构建至少三个多尺度融合单元；步骤23：构建重构层，所述重构层为一个卷积核构成的卷积层；步骤3：将所述训练数据集输入到步骤2构建的卷积神经网络中进行训练，获得学习后的卷积神经网络模型；步骤31：将所述训练数据集分成多批训练数据，并初始化步骤2构建的所述多尺度信息卷积神经网络中所有卷积层中的卷积核权重和偏置对损失函数倒数为0，即：△W(l)＝0△b(l)＝0其中，W表示卷积核权重，b表示偏置对损失函数，l表示第l层；步骤32：每次输入一批训练数据与所述多尺度融合单元中各个节点参数进行计算，实现神经网络训练的前向传播，最后通过重构层，获得输出高分辨率数据；步骤33：利用欧式距离，将步骤32中获得的输出高分辨率数据与所述标签数据集的误差：其中，I，J...

【专利技术属性】
技术研发人员：刘昶，吴锡，周激流，郎方年，于曦，赵卫东，
申请(专利权)人：成都大学，
类型：发明
国别省市：四川,51