超分辨率图像重建方法和装置制造方法及图纸

本发明专利技术提供了超分辨率图像重建装置，包括：训练样本获取单元，获取训练样本；字典构建单元，构建字典；低分辨率图像输入单元，将低分辨率图像转化为高分辨率图像初始估计；稀疏编码单元，根据字典对当前估计的高分辨率图像的细节层中每个图像片进行稀疏编码；图像更新单元，更新当前估计的高分辨率图像的细节层；超分辨率图像重建单元，迭代求解呈收敛状态时，则存储更新后的高分辨率图像估计，否则循环迭代执行对高分辨率图像估计和高分辨率图像估计的细节层中每个图像片的稀疏编码。本发明专利技术还提出了相应的超分辨率图像重建方法。通过本发明专利技术的技术方案，可以显著地提高磁共振图像分辨率，有效地去除图像噪声和模糊等失真，恢复出复杂细微结构，具有更好的主客观效果。

Super-resolution image reconstruction method and device

The present invention provides a super resolution image reconstruction device, including: training sample acquisition unit for obtaining training samples; the dictionary construction unit, construction unit dictionary; low resolution input image and low resolution image into high resolution image initial estimation; sparse encoding unit, according to the sparse dictionary encoding detail layer of high resolution image current estimation the image of each image slice; update unit, update the detail layer high resolution image current estimated; super resolution image reconstruction unit, iterative solution of a convergence condition, then the high resolution image to store the updated estimates, otherwise the iterative execution of sparse encoding detail layer estimation of high resolution image estimation and high resolution image in each image slice. The invention also proposes a corresponding super-resolution image reconstruction method. The technical scheme of the invention can significantly improve the resolution of magnetic resonance images, effectively remove image noise and fuzzy distortion, restore complex and fine structure, and has better subjective and objective effects.

【技术实现步骤摘要】
超分辨率图像重建方法和装置
本专利技术属于图像处理领域，具体涉及一种超分辨率图像重建方法和装置。
技术介绍
随着磁共振成像技术的迅速发展，磁共振图像的分辨率、信噪比和扫描速度都有了较大的提高，但新生儿专用的磁共振成像设备却很少，新生儿磁共振成像效果不理想的难题依旧没有得到很好的解决。在新生儿的磁共振成像中，单个体素可能包含若干种不同类型的组织，以及外界干扰容易造成新生儿在磁共振成像环境中躁动，这些因素将进一步降低捕获的新生儿磁共振图像分辨率。为了提高新生儿磁共振图像的分辨率以及医生的诊断效率，临床普遍利用插值方法对新生儿图像进行超分辨率重建。图像插值通常利用低分辨率图像栅格上已知数据点来估计高分辨率图像栅格上的未知数据点，常见的方法有：最近邻插值、多项式插值、样条插值和基于边缘的插值。虽然这些方法具有计算成本低的优点，但是容易造成重建的高分辨率图像出现光晕、振铃、边缘平滑、模糊和混叠效应等失真现象。现有技术中有提出基于稀疏表达的图像超分辨率方法，其主要采用凸优化正则项来建立目标函数，忽视了新生儿大脑白质与灰质亮度的对比分布变化，也没有充分考虑新生儿大脑磁共振图像噪声大、分辨率低和部分容积效应等失真现象，导致重建的高分辨率新生儿磁共振图像边缘平滑和分辨率不足。此外，基于稀疏表达的超分辨率方法通常从内部图像或外部图像集来训练用于稀疏表达的超完备字典。但内部图像是来自输入降质的低分辨率图像，而外部图像是来自通用的大规模图像集，这些内部图像和外部图像中的全局和局部模式与目标高分辨率可能不相似兼容，造成目标高分辨率图像重建误差。现有基于深度学习的超分辨率方法，需要大量的图像集和对应标记来训练卷积神经网络模型或生成对抗网络模型，但现实中新生儿磁共振图像不易获取并且数量较少，也没考虑同一个体或不同个体的纵向图像先验知识建模，从而制约了训练模型的超分辨率性能。因此，现有超分辨率方法重建的新生儿磁共振图像的解剖结构精度和分辨率仍然不够理想。
技术实现思路
本专利技术的目的在于解决现有技术的不足之处，通过利用不同个体的纵向磁共振图像(例如幼儿图像)的高频细节层来训练字典，对输入的低分辨率新生儿磁共振图像，建立一种基于残余结构化稀疏表达的新生儿磁共振图像超分辨率模型，以此来抑制图像噪声，提高新生儿磁共振图像超分辨率重建性能，进一步促进磁共振成像技术在新生儿成像领域的临床诊断和治疗应用。超分辨率图像重建装置，包括：训练样本获取单元，用于获取训练样本，所述训练样本包括多个不同个体的高分辨率幼儿磁共振图像；字典构建单元，用于构建字典，所述字典包括K个子字典；子字典的获取包括：对训练样本的细节层进行聚类得到K个类族，对每个类族的协方差矩阵进行特征值分解得到每个类族的特征向量构成的酉矩阵，每个类族的特征向量构成的酉矩阵即为一个子字典；低分辨率图像输入单元，用于输入任一新生儿磁共振图像作为低分辨率图像，对低分辨率图像进行图像插值来初始化高分辨率图像，得到当前估计的高分辨率图像；稀疏编码单元，采用图像双层表示将当前估计的高分辨率图像分为基本层和细节层，提取当前估计高分辨率图像细节层的所有图像片，根据字典对当前估计高分辨率图像的细节层中每个图像片进行稀疏编码；图像更新单元，用于当前估计高分辨率图像的细节层中每个图像片，对估计高分辨率图像的细节层进行更新，即对估计高分辨率图像进行更新；超分辨率图像重建单元，用于当更新后的高分辨率图像估计和当前估计高分辨率图像细节层中每个图像片的稀疏编码呈收敛状态时，存储更新后的高分辨率图像估计；否则以更新后的高分辨率图像估计作为当前估计高分辨率图像进入下一次迭代，以继续对高分辨率图像估计和当前估计高分辨率图像细节层中每个图像片的稀疏系数进行更新计算；更新后的高分辨率图像估计即为超分辨率图像。进一步地，稀疏编码单元中将当前估计的高分辨率图像分为基本层和细节层，包括：对当前估计的高分辨率图像进行滤波后得到基本层，当前估计的高分辨率图像与其基本层的差值为细节层。进一步地，稀疏编码单元中根据字典对当前估计的高分辨率图像的细节层中每个图像片进行稀疏编码，包括：步骤41，从当前估计的高分辨率图像细节层的所有图像片中任选一个图像片作为目标图像片ei，其中i＝1,2,,...,I，I为当前估计的高分辨率图像细节层的所有图像片的数目；步骤42，从K个子字典中选取一个子字典Dk，根据子字典Dk对目标图像片ei进行稀疏编码并得到稀疏系数αi，其中k＝1,2,...,K；即完成根据字典对当前估计的高分辨率图像的细节层的每个图像片进行稀疏编码并得到稀疏系数；所述从K个子字典中选取一个子字典Dk，所述子字典Dk应满足其所对应的类族中心与目标图像片ei的欧式距离最小。进一步地，超分辨率图像重建单元中更新后的高分辨率图像估计和估计的高分辨率图像细节层中每个图像片的稀疏编码呈收敛状态时，满足式(1)：式(1)中，i＝1,2,,...,I，η为辅助参数，c≥0，c表示参数化非凸惩罚项的参数，表示第t次迭代修正后目标图像片ei的稀疏系数，为αi(t)的非局部均值，αi(t)表示第t次迭代修正后目标图像片ei的稀疏系数；γi(t)＝αi(t)-μi(t)+ηDkTHT(Y-H(Z(t)+Dkαi(t)))，Dk为第k个子字典，k＝1,2,...,K，H为退化矩阵，Y为输入的低分辨率图像，Z(t)表示第t次迭代更新后的高分辨率新生儿图像估计的基本层；为第t次迭代修正后目标图像片ei的正则化参数，δ(t)是第t次迭代更新后的高分辨率图像估计的噪声方差；为第t次迭代后稀疏系数的标准偏差。进一步地，超分辨率图像重建单元中更新后的高分辨率图像估计其中α(t+1)为第t次迭代修正后的高分辨率图像估计的细节层的稀疏系数矩阵，α(t+1)＝{α1(t+1),α2(t+1),...αi(t+1),...,αI(t+1)}，D为字典，D＝{D1,D2,...,Dk,..,DK}。本专利技术还提供了超分辨率图像重建方法，包括：步骤1，获取训练样本，所述训练样本包括多个不同个体的高分辨率幼儿磁共振图像；步骤2，构建字典，所述字典包括K个子字典；子字典的获取包括：对训练样本的细节层进行聚类得到K个类族，对每个类族的协方差矩阵进行特征值分解得到每个类族的特征向量构成的酉矩阵，每个类族的特征向量构成的酉矩阵即为一个子字典；步骤3，输入任一低分辨率的新生儿磁共振图像作为低分辨率图像，对低分辨率图像利用图像插值来初始化高分辨率图像，得到当前估计的高分辨率图像；步骤4，采用图像双层表示将当前估计的高分辨率图像分为基本层和细节层，提取当前估计的高分辨率图像细节层的所有图像片，根据字典对当前估计的高分辨率图像的细节层中每个图像片进行稀疏编码并得到对应的稀疏系数；步骤5，根据当前估计的高分辨率图像的细节层中每个图像片的稀疏系数，对当前估计的高分辨率图像的细节层进行更新，即对当前估计的高分辨率图像进行更新；步骤6，当更新后的当前估计高分辨率图像和高分辨率图像估计的细节层中每个图像片的稀疏编码呈收敛状态时，存储更新后的高分辨率图像估计；否则以更新后的高分辨率图像估计作为当前估计的高分辨率图像进入下次迭代，以继续对当前估计的高分辨率图像和当前估计的高分辨率图像细节层中每个图像片的稀疏系数进行更新本文档来自技高网...

【技术保护点】
超分辨率图像重建装置，其特征在于，包括：训练样本获取单元，用于获取训练样本，所述训练样本包括多个不同个体的高分辨率幼儿磁共振图像；字典构建单元，用于构建字典，所述字典包括K个子字典；子字典的获取包括：对训练样本的细节层进行聚类得到K个类族，对每个类族的协方差矩阵进行特征值分解得到每个类族的特征向量构成的酉矩阵，每个类族的特征向量构成的酉矩阵即为一个子字典；低分辨率图像输入单元，用于输入任一新生儿磁共振图像作为低分辨率图像，对低分辨率图像进行图像插值来初始化高分辨率图像，得到当前估计高分辨率图像；稀疏编码单元，将当前估计高分辨率图像分为基本层和细节层，提取当前估计高分辨率图像细节层的所有图像片，根据字典对当前估计高分辨率图像的细节层中每个图像片进行稀疏编码；图像更新单元，用于当前估计高分辨率图像的细节层中每个图像片，对估计高分辨率图像的细节层进行更新，即对估计高分辨率图像进行更新；超分辨率图像重建单元，用于当更新后的高分辨率图像估计和当前估计高分辨率图像细节层中每个图像片的稀疏编码呈收敛状态时，存储更新后的高分辨率图像估计；否则以更新后的高分辨率图像估计作为当前估计高分辨率图像进入下一次迭代，以继续对高分辨率图像估计和当前估计高分辨率图像细节层中每个图像片的稀疏系数进行更新计算；更新后的高分辨率图像估计即为超分辨率图像。...

【技术特征摘要】
1.超分辨率图像重建装置，其特征在于，包括：训练样本获取单元，用于获取训练样本，所述训练样本包括多个不同个体的高分辨率幼儿磁共振图像；字典构建单元，用于构建字典，所述字典包括K个子字典；子字典的获取包括：对训练样本的细节层进行聚类得到K个类族，对每个类族的协方差矩阵进行特征值分解得到每个类族的特征向量构成的酉矩阵，每个类族的特征向量构成的酉矩阵即为一个子字典；低分辨率图像输入单元，用于输入任一新生儿磁共振图像作为低分辨率图像，对低分辨率图像进行图像插值来初始化高分辨率图像，得到当前估计高分辨率图像；稀疏编码单元，将当前估计高分辨率图像分为基本层和细节层，提取当前估计高分辨率图像细节层的所有图像片，根据字典对当前估计高分辨率图像的细节层中每个图像片进行稀疏编码；图像更新单元，用于当前估计高分辨率图像的细节层中每个图像片，对估计高分辨率图像的细节层进行更新，即对估计高分辨率图像进行更新；超分辨率图像重建单元，用于当更新后的高分辨率图像估计和当前估计高分辨率图像细节层中每个图像片的稀疏编码呈收敛状态时，存储更新后的高分辨率图像估计；否则以更新后的高分辨率图像估计作为当前估计高分辨率图像进入下一次迭代，以继续对高分辨率图像估计和当前估计高分辨率图像细节层中每个图像片的稀疏系数进行更新计算；更新后的高分辨率图像估计即为超分辨率图像。2.如权利要求1所述的超分辨率图像重建装置，其特征在于，稀疏编码单元中将当前估计的高分辨率图像分为基本层和细节层，包括：对当前估计的高分辨率图像进行滤波后得到基本层，当前估计的高分辨率图像与其基本层的差值为细节层。3.如权利要求1所述的超分辨率图像重建装置，其特征在于，稀疏编码单元中根据字典对当前估计的高分辨率图像的细节层中每个图像片进行稀疏编码，包括：步骤41，从当前估计的高分辨率图像细节层的所有图像片中任选一个图像片作为目标图像片ei，其中i＝1,2,,...,I，I为当前估计的高分辨率图像细节层的所有图像片的数目；步骤42，从K个子字典中选取一个子字典Dk，根据子字典Dk对目标图像片ei进行稀疏编码并得到稀疏系数αi，其中k＝1,2,...,K；即完成根据字典对当前估计的高分辨率图像的细节层的每个图像片进行稀疏编码并得到稀疏系数；所述从K个子字典中选取一个子字典Dk，所述子字典Dk应满足其所对应的类族中心与目标图像片ei的欧式距离最小。4.如权利要求1所述的超分辨率图像重建装置，其特征在于，超分辨率图像重建单元中更新后的高分辨率图像估计和估计的高分辨率图像细节层中每个图像片的稀疏编码呈收敛状态时，满足式(1)：式(1)中，i＝1,2,,...,I，η为辅助参数，c≥0，c表示参数化非凸惩罚项的参数，表示第t次迭代修正后目标图像片ei的稀疏系数，为αi(t)的非局部均值，αi(t)表示第t次迭代修正后目标图像片ei的稀疏系数；γi(t)＝αi(t)-μi(t)+ηDkTHT(Y-H(Z(t)+Dkαi(t)))，Dk为第k个子字典，k＝1,2,...,K，H为退化矩阵，Y为输入的低分辨率图像，Z(t)表示第t次迭代更新后的高分辨率新生儿图像估计的基本层；为第t次迭代修正后目标图像片ei的正则化参数，δ(t)是第t次迭代更新后的高分辨率图像估计的噪声方差；为第t次迭代后稀疏系数的标准偏差。5.如权利要求1所述的超分辨率图像重建装置，其特征在于，超分辨率图像重建单元中更新后的高分辨率图像估计其中α(t+1)为第t次迭代修正后的高分辨率图像估计的细节层的稀疏系数矩阵，α(t+1)＝{α1(t+1),α2(t+1),...αi(t+1),...,αI(t+1...

【专利技术属性】
技术研发人员：章勇勤，康睿文，阎昆，彭进业，岳学东，祝轩，李展，王珺，艾娜，孟宪佳，谢国喜，肖进胜，
申请(专利权)人：西北大学，西安空间无线电技术研究所，
类型：发明
国别省市：陕西,61