本发明专利技术提供了一种基于多尺度特征融合的超声图像超分辨率重建方法及装置，其通过获取超声图像数据，对超声图像网络进行训练优化后，可获得最优的超声图像网络，从而通过上述超声图像网络可对超声图像进行超分辨率重建。本发明专利技术中深层特征提取模块由多个级联的多尺寸联合块组成，可提取不同层输出的特征信息，然后通过多级特征融合模块对各层的特征信息进行自适应融合，可充分融合网络中的低级特征和高级语义特征，从而大幅提升网络性能；本发明专利技术中的多尺寸联合块的不同支路中采用了不同的小尺寸卷积核堆叠替代了大尺寸卷积核，因此可减小网络参数量，从而减小重建方法的计算量，减少计算时间。减少计算时间。减少计算时间。
【技术实现步骤摘要】
一种基于多尺度特征融合的超声图像超分辨率重建方法及装置
[0001]本专利技术涉及图像处理
，具体涉及一种基于多尺度特征融合的超声图像超分辨率重建方法及装置。
技术介绍
[0002]超分辨率重建指的是从模糊的、含有多种噪音的低分辨率（Low Resolution，LR）图像中挖掘图像像素之间的数学联系，通过一定算法恢复具有更多细节信息、结构信息、噪声较少的高分辨率（High Resolution，HR）图像的过程。具体做法为运用数字图像处理等知识，研究对应领域的图像超分辨率算法，从而最终提高图像的分辨率，达到提高图像视觉效果的目的。
[0003]传统的超分辨率重建算法主要有基于插值的超分辨率重建算法和基于重构的超分辨率重建算法。前者的思想简单易懂，所以应用广泛；但是其无法利用先验知识，也无法反应图像中复杂的映射关系。后者通常只采用单一的数学模型来来描述高分辨率图像与低分辨率图像之间的关系，所以在实际应用中重建的方法具有局限性。
[0004]近年来，随着计算硬件的进步、数据资源的丰富，深度学习开始广泛应用，在图像超分辨率领域，不断涌现的基于深度神经网络模型已经取得了比传统方法更加优异的成绩。例如：ESPCN、SRGAN等经典超分辨率深度学习模型，得益于其庞大的参数量以及其强大的数据分布拟合能力，在超分辨率重建领域取得了不错的效果。但是，上述这些网络模型普遍存在计算量大、计算时间长的问题，因此有待提出一种计算相对简单的超分辨率重建模型。
技术实现思路
[0005]本专利技术要解决的技术问题是克服现有技术的不足，提供一种能够提取到更多的图像特征的同时计算量相对较小的基于多尺度特征融合的超声图像超分辨率重建方法以及相应的装置。
[0006]为解决上述技术问题，第一方面，本专利技术提供了一种基于多尺度特征融合的超声图像超分辨率重建方法，包括以下步骤：S100、获取超声图像训练集；所述超声图像训练集包括低分辨率训练超声图像和基准高分辨率超声图像；S200、构建超声图像网络；所述超声图像网络包括浅层特征提取模块、深层特征提取模块、多级特征融合模块和重建模块；所述深层特征提取模块由多个多尺度联合块级联构成；S300、将超声图像训练集输入到超声图像网络，获得超分辨率训练超声图像集；S400、依据获得的超分辨率训练超声图像集和基准高分辨率超声图像对超声图像网络进行训练优化；
S500、使用优化后的超声图像网络对超声图像进行处理，获得重建的超声图像。
[0007]上述方法，优选的，所述步骤S100包括以下步骤：S110、获取超声图像数据，将其缩放至第一尺寸作为基准高分辨率超声图像；S120、对基准高分辨率超声图像进行下采样，获得对应的具有第二尺寸的低分辨率训练超声图像；所述第一尺寸大于第二尺寸。
[0008]上述方法，优选的，所述多尺度联合块构成为多支路网络，其不同支路具有不同尺寸的卷积核。
[0009]上述方法，优选的，所述多尺度联合块构成为四支路网络，所述四支路网络其中的一支网络具有两个3
×
3卷积核，所述四支路网络其中的另一支网络具有1
×
7卷积核和7
×
1卷积核。
[0010]上述方法，优选的，所述步骤S300包括以下步骤：S310、将低分辨率训练超声图像输入浅层特征提取模块，提取浅层特征，获得浅层特征图；S320、将浅层特征图输入深层特征提取模块，依靠深层特征提取模块内的多个多尺度联合块，依次提取对应的深层特征，获得深层特征图；S330、将深层特征图输入多级特征融合模块，并对其赋予权值后进行自适应融合，获得融合特征图；S340、对浅层特征图和融合特征图进行上采样重建，获得超分辨率训练超声图像；S350、将超声图像训练集中剩余的低分辨率训练超声图像依次进行步骤S310至S340，获得超分辨率训练超声图像集。
[0011]上述方法，优选的，所述S400包括以下步骤：S410、基于超分辨率训练超声图像和基准高分辨率超声图像计算两者之间的损失函数值；S420、通过优化训练，减小损失函数值，获得优化后的超声图像网络。
[0012]上述方法，优选的，所述步骤S410采用Charbonnier损失函数计算损失函数值。
[0013]上述方法，优选的，所述步骤S420采用ADAM优化器进行优化训练。
[0014]另一方面，本专利技术还提供了一种基于多尺度特征融合的超声图像超分辨率重建装置，包括图像获取模块、图像处理模块和图像输出模块；所述图像获取模块用于获取超声图像数据；所述图像处理模块用于依照超声图像数据对其模块内的超声图像网络进行训练，以及通过训练后获得的超声图像网络对超声图像进行超分辨率重建；所述图像输出模块用于输出重建的超声图像。
[0015]与现有技术相比，本专利技术的优点在于：本专利技术中深层特征提取模块由多个级联的多尺寸联合块组成，可提取不同层输出的特征信息，然后通过多级特征融合模块对各层的特征信息进行自适应融合，可充分融合网络中的低级特征和高级语义特征，从而大幅提升网络性能；本专利技术中的多尺寸联合块的不同支路中采用了不同的小尺寸卷积核堆叠替代了大尺寸卷积核，因此可减小网络参数量，从而减小重建方法的计算量，减少计算时间。
附图说明
[0016]图1 为本专利技术中超声图像重建方法的整体流程示意图。
[0017]图2 为本专利技术中多尺度联合块的结构示意图。
[0018]图3 为本专利技术中深层特征图的自适应融合示意图。
[0019]图4 为依照不同方法对图像重建后的图像重建对比图。
[0020]图5 为图4中各图对应方框内的放大示意图。
[0021]图6 为另一组依照不同方法对图像重建后的图像重建对比图。
实施方式
[0022]为了便于理解本专利技术，下文将结合说明书附图和较佳的实施例对本专利技术作更全面、细致地描述，但本专利技术的保护范围并不限于以下具体的实施例。
[0023]除非另有定义，下文中所使用的所有专业术语与本领域技术人员通常理解的含义相同。本文中所使用的专业术语只是为了描述具体实施例的目的，并不是旨在限制本专利技术的保护范围。
[0024]第一方面，如图1所示，本专利技术首先提供了一种基于多尺度特征融合的超声图像超分辨率重建方法，包括以下步骤：S100、获取超声图像训练集；超声图像训练集包括低分辨率训练超声图像和基准高分辨率超声图像；S200、构建超声图像网络；超声图像网络包括浅层特征提取模块、深层特征提取模块、多级特征融合模块和重建模块；深层特征提取模块由多个多尺度联合块级联构成；S300、将超声图像训练集输入到超声图像网络，获得超分辨率训练超声图像集；S400、依据获得的超分辨率训练超声图像集和基准高分辨率超声图像对超声图像网络进行训练优化；S500、使用优化后的超声图像网络对超声图像进行处理，获得重建的超声图像。
[0025]本专利技术中深层特征提取模块由多个级联的多尺寸联合块组成，可提取不同层输出的特征信息，然后通过多级特征融合模块本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种基于多尺度特征融合的超声图像超分辨率重建方法，其特征在于，包括以下步骤：S100、获取超声图像训练集；所述超声图像训练集包括低分辨率训练超声图像和基准高分辨率超声图像；S200、构建超声图像网络；所述超声图像网络包括浅层特征提取模块、深层特征提取模块、多级特征融合模块和重建模块；所述深层特征提取模块由多个多尺度联合块级联构成；S300、将超声图像训练集输入到超声图像网络，获得超分辨率训练超声图像集；S400、依据获得的超分辨率训练超声图像集和基准高分辨率超声图像对超声图像网络进行训练优化；S500、使用优化后的超声图像网络对超声图像进行处理，获得重建的超声图像。2.根据权利要求1所述的方法，其特征在于，所述步骤S100包括以下步骤：S110、获取超声图像数据，将其缩放至第一尺寸作为基准高分辨率超声图像；S120、对基准高分辨率超声图像进行下采样，获得对应的具有第二尺寸的低分辨率训练超声图像；所述第一尺寸大于第二尺寸。3.根据权利要求1所述的方法，其特征在于，所述多尺度联合块构成为多支路网络，其不同支路具有不同尺寸的卷积核。4.根据权利要求3所述的方法，其特征在于，所述多尺度联合块构成为四支路网络，所述四支路网络其中的一支网络具有两个3
×
3卷积核，所述四支路网络其中的另一支网络具有1
×
7卷积核和7
×
1卷积核。5.根据权利要求1所述的方法，其特征在于，所述步骤S3...
【专利技术属性】
技术研发人员：李肯立，汪勇圣，朱宁波，谭光华，
申请(专利权)人：湖南大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。