基于流体粒子网络的图像超分辨率重建方法技术

本发明专利技术提出了一种基于流体粒子网络的图像超分辨率重建方法，实现步骤为：(1)获取训练样本集和测试样本集；(2)构建基于流体粒子网络的图像重建模型O；(3)对流体粒子网络重建网络模型O进行迭代训练；(4)获取图像重建结果。本发明专利技术在对流体粒子网络模型进行训练以及获取图像重建结果的过程中，混合二阶残差提取网络可以有效地学习代表性特征，而引导分支网络通过引导像素移动方向实现对图像超分辨率的调整，有利于获得更清晰的细节的和参数性能，有效提高了重建图像的分辨率。有效提高了重建图像的分辨率。有效提高了重建图像的分辨率。

【技术实现步骤摘要】
基于流体粒子网络的图像超分辨率重建方法


[0001]本专利技术属于图像处理
，涉及一种图像超分辨率重建方法，具体涉及一种基于流体粒子网络的图像超分辨率重建方法，可用于硬件特洛伊木马检测技术等


技术介绍

[0002]在成像过程中，由于成像系统各种因素的影响，可能使获得的图像不是真实景物的完善影像。图像重建就是重建退化的图像，使其最大限度恢复景物原貌的处理，图像重建只能尽量使图像接近其原始图像，但由于噪声干扰等因素，很难精确还原。而由于成像系统或者传输带宽的限制，获得的图像的分辨率往往较低，图像超分辨率重建(SR)就是利用已有的图像重建出更高分辨率的图像。在硬件特洛伊木马检测等技术对成像质量有严格要求的领域中，不仅要求图像具有较高分辨率，而且图像结构不应出现结构失真以及边缘纹理错误，使目标清晰，容易识别。衡量重建图像质量指标采用峰值信噪比和结构相似度来衡量。在实际情况中大多数图像超分辨率重建网络通过改进的残差学习思想来学习从LR图像到HR图像的映射，并增加层数来提高网络的重建能力，图像超分辨率重建网络仅通过梯形公式为不同的映射分配权重，而流体粒子网络SR过程中从图像演化的角度研究SR任务，这对于建立一个可解释且有效的模型至关重要，同时也提供了一个潜在的研究方向。
[0003]深圳赛陆医疗科技有限公司在其申请的专利文献“逐步融合特征的图像超分辨率重建方法及电子设备”(专利申请号：202110842925.0，申请公布号为CN111461983A)中，提出了一种逐步融合特征的图像超分辨率重建方法，该方法包括：获取原始图像和重建网络，利用第一特征提取模块对原始图像进行特征提取，原始特征图顺次经过多个所第二特征提取模块和多个第三特征提取模块，利用图像重建模块对所述中间特征图进行超分辨率重建得到分辨率更大的目标图像，通过多次融合特征，多次逐步地筛选出对图像超分辨率重建有用的特征，最终输入图像重建模块。该方法虽然提升了重建图像的分辨率，但是随着网络层数的增加，重建网络的驱动力不足，限制了神经网络重建图像分辨率的进一步提升。

技术实现思路

[0004]本专利技术的目的在于克服上述现有技术存在的缺陷，提出了一种基于流体粒子网络的图像超分辨率重建方法，旨在通过提高流体粒子网络的驱动力，使重建图像具有更好的边缘细节重建效果和参数性能。
[0005]为实现上述目的，本专利技术采取的技术方案包括以下步骤：
[0006]1.一种基于流体粒子网络的图像超分辨率重建方法，其特征在于，包括以下步骤：
[0007](1)获取训练样本集和测试样本集：
[0008](1a)获取K幅RGB图像，并对每幅RGB图像进行预处理，对处理后的每幅图像进行1/4降采样，得到降采样后的K幅RGB图像；
[0009](1b)将每幅RGB图像裁剪为大小为H
×
H的图像块，同时将该幅RGB图像对应的降采
样后的RGB图像裁剪为大小为的图像块，并将每幅RGB图像裁剪的图像块作为对应的降采样后裁剪的图像块的标签，然后随机选取其中半数以上的降采样后的图像块及其标签组成训练样本集R1，将剩余降采样后的图像块及其标签组成测试样本集E1，其中，K≥600，H≥256；
[0010](2)构建流体粒子网络模型O：
[0011]构建包括顺次连接的第一卷积层、D个流体粒子子网络、上采样模块的流体粒子网络模型O；每个流体粒子子网络包括并行排布的引导分支网络和混合二阶残差网络，D≥10；引导分支网络包括特征补偿层、特征扩展块和多个卷积层，特征扩展块包括顺次级联的多个卷积层；混合二阶残差网络包括特征补偿层、混合二阶残差提取层、通道注意力模块和多个卷积层，通道注意力模块包括池化层、多个卷积层和多个非线性激活层；
[0012](3)对流体粒子网络模型O进行迭代训练：
[0013](3a)初始化迭代次数为s，最大迭代次数为S，S≥10000，第s次迭代的流体粒子网络模型为O
s
，O
s
中可学习参数的权值、偏置参数分别为w
s
、b
s
，并令s＝1，O
s
＝O；
[0014](3b)将从训练样本集R1中随机且有放回的选取N个训练样本作为流体粒子网络模型O
s
的输入，第一卷积层对每个训练样本进行特征提取，得到N个特征图，流体粒子子网络中的引导分支网络对每个特征图进行图像重建，得到N个补偿图像，同时混合二阶残差网络对每个特征图进行图像重建，得到N个中间图像，并对每个补偿图像与其对应位置的中间图像逐元素相加，重复D次，得到N个包含丰富细节和边缘信息的图像，模块对每个包含丰富细节和边缘信息的图像进行上采样，得到N个重建图像，其中，N≥600；
[0015](3c)采用L1范数计算损失函数，并通过重建图像和其对应训练样本标签计算O
s
的损失值L
s
，通过链式法则分别计算L
s
对网络中的权值参数ω
s
及偏置参数b
s
的偏导和并根据对ω
s
、b
s
进行更新。
[0016](3d)判断s≥S是否成立，若是，得到训练好的流体粒子网络模型O*，否则，令s＝s+1，并执行步骤(3b)；
[0017](4)获取图像重建结果：
[0018]将测试样本集E1作为训练好的流体粒子网络模型O*的输入进行前向传播，得到所有测试样本对应的重建图像。
[0019]本专利技术与现有技术相比，具有以下优点：
[0020]本专利技术所构建的流体粒子网络模型包括多个流体粒子子网络，每个流体粒子子网络包括并行排布的引导分支网络和混合二阶残差网络，在对该模型进行训练以及图像重建结果的过程中，混合二阶残差提取网络可以有效地学习代表性特征，而引导分支网络通过引导像素移动方向实现对图像超分辨率的调整，有利于获得更清晰的细节的和参数性能，实验结果表明，本专利技术能够有效提高自然图像和真实文字显微芯片图像重建的分辨率。
附图说明
[0021]图1为本专利技术的实现流程图；
[0022]图2为本专利技术流体粒子网络模型的结构示意图；
[0023]图3为本专利技术实施例的引导分支网络结构示意图；
[0024]图4为本专利技术实施例的残差二阶提取网络结构示意图。
具体实施方式
[0025]以下结合附图和具体实施例，对本专利技术作进一步详细描述。
[0026]参照图1，本专利技术包括如下步骤：
[0027]步骤1)获取训练样本集R1和测试样本集E1：
[0028]步骤1a)从DIV2K数据集中获取K幅RGB图像，其中，K≥600。在本实施例中，K＝600；
[0029]步骤1b)对K幅RGB图像中每幅RGB图像各通道的值减去DIV2K数据集中每幅RGB图像各通道的平均灰度值进行处理后得到每幅RGB图像，然后将每幅RGB图像随机水平翻转和90旋转进行数本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于流体粒子网络的图像超分辨率重建方法，其特征在于，包括以下步骤：(1)获取训练样本集和测试样本集：(1a)获取K幅RGB图像，并对每幅RGB图像进行预处理，对处理后的每幅图像进行1/4降采样，得到降采样后的K幅RGB图像；(1b)将每幅RGB图像裁剪为大小为H
×
H的图像块，同时将该幅RGB图像对应的降采样后的RGB图像裁剪为大小为的图像块，并将每幅RGB图像裁剪的图像块作为对应的降采样后裁剪的图像块的标签，然后随机选取其中半数以上的降采样后的图像块及其标签组成训练样本集R1，将剩余降采样后的图像块及其标签组成测试样本集E1，其中，K≥600，H≥256；(2)构建流体粒子网络模型O：构建包括顺次连接的第一卷积层、D个流体粒子子网络、上采样模块的流体粒子网络模型O；每个流体粒子子网络包括并行排布的引导分支网络和混合二阶残差网络，D≥10；引导分支网络包括特征补偿层、特征扩展块和多个卷积层，特征扩展块包括顺次级联的多个卷积层；混合二阶残差网络包括特征补偿层、混合二阶残差提取层、通道注意力模块和多个卷积层，通道注意力模块包括池化层、多个卷积层和多个非线性激活层；(3)对流体粒子网络模型O进行迭代训练：(3a)初始化迭代次数为s，最大迭代次数为S，S≥10000，第s次迭代的流体粒子网络模型为O
s
，O
s
中可学习参数的权值、偏置参数分别为w
s
、b
s
，并令s＝1，O
s
＝O；(3b)将从训练样本集R1中随机且有放回的选取N个训练样本作为流体粒子网络模型O
s
的输入，第一卷积层对每个训练样本进行特征提取，得到N个特征图，流体粒子子网络中的引导分支网络对每个特征图进行图像重建，得到N个补偿图像，同时混合二阶残差网络对每个特征图进行图像重建，得到N个中间图像，并对每个补偿图像与其对应位置的中间图像逐元素相加，重复D次，得到N个包含丰富细节和边缘信息的图像，模块对每个包含丰富细节和边缘信息的图像进行上采样，得到N个重建图像，其中，N≥600；(3c)采用L1范数计算损失函数，并通过重建图像和其对应训练样本标签计算O
s
的损失值L
s
，通过链式法则分别计算L
s
对网络中的权值参数ω
s
及偏置参数b
s
的偏导和并根据对ω
s
、b
s
进行更新。(3d)判断s≥S是否成立，若是，得到训练好的流体粒子网络模型O*，否则，令s＝s+1，并执行步骤(3b)；(4)获取图像重建结果：将测试样本集E1作为训练好的流体粒子网络模型O*的输入进行...

【专利技术属性】
技术研发人员：张铭津，郑玲萍，吴芊芊，郭杰，李云松，高新波，
申请(专利权)人：西安电子科技大学，
类型：发明
国别省市：