【技术实现步骤摘要】
本说明书实施例涉及图像处理，尤其涉及一种图像重建模型的训练方法、图像重建方法、装置及设备。
技术介绍
1、目前油气输送管线承担着重要的任务，油气输送途中往往需要经过地理条件复杂的地形，给油气管道的安全检测带了困难，使得巡检和检测工作难以覆盖所有区域，地形复杂性还可能导致管道易受到地震、山体滑坡等地质灾害的影响。因此目前油气传输领域将卫星遥感技术应用至管道安全检测中。但由于卫星与地面的距离过远，通过卫星拍摄到的影像器分辨率难以支撑图像的不断放大，从而导致近景图像的内容模糊，图像质量低下。
2、针对上述问题，目前可以通过配合图像重建技术来提高卫星影像的分辨率。目前常用的遥感图像超分辨率重建方法有基于插值的方法、基于边缘的方法、基于统计的方法、基于稀疏表示的方法以及基于深度学习的方法，基于插值的方法通过对低分辨率图像进行插值来增加图像的分辨率，这种方法的优点是计算简单，但往往会引入图像模糊和伪细节。基于边缘的方法利用图像中的边缘信息来进行超分辨率重建，但对于平滑区域效果较差。
3、卷积神经网络(cnn)是一种深度学习模型。cnn的核心思想是利用卷积操作来提取输入数据的特征，并通过层层堆叠的神经网络结构进行特征的组合和抽象。它在处理图像等数据时具有卷积层、激活函数、池化层、全连接层、dropout层几个关键组成。cnn的训练过程通常使用反向传播算法进行参数的优化。通过将输入数据和真实标签进行比较，利用损失函数来度量模型的预测误差，然后通过反向传播计算梯度并更新网络中的权重参数。但将cnn应用于对卫星遥感图像的超分
4、1、数据稀缺性：遥感图像的获取和标注成本较高，导致训练数据的稀缺性。普通的cnn在训练过程中需要大量的标记数据来学习图像特征，但在遥感图像超分辨率中，可用的高分辨率遥感图像较少，这导致了数据稀缺的问题，影响了模型的泛化能力和性能。
5、2、边缘保持问题：遥感图像通常包含丰富的边缘信息，而普通的cnn在进行卷积和池化操作时可能会造成边缘的模糊或失真。由于卷积操作和池化操作的局部性质，边缘信息容易受到模糊化的影响，导致重建的高分辨率图像边缘不清晰或有损失。
6、3、尺度变换问题：遥感图像的超分辨率重建涉及到尺度变换，即从低分辨率图像重建到高分辨率图像。然而，普通的cnn模型在设计时通常基于固定的输入和输出尺寸进行训练，不太适应尺度变换任务。这可能导致模型在处理尺度变换问题时效果不佳。
7、4、学习复杂纹理和细节问题：遥感图像中存在丰富的复杂纹理和细节信息，这对模型的学习能力提出了较高的要求。普通的cnn可能在处理复杂纹理和细节方面存在一定的限制，导致重建的高分辨率图像缺乏一些细节信息或出现伪影。
8、生成对抗网络(gan)是一种深度学习模型，由生成器和判别器两个主要组件构成。生成器的作用是将随机噪声作为输入，并将其映射为与真实样本类似的数据样本。它通常采用深度卷积神经网络或递归神经网络等结构，通过多层的神经网络层来逐渐生成更真实的数据样本。判别器的作用是将输入的数据样本进行分类，判断其是否为真实样本或生成器生成的样本。它也通常采用深度卷积神经网络等结构，通过学习对真实样本和生成样本进行区分，提供关于样本真实性的反馈信号。
9、gan的训练过程是通过生成器和判别器之间的对抗学习来实现的。在训练过程中，生成器和判别器相互竞争，不断优化自身的表现。生成器通过最小化判别器对生成样本的判别误差来提高生成样本的质量，而判别器通过最大化对真实样本和生成样本的判别能力来提高自身的准确性。
10、但gan训练不稳定，训练过程相对复杂，涉及到生成器和判别器之间的动态平衡。在训练中，生成器和判别器之间可能出现不稳定的竞争和博弈，导致训练过程难以收敛或产生不理想的结果。需要仔细调整超参数和网络结构来取得良好的训练效果。在某些情况下，生成器可能会陷入模式崩溃的问题。模式崩溃指的是生成器只能生成有限的几个模式，而无法生成多样化和高质量的超分辨率图像。且通用的gan模型不能很好的适配中缅地区图像的超分辨率重建。
11、现在亟需一种图像超分辨率重建方法，从而解决通过现有图像超分辨率重建方法存在会引入图像模糊和伪细节、对于平滑区域效果较差、对于统计模型依赖性较强、模型的灵活性和适应性较差等问题。
技术实现思路
1、为解决现有技术中存在的问题，本说明书实施例提供了一种图像重建模型的训练方法、图像重建方法、装置及设备，建立一种非局部密集感受野生成对抗网络，提升油气输送管线遥感图像的分辨率，较好还原细节信息，大幅提升卫星遥感检测的精确度。
2、为了解决上述技术问题中的任意一种，本说明书实施例的具体技术方案如下：
3、一方面，本说明书实施例提供了一种图像重建模型的训练方法，包括，
4、将训练图像输入到生成器网络进行计算，得到重建图像，其中生成器网络包括全局特征提取、局部特征提取和图像重建，所述全局特征提取包括通过第一卷积层对训练图像进行全局特征提取，得到全局特征；所述局部特征提取包括通过由residualblock块与三个rrnl块串联而成的密集感受野网络以及rfb模块对所述全局特征进行局部特征提取，得到局部特征；所述图像重建包括：对所述全局特征和局部特征进行图像重建，得到重建图像；
5、将所述重建图像和训练图像输入到判别器网络进行计算，得到判别结果；
6、根据所述训练图像、重建图像和判别结果计算损失值；
7、迭代上述步骤，直至损失值满足预定要求，将所述生成器网络作为图像重建模型。
8、进一步地，通过由residualblock块与三个rrnl块串联而成的密集感受野网络以及rfb模块对所述全局特征进行局部特征提取，得到局部特征进一步包括：
9、将所述全局特征输入到residualblock块进行特征提取，得到第一特征；
10、将所述第一特征输入到三个串联的rrnl块进行特征提取，将最后一个rrnl块的输出结果作为第二特征；
11、将所述第二特征输入到rfb模块进行特征提取，得到所述局部特征。
12、进一步地，每个所述rrnl块由rrdb结构与non-local结构串接而成，所述rrdb结构由三个残差堆叠块串联组成；
13、任意一个所述rrnl块的计算步骤包括：
14、将所述rrnl块的输入值输入到三个串联的所述残差堆叠块进行特征提取；
15、将最后一个所述残差堆叠块输出的特征输入到non-local结构进行特征提取，将所述non-local结构提取到的特征作为所述rrnl块的输出值。
16、进一步地，将最后一个所述残差堆叠块输出的特征输入到non-local结构进行特征提取进一步包括：
17、将最后一个所述残差堆叠块输出的特征经过三个1×1的卷积层进行卷积计算，得到输入特征图；
18、将所述第本文档来自技高网...
【技术保护点】
1.一种图像重建模型的训练方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，通过由ResidualBlock块与三个RRNL块串联而成的密集感受野网络以及RFB模块对所述全局特征进行局部特征提取，得到局部特征进一步包括：
3.根据权利要求2所述的方法，其特征在于，每个所述RRNL块由RRDB结构与Non-local结构串接而成，所述RRDB结构由三个残差堆叠块串联组成；
4.根据权利要求3所述的方法，其特征在于，将最后一个所述残差堆叠块输出的特征输入到Non-local结构进行特征提取进一步包括：
5.根据权利要求3所述的方法，其特征在于，所述RFB模块包括三个分支，第一分支包括一个卷积核为1×1的卷积层、一个卷积核为3×3且rate为1的卷积层，第二分支包括一个卷积核为1×1的卷积层、一个卷积核为3×3的卷积层和一个卷积核为3×3且rate为3的卷积层，第三分支包括一个卷积核为1×1的卷积层、一个卷积核为5×5的卷积层和一个卷积核为3×3且rate为5的卷积层；
6.根据权利要求1所述的方法，
7.一种图像重建方法，其特征在于，所述方法包括：
8.一种图像重建模型的训练装置，其特征在于，所述装置包括：
9.一种图像重建装置，其特征在于，所述装置包括：
10.一种计算机设备，包括存储器、处理器、以及存储在所述存储器上的计算机程序，其特征在于，所述处理器执行所述计算机程序时，实现权利要求1至7任一项所述的方法。
...【技术特征摘要】
1.一种图像重建模型的训练方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，通过由residualblock块与三个rrnl块串联而成的密集感受野网络以及rfb模块对所述全局特征进行局部特征提取，得到局部特征进一步包括：
3.根据权利要求2所述的方法，其特征在于，每个所述rrnl块由rrdb结构与non-local结构串接而成，所述rrdb结构由三个残差堆叠块串联组成；
4.根据权利要求3所述的方法，其特征在于，将最后一个所述残差堆叠块输出的特征输入到non-local结构进行特征提取进一步包括：
5.根据权利要求3所述的方法，其特征在于，所述rfb模块包括三个分支，第一分支包括一个卷积核为1×1的卷积层、一个卷积核为3×3且ra...
【专利技术属性】
技术研发人员：姜垣良，任庆滢，董绍华，张行，马云栋，刘海鹏，
申请(专利权)人：中国石油大学北京，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。