基于递归Transformer的动态图像复原方法技术

本发明专利技术提供一种基于递归Transformer的动态图像复原方法，涉及图像处理技术领域，该方法包括：获取待处理的图像；对所述待处理的图像进行预处理，得到第一图像；将所述第一图像输入至图像复原模型，得到所述图像复原模型输出的目标图像；所述目标图像的分辨率高于所述待处理图像的分辨率，所述图像复原模型是基于样本第一图像和所述样本第一图像的标签数据进行训练得到的，用于对所述第一图像进行复原。本发明专利技术提供的方法，通过图像复原模型实现了待处理的图像复原为高分辨率的目标图像，提升了图像复原的质量和效率。升了图像复原的质量和效率。升了图像复原的质量和效率。

【技术实现步骤摘要】
基于递归Transformer的动态图像复原方法


[0001]本专利技术涉及图像处理
，尤其涉及一种基于递归Transformer的动态图像复原方法。

技术介绍

[0002]图像超分辨率是一种图像与图像之间的转换任务，目标是从低分辨率的图像中恢复出原始的高分辨率图像，图像超分辨率在安防监控、医学成像和目标检测等应用领域均有广泛应用。
[0003]近年来，随着转换器（Transformer）网络的提出，Transformer网络在自然语言处理和计算机视觉等领域均取得了重要的进展。相比于卷积神经网络，Transformer网络能够显式地建模全局的特征关系，并展现出更好的任务性能。
[0004]相关技术中，在图像复原领域，Transformer块（block）作为Transformer网络的基本组成单元，将若干个Transformer block串行堆叠构建Transformer网络的主架构。然而，若干个Transformer block串行堆叠，使得Transformer网络的参数数量较多，使得图像超分辨率方法面临复原结果模糊、结构变形的问题，从而使得图像复原的效率较低，图像复原的效果差。

技术实现思路

[0005]本专利技术提供一种基于递归Transformer的动态图像复原方法，用以解决现有技术中图像复原的效果差的缺陷，实现复原的图像分辨率高，复原的效果好。
[0006]本专利技术提供一种基于递归Transformer的动态图像复原方法，包括：获取待处理的图像；对所述待处理的图像进行预处理，得到第一图像；将所述第一图像输入至图像复原模型，得到所述图像复原模型输出的目标图像；所述目标图像的分辨率高于所述待处理图像的分辨率，所述图像复原模型是基于样本第一图像和所述样本第一图像的标签数据进行训练得到的，用于对所述第一图像进行复原。
[0007]根据本专利技术提供的一种基于递归Transformer的动态图像复原方法，所述图像复原模型包括：卷积编码器、递归转换器Transformer网络模块、卷积解码器和质量评价模块；所述将所述第一图像输入至图像复原模型，得到所述图像复原模型输出的目标图像，包括：在当前阶段，将所述第一图像输入至所述卷积编码器，得到所述卷积编码器输出的第一特征图；将所述第一特征图与第二特征图拼接之后的第三特征图输入至所述递归Transformer网络模块，得到所述递归Transformer网络模块输出的第四特征图；所述第二特征图是基于上一阶段的所述递归Transformer网络模块的输出确定的；将所述第一特征图和所述第四特征图输入至所述卷积解码器，得到所述卷积解码
器输出的第五特征图；将所述第五特征图和上一阶段的所述卷积解码器输出的第六特征图输入至所述质量评价模块，得到所述质量评价模块输出的评价结果；所述评价结果用于指示当前阶段的所述第五特征图的质量是否高于上一阶段的所述第六特征图的质量；基于所述评价结果，得到所述目标图像。
[0008]根据本专利技术提供的一种基于递归Transformer的动态图像复原方法，所述基于所述评价结果，得到所述目标图像，包括：在当前阶段的所述第五特征图的质量高于上一阶段的所述第六特征图的质量的情况下，重复执行质量评价模块输出评价结果的步骤，直至当前阶段的所述第五特征图的质量不高于上一阶段的所述第六特征图；或者，在当前阶段的所述第五特征图的质量不高于上一阶段的所述第六特征图的质量的情况下，将所述第六特征图作为所述目标图像。
[0009]根据本专利技术提供的一种基于递归Transformer的动态图像复原方法，所述递归Transformer网络模块包括：Transformer块和交叉注意力模块，所述将所述第一特征图与第二特征图拼接之后的第三特征图输入至所述递归Transformer网络模块，得到所述递归Transformer网络模块输出的第四特征图，包括：将所述第三特征图输入至所述Transformer块，得到所述Transformer块输出的第七特征图；将所述第七特征图、以及所述交叉注意力模块在历史阶段输出的第八特征图集合输入至所述交叉注意力模块，得到所述交叉注意力模块输出的第四特征图。
[0010]根据本专利技术提供的一种基于递归Transformer的动态图像复原方法，所述将所述第三特征图输入至所述Transformer块，得到所述Transformer块输出的第七特征图，包括：采用滑动窗口划分的方式，将所述第三特征图变换为多个第一序列特征；基于各所述第一序列特征，确定多个第二序列特征；所述第二序列特征用于表示上下文特征关系；采用滑动窗口合并的方式将各所述第二序列特征进行合并，得到合并特征图；基于所述合并特征图和所述第三特征图，确定第七特征图。
[0011]根据本专利技术提供的一种基于递归Transformer的动态图像复原方法，所述将所述第七特征图、以及所述交叉注意力模块在历史阶段输出的第八特征图集合输入至所述交叉注意力模块，得到所述交叉注意力模块输出的第四特征图，包括：采用滑动窗口划分的方式，分别将所述第七特征图变换为多个第三序列特征，以及将所述第八特征图集合变换为多个第四序列特征；基于各所述第三序列特征和各所述第四序列特征，确定多个第五序列特征；采用滑动窗口合并的方式将各所述第五序列特征进行合并，得到第四特征图。
[0012]根据本专利技术提供的一种基于递归Transformer的动态图像复原方法，所述将所述第五特征图和上一阶段的所述卷积解码器输出的第六特征图输入至所述质量评价模块，得到所述质量评价模块输出的评价结果，包括：将所述第五特征图和所述第六特征图进行拼接，得到拼接图；基于拼接图，得到所述质量评价模块输出的评价结果。
[0013]本专利技术还提供一种基于递归Transformer的动态图像复原装置，包括：获取模块，用于获取待处理的图像；预处理模块，用于对所述待处理的图像进行预处理，得到第一图像；复原模块，用于将所述第一图像输入至图像复原模型，得到所述图像复原模型输出的目标图像；所述目标图像的分辨率高于所述待处理图像的分辨率，所述图像复原模型是基于样本第一图像和所述样本第一图像的标签数据进行训练得到的，用于对所述第一图像进行复原。
[0014]本专利技术还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述基于递归Transformer的动态图像复原方法。
[0015]本专利技术还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述基于递归Transformer的动态图像复原方法。
[0016]本专利技术提供的基于递归Transformer的动态图像复原方法，通过获取待处理的图像；对待处理的图像进行预处理，得到第一图像；将第一图像输入至图像复原模型，得到图像复原模型输出的目标图像；目标图像的分辨率高于所述待处理图像的分辨率，图像复原模型是基于样本第一图像和样本第一图像的标签数据进行训练得到的，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于递归Transformer的动态图像复原方法，其特征在于，包括：获取待处理的图像；对所述待处理的图像进行预处理，得到第一图像；将所述第一图像输入至图像复原模型，得到所述图像复原模型输出的目标图像；所述目标图像的分辨率高于所述待处理图像的分辨率，所述图像复原模型是基于样本第一图像和所述样本第一图像的标签数据进行训练得到的，用于对所述第一图像进行复原。2.根据权利要求1所述的基于递归Transformer的动态图像复原方法，其特征在于，所述图像复原模型包括：卷积编码器、递归转换器Transformer网络模块、卷积解码器和质量评价模块；所述将所述第一图像输入至图像复原模型，得到所述图像复原模型输出的目标图像，包括：在当前阶段，将所述第一图像输入至所述卷积编码器，得到所述卷积编码器输出的第一特征图；将所述第一特征图与第二特征图拼接之后的第三特征图输入至所述递归Transformer网络模块，得到所述递归Transformer网络模块输出的第四特征图；所述第二特征图是基于上一阶段的所述递归Transformer网络模块的输出确定的；将所述第一特征图和所述第四特征图输入至所述卷积解码器，得到所述卷积解码器输出的第五特征图；将所述第五特征图和上一阶段的所述卷积解码器输出的第六特征图输入至所述质量评价模块，得到所述质量评价模块输出的评价结果；所述评价结果用于指示当前阶段的所述第五特征图的质量是否高于上一阶段的所述第六特征图的质量；基于所述评价结果，得到所述目标图像。3.根据权利要求2所述的基于递归Transformer的动态图像复原方法，其特征在于，所述基于所述评价结果，得到所述目标图像，包括：在当前阶段的所述第五特征图的质量高于上一阶段的所述第六特征图的质量的情况下，重复执行质量评价模块输出评价结果的步骤，直至当前阶段的所述第五特征图的质量不高于上一阶段的所述第六特征图；或者，在当前阶段的所述第五特征图的质量不高于上一阶段的所述第六特征图的质量的情况下，将所述第六特征图作为所述目标图像。4.根据权利要求2所述的基于递归Transformer的动态图像复原方法，其特征在于，所述递归Transformer网络模块包括：Transformer块和交叉注意力模块；所述将所述第一特征图与第二特征图拼接之后的第三特征图输入至所述递归Transformer网络模块，得到所述递归Transformer网络模块输出的第四特征图，包括：将所述第三特征图输入至所述Transformer块，得到所述Transformer块输出的第七特征图；将所述第七特征图、以及所述交叉注意...

【专利技术属性】
技术研发人员：赫然，谭铁牛，黄怀波，周晓强，
申请(专利权)人：中国科学院自动化研究所，
类型：发明
国别省市：