【技术实现步骤摘要】
本专利技术涉及数字图像修复，尤其是涉及一种基于深度学习的图像修复方法、系统、设备及存储介质。
技术介绍
1、图像修复的目的是基于残缺图像中未受损的原始背景信息去恢复损坏区域的像素特征。近年来，随着计算机算力的大幅度提升和人工智能科学研究以及深度学习相关技术的快速发展，图像修复技术取得了显著进展。
2、根据模型结构的不同，基于深度学习的图像修复方法可以分为三大类：基于自编码的图像修复方法、基于生成模型的图像修复方法和基于transformer的图像修复方法。其中，基于自编码的图像修复方法存在一些不足之处，传统的自编码器在图像修复中通常只考虑局部信息，缺乏对周围上下文的全局理解，这可能导致修复结果在与周围图像不一致的区域上出现不自然的情况，另外，自编码器的编码维度较低，可能无法捕捉到图像的所有细节和复杂结构；基于生成模型的图像修复方法存在一些挑战和限制，包括生成结果的一致性和真实性等；基于transformer的图像修复方法会量级地增加计算复杂度，这使得处理高分辨率图像会变得困难。总体而言，这些方法在图像修复领域取得了一定的进展，但仍存在一些局限性。未来的研究可能需要进一步解决复杂结构处理的问题和增强捕获远距离依赖关系的能力，以提高修复结果的质量和准确性。
技术实现思路
1、本专利技术旨在至少解决现有技术中存在的技术问题之一。为此，本专利技术提出一种基于深度学习的图像修复方法、系统、设备及存储介质，能够解决复杂结构处理的问题和增强捕获远距离依赖关系的能力，提高图像修复的质量
2、第一方面，本专利技术实施例提供了一种基于深度学习的图像修复方法，所述基于深度学习的图像修复方法包括：
3、获取待修复图像，并对所述待修复图像进行卷积，得到待修复特征图；
4、对所述待修复特征图采用基于transformer块的编码器提取多个尺度的第一特征；
5、采用跨层次门控融合模块对所述多个尺度的第一特征中相邻两个尺度的所述第一特征进行特征融合，得到多个融合特征；
6、将所述编码器最终输出的第一特征和多个所述融合特征通过全尺度跳跃连接的注意力机制和卷积映射操作输入至解码器，得到所述解码器输出的第一修复图像；
7、采用卷积层对所述第一修复图像进行卷积，得到与所述待修复图像分辨率相同且通道数相等的第二修复图像。
8、与现有技术相比，本专利技术第一方面具有以下有益效果：
9、本方法通过对待修复特征图采用基于transformer块的编码器提取多个尺度的第一特征，能够提取具有丰富语义信息的特征表示，减少了对计算复杂度的依赖；采用跨层次门控融合模块对多个尺度的第一特征中相邻两个尺度的第一特征进行特征融合，跨层次门控融合模块能够自适应地选择和加权不同尺度的特征，以获得更具信息量和区分度的特征表示，这有助于提高修复任务的准确性和细节恢复能力；将编码器最终输出的第一特征和多个融合特征通过全尺度跳跃连接的注意力机制和卷积映射操作输入至解码器，这种全尺度跳跃连接不仅促进了信息的传递和整合，还有助于提高网络在保留细节和语义的同时进行图像修复的能力，并且增强了捕获远距离依赖关系的能力；基于前面解码器得到的精确的第一修复图像，采用卷积层对第一修复图像进行卷积，得到了高质量和高准确性的与待修复图像分辨率相同且通道数相等的第二修复图像。
10、根据本专利技术的一些实施例，所述对所述待修复特征图采用基于transformer块的编码器提取多个尺度的第一特征，包括：
11、采用多个transformer块构建所述编码器；
12、对所述待修复特征图采用多个所述transformer块提取多个尺度的第一特征，其中，后一个transformer块提取的第一特征分辨率相比于其前一个transformer块提取的第一特征分辨率减半。
13、根据本专利技术的一些实施例，所述transformer块包括注意力模块和前馈神经网络，所述采用transformer块提取第一特征，包括：
14、对所述待修复特征图采用所述注意力模块中的层归一化得到张量，并通过点卷积和反卷积将所述张量生成查询、键和值的第一投影；
15、重塑所述查询和所述键的第一投影，使得所述查询和所述键的点积交互生成转置注意力图；
16、重塑所述值的第一投影，使得所述值与所述转置注意力图的点积交互还原为与所述待修复特征图大小的特征图；
17、将所述特征图作为所述前馈神经网络的输入，经过层归一化、点卷积和膨胀卷积生成第二投影；
18、采用门控机制计算所述第二投影经过gelu激活函数后的结果和所述第二投影之间的元素积，得到元素积结果；
19、将所述元素积结果经过点卷积后的输出与所述层归一化后的输出进行逐元素相加，得到第一特征。
20、根据本专利技术的一些实施例，所述采用跨层次门控融合模块对所述多个尺度的第一特征中相邻两个尺度的所述第一特征进行特征融合，得到多个融合特征，包括：
21、将所述多个尺度的第一特征中的一个第一特征经过卷积后的结果和与所述第一特征相邻的深层次的第一特征经过双线性插值后的结果进行相加，得到多个第二特征；
22、将每个所述第二特征经过门控激活操作后和与其对应的所述第一特征相邻的深层次的第一特征进行矩阵相乘，得到多个第三特征；
23、将每个所述第三特征和与其对应的所述第一特征进行通道拼接和经过双卷积，得到所述跨层次门控融合模块输出的多个融合特征。
24、根据本专利技术的一些实施例，通过如下方式将所述多个尺度的第一特征中的一个第一特征经过卷积后的结果和与所述第一特征相邻的深层次的第一特征经过双线性插值后的结果进行相加，得到多个第二特征：
25、
26、其中，t1表示第二特征，表示第i个第一特征，point(·)表示卷积，bi(·)表示双线性插值，表示与所述第一特征相邻的深层次的第一特征。
27、根据本专利技术的一些实施例，通过如下方式将每个所述第三特征和与其对应的所述第一特征进行通道拼接和经过双卷积，得到所述跨层次门控融合模块输出的多个融合特征：
28、
29、其中，表示第i个融合特征，表示第i个第一特征，concat(·)表示通道拼接，dc(·)表示双卷积，t2表示第三特征，n表示编码器中transformer块的总数。
30、根据本专利技术的一些实施例，所述将所述编码器最终输出的第一特征和多个所述融合特征通过全尺度跳跃连接的注意力机制和卷积映射操作输入至解码器，得到所述解码器输出的修复特征图，包括：
31、采用多个cnn块构建解码器；
32、在所述全尺度跳跃连接的末端加入空间注意力机制和通道注意力机制；
33、将所述编码器最终输出的第一特征和多个所述融合特征通过所述全尺度跳跃连接的所述空间注意力机制、所述通道注意力机制和卷积映射操作输入至所述解码器，得到所本文档来自技高网...
【技术保护点】
1.一种基于深度学习的图像修复方法，其特征在于，所述基于深度学习的图像修复方法包括：
2.根据权利要求1所述的基于深度学习的图像修复方法，其特征在于，所述对所述待修复特征图采用基于Transformer块的编码器提取多个尺度的第一特征，包括：
3.根据权利要求2所述的基于深度学习的图像修复方法，其特征在于，所述Transformer块包括注意力模块和前馈神经网络，所述采用Transformer块提取第一特征，包括：
4.根据权利要求1所述的基于深度学习的图像修复方法，其特征在于，所述采用跨层次门控融合模块对所述多个尺度的第一特征中相邻两个尺度的所述第一特征进行特征融合，得到多个融合特征，包括：
5.根据权利要求4所述的基于深度学习的图像修复方法，其特征在于，通过如下方式将所述多个尺度的第一特征中的一个第一特征经过卷积后的结果和与所述第一特征相邻的深层次的第一特征经过双线性插值后的结果进行相加，得到多个第二特征：
6.根据权利要求4所述的基于深度学习的图像修复方法，其特征在于，通过如下方式将每个所述第三特征和与其对应的所述
7.根据权利要求1所述的基于深度学习的图像修复方法，其特征在于，所述将所述编码器最终输出的第一特征和多个所述融合特征通过全尺度跳跃连接的注意力机制和卷积映射操作输入至解码器，得到所述解码器输出的修复特征图，包括：
8.一种基于深度学习的图像修复系统，其特征在于，所述基于深度学习的图像修复系统包括：
9.一种基于深度学习的图像修复设备，其特征在于，包括至少一个控制处理器和用于与所述至少一个控制处理器通信连接的存储器；所述存储器存储有可被所述至少一个控制处理器执行的指令，所述指令被所述至少一个控制处理器执行，以使所述至少一个控制处理器能够执行如权利要求1至7任一项所述的基于深度学习的图像修复方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行如权利要求1至7任一项所述的基于深度学习的图像修复方法。
...【技术特征摘要】
1.一种基于深度学习的图像修复方法，其特征在于，所述基于深度学习的图像修复方法包括：
2.根据权利要求1所述的基于深度学习的图像修复方法，其特征在于，所述对所述待修复特征图采用基于transformer块的编码器提取多个尺度的第一特征，包括：
3.根据权利要求2所述的基于深度学习的图像修复方法，其特征在于，所述transformer块包括注意力模块和前馈神经网络，所述采用transformer块提取第一特征，包括：
4.根据权利要求1所述的基于深度学习的图像修复方法，其特征在于，所述采用跨层次门控融合模块对所述多个尺度的第一特征中相邻两个尺度的所述第一特征进行特征融合，得到多个融合特征，包括：
5.根据权利要求4所述的基于深度学习的图像修复方法，其特征在于，通过如下方式将所述多个尺度的第一特征中的一个第一特征经过卷积后的结果和与所述第一特征相邻的深层次的第一特征经过双线性插值后的结果进行相加，得到多个第二特征：
6.根据权利要求4所述的基于深度学习的图像修复方法，其特征在于，通过如...
【专利技术属性】
技术研发人员：章登勇，张婷仙，陈嘉欣，宫蓉蓉，罗荣豪，符诺，
申请(专利权)人：长沙理工大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。