一种基于不同破损类型的旧照片修复方法技术

本发明专利技术公开了一种基于不同破损类型的旧照片修复方法，包括：构建旧照片缺陷检测数据集和旧照片修复数据集；提出多任务旧照片缺陷检测网络和旧照片修复网络，旧照片修复网络由

【技术实现步骤摘要】
卷积模块，得到最终的性能优良的旧照片修复结果
。
[0008]进一步，在步骤
S2
，所述编码器和解码器均由通道注意力机制模块构成，所述编码器与解码器之间使用
U
‑
Net
方式连接，并使用三个
BCE
损失指导多任务旧照片缺陷检测网络训练，实现端对端多任务旧照片检测
。
[0009]进一步，在步骤
S3
，使用步骤
S1
得到的旧照片修复数据和步骤
S2
得到的裂痕掩码
Ms、
块状缺失掩码
Mp、
整体破损掩码
Ma
训练针对不同破损类型的旧照片修复网络，首先将旧照片图像乘以1‑
Mp
，覆盖住块状缺失区域，再以
Concatenation
的方式融合
Ms
，保留裂痕区域的上下文信息，然后将融合后的结果输入到第一孪生编码器，由三通道图像变换到多通道特征，实现高维特征提取，将该低维特征和
Ms
输入到
ScratchNet
，所述
ScratchNet
由四个
Multi
‑
branch Partical Convolution
构成，能够学习局部区域知识，适用于修复不同尺寸的裂痕问题，且在
ScratchNet
内部，采用跳跃连接的方式减少信息丢失，最终通过
ScratchNet
得到四个不同尺度的裂痕区域修复结果
。
[0010]进一步，在步骤
S3
，将旧照片图像乘以1‑
M
a
输入到第二孪生编码器，实现特征粗提取，其中该第二孪生编码器和第一孪生编码器参数共享，能够实现裂痕特征和块状缺失特征的交互，将经过第二孪生编码器的特征和对应的
Mp
输入给
PatchNet
实现块状区域修复，
PatchNet
的编码器负责在编码阶段修复修照片图像，其是基于
Transformer
模块的全局注意力补全，该编码器由四种尺度
Transfill
模块组成，每个模块的输出结果和每个阶段的
ScratchNet
结果进行分层级地融合，为
PatchNet
提供丰富的上下文信息，使其得到语义更一致的修复结果；
PatchNet
的解码器由四个不同尺寸的
Transhomon
模块组成，该解码器在解码阶段使用
Mask
‑
aware Instance Norm
代替原
Transformer
模块中的
Layer Norm
，能够将背景的风格迁移到前景，使得修复区域与背景区域的风格和语义一致性保持更好，上述过程使用
Ma
引导；将解码好的特征输入3×3卷积模块中，得到3通道的优良旧照片修复结果
。
[0011]进一步，为优化旧照片修复网络的参数，得到最好修复结果，定义以下损失函数：
[0012]a、
为缩小修复结果图和真值图像素间差异，定义重建损失函数
L
rec
如下所示：
[0013]L
rec
＝
||(I
o
‑
I
gt
)||1[0014]式中，
I
o
代表修复结果图，
I
gt
代表真值图；
[0015]b、
为缩小修复结果图和真值图特征间差异，定义感知损失函数
L
per
如下所示：
[0016][0017]式中，
N
i
代表
VGG
‑
16
第
i
层特征图，
Φ
代表激活函数；
[0018]c、
为缩小修复结果图和真值图风格间差异，定义风格损失函数
L
sty
如下所示：
[0019][0020]式中，是
C
j
×
C
j
的
Gram
矩阵，
C
j
表示
j
×
j
的特征矩阵，
Gram
矩阵能够得到图像的风格知识；
[0021]d、
为进一步拉近修复结果图和真值图的距离，定义对抗损失函数
L
adv
如下所示：
[0022][0023]式中，
D
代表鉴别器，
E
代表期望；
[0024]e、
整个旧照片修复网络的损失函数
L
su
如下所示：
[0025]L
su
＝
λ
rec
L
rec
+
λ
per
L
per
+
λ
sty
L
sty
+
λ
adv
L
adv
[0026]式中，
λ
rec
、
λ
per
、
λ
sty
、
λ
adv
是经验系数
。
[0027]本专利技术与现有技术相比，具有如下优点与有益效果：
[0028]1、
本专利技术能够实现多任务旧照片掩码预测，相比原旧照片掩码检测模块，本专利技术能够同时预测不同破损类型的掩码，从而实现不同缺损类型修复
。
[0029]2、
本专利技术分别设计用于裂痕修复的
ScratchNet、
用于块状区域修复的
PatchNet
，并分层级融合裂痕修复结果和块状修复数据流，可有效解决不同破损类型修复问题
。
[0030]3、
本专利技术在
PatchNet
的编码器阶段，采用
Non
‑
local Inpainting
代替原
Transformer
模块中的
Multi
‑
attention
，可有效解决全局修复问题
。
[0031]4、
本专利技术在
PatchNet
的解码器阶段，采用
Mask
‑
aware Instance Norm
代替原
Transformer
模可中的
Layer Norm
，可有效解决待修复前景区域和背景区域风格一致问题
。
附图说明
[0本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种基于不同破损类型的旧照片修复方法，其特征在于，包括以下步骤：
S1、
收集旧照片数据，并通过标注和修图，得到旧照片检测数据集和旧照片修复数据集；
S2、
通过步骤
S1
获得的旧照片检测数据集，训练一个多任务旧照片缺陷检测网络，该多任务旧照片缺陷检测网络为生成对抗网络，由一个编码器和三个解码器组成，该三个解码器分别用于裂痕区域检测
、
块状缺失区域检测和整体缺失区域检测，输出旧照片的三种类型缺陷掩码，分别为裂痕掩码
、
块状缺失掩码和整体破损掩码，通过所述多任务旧照片缺陷检测网络能够得到旧照片的三种类型缺陷掩码，实现旧照片不同破损类型缺陷定位；
S3、
通过步骤
S1
获得的旧照片修复数据集和步骤
S2
获得的旧照片三种类型缺陷掩码，训练针对不同破损类型的旧照片修复网络，该旧照片修复网络由
ScrathNet
和
PatchNet
组成，所述
ScratchNet
负责旧照片裂痕区域修复，其使用分别由3×
3、5
×
5、7
×7不同尺度卷积核构成的多分支部分卷积模块实现多尺度裂痕图像补全，通过所述
ScrathNet
得到对裂痕区域修复好的不同尺度的结果，并将不同尺度的结果分层级地融合入
PatchNet
，所述
PatchNet
负责旧照片图像块状缺失的修复，其采用
Transformer
模块作为基本单元，在编码阶段，其使用
Non
‑
local Inpainting Attention Module
代替原
Multi
‑
attention Module
，使得能够利用全局信息对块状区域做补全，在解码阶段，其使用
Mask
‑
aware Instance Norm
代替原
Transformer
模块中的
Layer Norm
，能够使得需要修复的前景区域和背景区域风格一致，修复后的旧照片图像更加和谐化，所述
PatchNet
的编码阶段和解码阶段采用
U
‑
Net
方式连接，实现最大程度减少信息丢失，最后，经过和谐化的旧照片图像特征输入3×3卷积模块，得到最终的性能优良的旧照片修复结果
。2.
根据权利要求1所述的一种基于不同破损类型的旧照片修复方法，其特征在于，在步骤
S2
，所述编码器和解码器均由通道注意力机制模块构成，所述编码器与解码器之间使用
U
‑
Net
方式连接，并使用三个
BCE
损失指导多任务旧照片缺陷检测网络训练，实现端对端多任务旧照片检测
。3.
根据权利要求2所述的一种基于不同破损类型的旧照片修复方法，其特征在于，在步骤
S3
，使用步骤
S1
得到的旧照片修复数据和步骤
S2
得到的裂痕掩码
Ms、
块状缺失掩码
Mp、
整体破损掩码
Ma
训练针对不同破损类型的旧照片修复网络，首先将旧照片图像乘以1‑
Mp
，覆盖住块状缺失区域，再以
Concatenation
的方式融合
Ms
，保留裂痕区域的上下文信息，然后将融合后的结果输入到第一孪生编码器，由三通道图像变换到多通道特征，实现高维特征提取，将该低维特征和
Ms
输入到
ScratchNet
，所述
ScratchNet
由四个
Multi
‑
branch Partical Convolution
构成，能够学习局部区域知识，适用于修复不同尺寸的裂痕问题，且在
ScratchNet
内部，采用跳跃连接的方式减少信息丢失，最终通过

【专利技术属性】
技术研发人员：徐雪妙，蔡微微，张怀东，
申请(专利权)人：华南理工大学，
类型：发明
国别省市：