一种基于跨图像上下文记忆的图像修复方法技术

本发明专利技术涉及一种基于跨图像上下文记忆的图像修复方法，包括下列步骤：建立CICM Bank，用于存储从跨图像中得到的特征图，特征图根据语义类别划分到不同的特征集；选取用以提取图像特征的卷积神经网络；得到局部缺失图像的粗略修复图像；对粗略修复图像进行优化，得到优化图像I

【技术实现步骤摘要】
一种基于跨图像上下文记忆的图像修复方法


[0001]本专利技术属于人工智能、计算机视觉领域，涉及图像修复技术，具体为一种基于跨图像上下文记忆的图像修复方法。

技术介绍

[0002]图像修复旨在根据当前图像中完整部分的信息来恢复图像缺失的部分的技术。它指的是在视觉输入的指定区域中填充缺失数据的过程。在数字图像复原，图像编码和传输的应用中，已展开对图像修复的广泛研究。
[0003]目前大多数图像修复方法仅使用单个图像中的上下文信息。通常，修复网络从图像中学习外观表示，以捕获图像区域的视觉上下文信息。基于视觉语境，可以将未损坏区域的相关信息传播到损坏区域，从而对其内容进行推理。Liu等人[1]以及Yu等人[2]分别提出了部分卷积和门卷积的方式来修复图像中不规则的缺失部分。Liu等人[3]在特征级别对图像的纹理和结构进行修复。除了使用外观表示外，一些最新的方法还使用分割网络来预测图像中共存的对象类别，以学习高级语义表示。Song等人[4]提出了两阶段的模型，在第一阶段计算完整的语义分割结果，第二阶段利用语义分割结果进行图像修复。Liao等人[5]提出了一种联合学习模型，利用计算解码器中每层的分割结果来约束最后的修复结果。然而，这些方法都局限于单个图片。同时，单张不完整的图像缺少外观和语义信息，图像中未损坏的区域可能只会包含很少的有用信息，在这种条件下，这些修复方法的结果无法令人满意。
[0004]参考文献：
[0005][1]Liu G,Reda F A,Shih K J,et al.Image inpainting for irregular holes using partial convolutions[C]//Proceedings of the European conference on computer vision(ECCV).2018:85
‑
100.
[0006][2]Yu J,Lin Z,Yang J,et al.Free
‑
form image inpainting with gated convolution[C]//Proceedings of the IEEE/CVF International Conference on Computer Vision.2019:4471
‑
4480.
[0007][3]Liu H,Jiang B,Song Y,et al.Rethinking image inpainting via a mutual encoder
‑
decoder with feature equalizations[C]//European Conference on Computer Vision.Springer,Cham,2020:725
‑
741.
[0008][4]Song Y,Yang C,Shen Y,et al.Spg
‑
net:Segmentation prediction and guidance network for image inpainting[J].arXiv preprint arXiv:1805.03356,2018.
[0009][5]Liao L,Xiao J,Wang Z,et al.Image inpainting guided by coherence priors of semantics and textures[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition.2021:6539
‑
6548.

技术实现思路

[0010]本专利技术提出了一种跨图像上下文记忆(CICM)的图像修复方法，利用跨图像上下文信息来恢复图像中的缺失区域。在修复模型的训练过程中，构建CICM Bank来存储从其他图像区域和相关对象类别的完整内容中学习到的外观和语义表示。在修复任务中，从CICM Bank中选择相同类别的特征集来恢复图像的损坏区域。本专利技术是通过以下技术方案实现的：
[0011]一种基于跨图像上下文记忆的图像修复方法，包括下列步骤：
[0012]第一步，建立CICM Bank，用于存储从跨图像中得到的特征图，特征图根据语义类别划分到不同的特征集，表示为B＝{F
d
|d＝1,
…
,D}，其中F
d
＝{f
d,n
∈R
C
|0≤n≤N}表示所有属于第d个类别的特征集，f
d,n
表示第d个类别的特征集中第n个特征，这里D表示所有特征集的总数，N表示每个第d个类别的特征集中的特征总个数；
[0013]第二步，选取用以提取图像特征的卷积神经网络；
[0014]第三步，通过第二步选取的卷积神经网络得到局部缺失图像的粗略修复图像，方法为：将局部缺失图像I
m
∈R
H
×
W
×3和其掩膜M∈R
H
×
W
输入第二步选取的卷积神经网络以提取特征,其中，H和W分别表示图像及掩膜的高和宽，输出粗略修复结果，输出包括对局部缺失图像做出粗略修复的粗略修复图像I
c
和粗略语义分割结果S
c
；
[0015]第四步，对粗略修复图像进行优化，得到优化图像I
r
，方法为：
[0016](1)将粗略修复图像I
c
和粗略语义分割结果S
c
根据掩膜M划分为未缺失部分图像I
u
、缺失部分图像I
t
和缺失部分语义分割结果S
t
；
[0017](2)将缺失部分图像I
t
不重叠地切分为区域图像集合其中，J表示区域图像集合中区域图像的总个数；
[0018](3)将缺失部分语义分割结果S
t
根据区域图像集合中的区域图像调整大小，调整后，缺失部分语义分割结果S
t
每个像素对应区域图像集合中的一个元素；
[0019](4)根据调整大小后的缺失部分语义分割结果与区域图像集合的对应关系，为区域图像集合中的每个元素赋予对应的惟一的语义类别；
[0020](5)根据第j个区域图像的语义类别，从CICM Bank中选出具有相同类别的特征集F
h
＝{f
h,n
|n＝1,
…
,N}；
[0021](6)通过卷积操作，计算出区域图像的区域图像特征
[0022](7)计算出区域图像特征与具有相同类别的特征集F
h
＝{f
h,n
|n＝1,
…
,N}之间的特征相似度集合其中本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于跨图像上下文记忆的图像修复方法，包括下列步骤：第一步，建立CICM Bank，用于存储从跨图像中得到的特征图，特征图根据语义类别划分到不同的特征集，表示为B＝{F
d
|d＝1,
…
,D}，其中F
d
＝{f
d,n
∈R
C
|0≤n≤N}表示所有属于第d个类别的特征集，f
d,n
表示第d个类别的特征集中第n个特征，这里D表示所有特征集的总数，N表示每个第d个类别的特征集中的特征总个数；第二步，选取用以提取图像特征的卷积神经网络；第三步，通过第二步选取的卷积神经网络得到局部缺失图像的粗略修复图像，方法为：将局部缺失图像I
m
∈R
H
×
W
×3和其掩膜M∈R
H
×
W
输入第二步选取的卷积神经网络以提取特征,其中，H和W分别表示图像及掩膜的高和宽，输出粗略修复结果，输出包括对局部缺失图像做出粗略修复的粗略修复图像I
c
和粗略语义分割结果S
c
；第四步，对粗略修复图像进行优化，得到优化图像I
r
，方法为：(1)将粗略修复图像I
c
和粗略语义分割结果S
c
根据掩膜M划分为未缺失部分图像I
u
、缺失部分图像I
t
和缺失部分语义分割结果S
t
；(2)将缺失部分图像I
t
不重叠地切分为区域图像集合其中，J表示区域图像集合中区域图像的总个数；(3)将缺失部分语义分割结果S
t
根据区域图像集合中的区域图像调整大小，调整后，缺失部分语义分割结果S
t
每个像素对应区域图像集合中的一个元素；(4)根据调整大小后的缺失部分语义分割结果与区域图像集合的对应关系，为区域图像集合中的每个元素赋予对应的惟一的语义类别；(5)根据第j个区域图像的语义类别，从CICM Bank中选出具有相同类别的特征集F
h
＝{f
h,n
|n＝1,
…
,N}；(6)通过卷积操作，计算出区域图像的区域图像特征(7)计算出区域图像特征与具有相同类别的特征集F
h
＝{f
h,n
|n＝1,
…
,N}之间的特征相似度集合其中N表示特征相似度的总个数；(8)根据特征相似度集合对特征集F
h
加权计算出优化区域特征计算方式如下(9)将优化区域特征通过卷积操作计算出优化区域图像(10)将区域图像集合中所有J个元素经过步骤(6)
‑
(7)后，得到由J个优化区域图像组成的优化区域图像集合将优化区域图像集合按原始位置进行拼接，得到缺失部分优化图像I
q
，在将缺失部分优化图像I
q
与未损坏部分图像I
u
结合后，得到优化图像I
r
；第五步，利用与粗略修复图像I
...

【专利技术属性】
技术研发人员：林迪，冯廷亮，万亮，冯伟，
申请(专利权)人：天津大学，
类型：发明
国别省市：