一种基于不确定性估计的图像补全方法技术

本发明专利技术公开一种基于不确定性估计的图像补全方法，包括步骤：将图像数据预处理，使用二值掩码合成损坏图像；使用损坏图像和对应的二值掩码作为网络模型的输入，训练学习损坏图像到目标图像之间的复杂非线性变换映射，得到进行图像补全的生成对抗网络模型；生成对抗网络模型的输出同时包含生成结果和用于表示补全图像补全结果的不确定性图；使用训练好的生成对抗网络模型，对测试数据进行图像补全。本发明专利技术结合不确定性估计，使用输入图像进行训练学习，可以使得补全结果含有丰富的细节信息并且能够保持结构上的连续性。能够保持结构上的连续性。能够保持结构上的连续性。

【技术实现步骤摘要】
一种基于不确定性估计的图像补全方法


[0001]本专利技术涉及图像补全
，涉及基于不确定性估计的图像补全方法。

技术介绍

[0002]图像补全任务(image inpainting)，是指生成给定损坏图像中缺失区域的替代内容，且使得修复的图像在视觉上逼真和在语义上合理。图像补全任务可在其他应用中使用，如图像编辑，当图像中存在分散人注意力的场景元素时，如人或者物体(通常是不可避免的)，允许用户移除图像中不需要的元素，同时在空白区域填充视觉和语义上合理的内容。
[0003]生成对抗网络启发自博弈论中二人零和博弈的思想，具有生成式网络和判别式网络两个网络，利用它们间相互竞争从而不断提升网络性能，最终达到平衡。基于生成对抗网络思想，衍生出许多变种网络，并且这些网络在图像合成、图像超分、图像风格转换和图像修复等方面都取得了显著的进步。图像补全，包括图像修复、图像去水印、图像去雨和图像去雾都得到了研究者们的关注。
[0004]人类的内容注意力机制和掩码先验(Attention Mechanism)是从直觉中得到，它是人类利用有限的注意力资源从大量信息中快速筛选出高价值信息的手段。深度学习中的内容注意力机制和掩码先验借鉴了人类的注意力思维方式，被广泛的应用在自然语言处理(Nature Language Processing，NLP)、图像分类及语音识别等各种不同类型的深度学习任务中，并取得了显著的成果。
[0005]随着科技不断发展，人们在不同领域的需求也在相应提高，包括电影广告动画制作和网络游戏等，逼真的图像修复技术对用户的良好体验具有重要意义。
[0006]在此背景下，开发基于不确定性估计的图像补全方法，使得修复后的图像在视觉上逼真和在语义上合理，具有重要的意义。

技术实现思路

[0007]本专利技术的目的是为了提高图像补全任务中图像的生成质量，包括丰富的纹理细节和结构上的连续性，而提供一种不确定性估计的图像补全方法。
[0008]为实现本专利技术的目的所采用的技术方案是：
[0009]一种不确定性估计的图像补全方法，包括步骤：
[0010]S1.将图像数据预处理，使用二值掩码合成损坏图像；
[0011]S2.使用损坏图像和对应的二值掩码作为网络模型的输入，训练学习损坏图像到目标图像之间的复杂非线性变换映射，得到进行图像补全的生成对抗网络模型：训练包括通过生成器对损坏图像处理得到补全的生成图像，与目标真实图像在判别器中进行对抗损失的计算；迭代多次稳定后完成模型训练；生成对抗网络模型的输出同时包含生成图像和不确定性图，不确定性图用于表示补全图像补全结果的不确定性；
[0012]S3.使用训练好的生成对抗网络模型，对测试数据进行图像补全处理。
[0013]其中，预处理之后的人脸图像和自然图像大小一致。
[0014]其中，所述步骤S2包括：
[0015]S21.初始化图像补全任务中的网络权重参数，其中，生成器的损失函数是L
total
，判别器的损失函数是L
D
；
[0016]S22.将损坏图像和二值掩码图输入到生成器网络G中进行图像补全任务，生成的补全图像和目标图像一起输入到判别器网络D中，依次迭代训练使得生成器的损失函数L
total
和判别器的损失函数L
D
均降低至趋于稳定；
[0017]S23.同时训练表情生成和去除任务，直至所有的损失函数不再降低，从而得到最终的生成对抗网络模型。
[0018]其中，所述生成对抗网络模型中所有编码器的卷积层为局部卷积，卷积层的输出值取决于未损坏的区域，数学描述如下：
[0019][0020]其中，
⊙
表示像素级乘法，1表示所有元素均为1且形状和M相同的矩阵。W表示卷积层的参数，F表示前层卷积层的输出特征图，b表示卷积层的偏差，M表示对应的二值掩码图，可以视为是缩放因子，调整已知区域的权重。
[0021]在执行了局部卷积之后也需要更新二值掩码图M，数学描述如下：
[0022][0023]即若卷积层能够根据有效输入得到输出结果，那么将二值掩码中的该处位置标记为1。
[0024]其中，所述生成对抗网络模型中包含内容注意力机制，缺失区域的生成是基于内容注意力机制的输出的，包括如下步骤：
[0025]首先计算缺失部分和已知部分的特征相似度先提取已知区域的块，然后重新调整大小之后作为卷积核的参数；已知区域块{f
x，y
}和未知区域块{b
x
′
，y
′
}之间的余弦相似度可通过如下式子计算：
[0026][0027]然后在x
′
y
′
维度上用缩放的softmax对相似度进行权衡，得到每个像素点的注意力值：
[0028][0029]其中，λ是一个常数，最后把选取出来的未知区域块{b
x
′
，y
′
}作为反卷积的卷积核参数重建出缺失区域；
[0030]为了获得注意力机制的一致性，按以下方式进行注意力传播：首先进行一个从左到右的注意力传播，然后再做一个核大小为k的自顶向下传播；
[0031][0032]其中，对所述不确定性图，采用如下损失函数以减少不确定性：
[0033][0034]其中，L
unc
表示不确定性估计，Ω表示像素空间，μv表示图像的某点，L
rec
表示图像之间的L1范数，U表示不确定性图。
[0035]其中，图像补全中的总损失函数为：
[0036]L
total
＝λ
unc
L
unc
+λ
per
L
per
+λ
style
L
style
+λ
tv
L
tv
+λ
adv
L
adv
[0037]其中，L
unc
表示不确定性估计，L
per
表示感知损失函数，L
style
表示风格损失函数，L
tv
表示全变分损失函数，L
adv
表示对抗损失函数，λ
rec
、λ
per
、λ
style
、λ
tv
和λ
adv
表示权重因子。
[0038]其中，重建损失函数表示为：
[0039][0040]其中，||
·
||1表示L1范数，cat表示连结操作。
[0041]其中，感知损失函数表示为：
[0042][0043]其中φ是预训练的VGG
‑
16网络，φ
i
输出第i个池化层的特征图，使用VGG
‑
16中的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于不确定性估计的图像补全方法，其特征在于，包括步骤：S1.将图像数据预处理，使用二值掩码合成损坏图像；S2.使用损坏图像和对应的二值掩码作为网络模型的输入，训练学习损坏图像到目标图像之间的复杂非线性变换映射，得到进行图像补全的生成对抗网络模型：训练包括通过生成器对损坏图像处理得到补全的生成图像，与目标真实图像在判别器中进行对抗损失的计算；迭代多次稳定后完成模型训练；生成对抗网络模型的输出同时包含生成图像和不确定性图，不确定性图用于表示补全图像补全结果的不确定性；S3.使用训练好的生成对抗网络模型，对测试数据进行图像补全处理。2.根据权利要求1所述的基于不确定性估计的图像补全方法，其特征在于，步骤S1中，预处理之后的人脸图像和自然图像大小一致。3.根据权利要求2所述的基于不确定性估计的图像补全方法，其特征在于，步骤S2包括：S21.初始化图像补全任务中的网络权重参数，其中，生成器的损失函数是L
total
，判别器的损失函数是L
D
；S22.将损坏图像和二值掩码图输入到生成器网络G中进行图像补全任务，生成的补全图像和目标图像一起输入到判别器网络D中，依次迭代训练使得生成器的损失函数L
total
和判别器的损失函数L
D
均降低至趋于稳定；S23.同时训练表情生成和去除任务，直至所有的损失函数不再降低，从而得到最终的生成对抗网络模型。4.根据权利要求3所述的基于不确定性估计的图像补全方法，其特征在于，所述生成对抗网络模型中所有编码器的卷积层为局部卷积，卷积层的输出值取决于未损坏的区域，数学描述如下：其中，
⊙
表示像素级乘法，1表示所有元素均为1且形状和M相同的矩阵，W表示卷积层的参数，F表示前层卷积层的输出特征图，b表示卷积层的偏差，M表示对应的二值掩码图，可以看做是缩放因子，调整已知区域的权重；在执行了局部卷积之后也需要更新二值掩码图M，数学描述如下：即若卷积层能够根据有效输入得到输出结果，那么将二值掩码中的对应处位置标记为1。5.根据权利要求4所述的基于不确定性估计的图像补全方法，其特征在于，所述生成对抗网络模型中包含内容注意力机制，缺失区域的生成是基于内容注意力机制的输出的，包括如下步骤：首先计算缺失部分和已知部分的特征相似度先提取已知区域的块，然后重新调整大小之后作为卷积核的参数；已知区域块{f
x，y
}和未知区域块{b
x
′
，y
′
}之间的余弦相似度可通过
如下式子计算：然后在x
′
y
′
维度上用缩放的softmax对相似度进行权衡，得到每个像素点的注意力值：其中，λ是一个常数，最后把选取出来的未知区域块{b
x
′
，y
′
}作为反卷积的卷积核参数重建出缺...

【专利技术属性】
技术研发人员：马鑫，侯峦轩，赫然，孙哲南，
申请(专利权)人：天津中科智能识别产业技术研究院有限公司，
类型：发明
国别省市：