一种场内外特征融合的残缺图像精细修复方法技术

本发明专利技术提出了一种场内外特征融合的残缺图像精细修复方法，其步骤为：检测残缺图像中存在的目标，利用知识库检索与目标相关的常识性知识，基于RNN的编码器将常识性知识转化为场外特征；提取残缺图像的目标特征信息并进行处理得到场内特征，利用改进的DMN+模型场外特征与场内特征进行融合，得到融合特征；将融合特征输入到带有环境注意机制的粗修复网络，得到粗修复图像；将粗修复图像输入到精细修复网络中进一步细化，从而实现残缺图像的修复。本发明专利技术利用知识库中的常识性知识弥补目标信息的不足；环境注意机制更大程度上利用背景信息；增加相关特征连贯层解决了残缺区域的语义相关性和特征连续性的问题，提高图像的修复结果。果。果。

【技术实现步骤摘要】
一种场内外特征融合的残缺图像精细修复方法


[0001]本专利技术涉及图像修复的
，尤其涉及一种场内外特征融合的残缺图像精细修复方法。

技术介绍

[0002]图像修复是指因遮挡、模糊、传输干扰等各种因素造成信息缺失或损坏的图片，可通过利用图像缺失部分邻域的信息和图像整体的结构等信息，按照一定的信息复原技术对图像的缺失或损坏的区域进行修复。但由于图像修复技术具有独特的功能经常被应用到许多图像处理的场景中，例如删除图像中不需要的物体、去除目标物上的遮挡物体、修复损坏等任务，图像修复的核心技术是图像修复区域既要保持全局语义结构，又要保证生成逼真的纹理细节。随着深度学习方法的快速发展，同时也为图像修复模型开辟了一条新的路径。基于深度学习的图像修复模型是将一个深度神经网络通过在数据库中经过大量的训练，学习到图像更多深层次的特征信息，从而得到了更加逼真的图像修复效果。随着生成式对抗网络(GANs)作为一种无监督的深度学习模型被应用于图像修复领域，使得基于深度学习的图像修复得到了进一步的发展。
[0003]公开号为CN112381725A的专利技术专利公开了一种基于深度卷积对抗生成网络的图像修复方法及装置，通过对待修复图像进行预处理以获得边缘原图，然后利用预先训练的深度卷积对抗生成网络，根据边缘原图生成与待修复图像对应的目标生成图像。然而该方法忽略了残缺区域的语义相关性和特征连续性而导致图像的修复效果并不理想。同时上述修复方法面对特征信息严重缺失信息不足的残缺图像时，其修复效果就会显示出不能有效修复的现象。因此，本专利技术提出了基于场内外特征融合的残缺图像精细修复方法解决上述问题。

技术实现思路

[0004]针对现有图像修复方法的修复效果不理想，不能有效修复的技术问题，本专利技术提出一种场内外特征融合的残缺图像精细修复方法，利用知识库中的常识性知识，弥补原图像目标信息的不足，利用背景信息及残缺区域的语义相关性和特征连续性，从而提高图像的修复效果。
[0005]为了达到上述目的，本专利技术的技术方案是这样实现的：一种场内外特征融合的残缺图像精细修复方法，其步骤如下：
[0006]步骤一：检测残缺图像中存在的目标，利用知识库检索与目标相关的常识性知识，基于RNN的编码器将常识性知识转化为场外特征；
[0007]步骤二：提取残缺图像的目标特征信息并进行处理得到场内特征，利用改进的DMN+模型将步骤一得到的场外特征与场内特征进行融合，得到融合特征；
[0008]步骤三：将步骤二得到的融合特征输入到带有环境注意机制的粗修复网络，得到粗修复图像；
[0009]步骤四：将步骤三得到的粗修复图像输入到精细修复网络中，通过精细修复网络对粗修复图像进一步细化获得精细修复图像，从而实现残缺图像的修复。
[0010]所述步骤一中场外特征的获取方法为：
[0011]根据知识库中的常识性知识，对残缺图像I
in
中的目标β判断推理，推测出可能相关的目标{α1，α2，....，α
k
}；
[0012]从知识库中检索与目标α
k
相关的常识性描述为：其中，{m1，m2，...，m
n
}是从知识库中检索到的目标α
k
的常识性描述，n表示每个目标的常识性描述的个数；
[0013]将常识性描述{m1，m2，...，m
n
}编码转换成单词序列{M1，M2，...，M
t
}，通过x
t
＝w
e
M
t
的映射关系将常识性描述中的每一个单词映射到一个连续的向量空间中；其中，x
t
表示目标α
k
的第t个单词的映射向量，w
e
为映射权重；
[0014]通过基于RNN的编码器将映射向量x
t
进行编码：
[0015]其中，T
t
‑1表示编码器的隐藏状态，RNN
fast
()表示基于RNN的编码器的编码函数，表示第t个单词的映射向量通过基于RNN的编码器所得的特征向量；
[0016]将通过基于RNN的编码器得到的特征向量x
′
E
定义为场外特征X
E
，即
[0017]所述目标β是通过YOLOv3目标识别模型检测残缺图像I
in
得到的。
[0018]所述场内特征的提取方法为：
[0019]将信息残缺图像I
in
输入到改进的DMN+模型中，改进的DMN+模型的第一层提取目标特征信息目标特征信息作为改进的DMN+模型的第二层输入，改进的DMN+模型的第三层及以上的层的输入为目标特征信息和前一层输出的总和：其中，i＝2，
……
，ni，ni为改进的DMN+模型的层数；
[0020]则场内特征为：其中，W1和b1表示映射参数；tanh()为映射函数。
[0021]所述改进的DMN+模型对目标特征信息进行学习，并将提取的特征之间进行信息交互，获取更多的与目标特征信息相关的场外特征；所述改进的DMN+模型将场外特征与场内特征进行融合的方法为：
[0022][0023]f
t
＝soft max(W3tanh(W2z
t
+b2)+b3)，
[0024]g
t
＝AGRU(X
E
，f
t
)；
[0025]其中，γ
t
‑1表示第t
‑
1个场外特征与图像特征在改进的DMN+模型的记忆模块中交互运算后输出的情景记忆状态，z
t
表示相关的场外特征X
E
、情景记忆状态γ
t
‑1和场内特征X之间的交互运算后的向量，表示向量相乘的运算符号，|
·
|表示元素的绝对值，[：]表示是多个元素交互运算；f
t
表示全连接层的输出，W2、W3、b2和b3均表示学习参数，soft max(
·
)表示输出激活函数，AGRU(
·
)表示改进的DMN+模型的注意机制循环模块的函数；g
t
表示第t个场外特征被检测后门循环模块的状态，且：g
t
＝f
t
GRU(X
E
，g
t
‑1)+(1
‑
f
t
‑1)g
t
‑1；
[0026]通过注意力机制利用当前的状态和改机的DMN+模型的情景记忆状态更新储存器的记忆状态为：γ
t
＝ReLU(W4[γ
t
‑1：g
t
：X]+d4)；其中，γ
t
表示更新后的情景记忆状态，ReLU
()为整流线性激活函数，W4和d4均表示学习参数；<本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种场内外特征融合的残缺图像精细修复方法，其特征在于，其步骤如下：步骤一：检测残缺图像中存在的目标，利用知识库检索与目标相关的常识性知识，基于RNN的编码器将常识性知识转化为场外特征；步骤二：提取残缺图像的目标特征信息并进行处理得到场内特征，利用改进的DMN+模型将步骤一得到的场外特征与场内特征进行融合，得到融合特征；步骤三：将步骤二得到的融合特征输入到带有环境注意机制的粗修复网络，得到粗修复图像；步骤四：将步骤三得到的粗修复图像输入到精细修复网络中，通过精细修复网络对粗修复图像进一步细化获得精细修复图像，从而实现残缺图像的修复。2.根据权利要求1所述的场内外特征融合的残缺图像精细修复方法，其特征在于，所述步骤一中场外特征的获取方法为：根据知识库中的常识性知识，对残缺图像I
in
中的目标β判断推理，推测出可能相关的目标{α1,α2,...,α
k
}；从知识库中检索与目标α
k
相关的常识性描述为：其中，{m1,m2,...,m
n
}是从知识库中检索到的目标α
k
的常识性描述，n表示每个目标的常识性描述的个数；将常识性描述{m1,m2,...,m
n
}编码转换成单词序列{M1,M2,...,M
t
}，通过x
t
＝w
e
M
t
的映射关系将常识性描述中的每一个单词映射到一个连续的向量空间中；其中，x
t
表示目标α
k
的第t个单词的映射向量，w
e
为映射权重；通过基于RNN的编码器将映射向量x
t
进行编码：其中，T
t
‑1表示编码器的隐藏状态，RNN
fast
()表示基于RNN的编码器的编码函数，表示第t个单词的映射向量通过基于RNN的编码器所得的特征向量；将通过基于RNN的编码器得到的特征向量定义为场外特征X
E
，即3.根据权利要求2所述的场内外特征融合的残缺图像精细修复方法，其特征在于，所述目标β是通过YOLOv3目标识别模型检测残缺图像I
in
得到的。4.根据权利要求1或2所述的场内外特征融合的残缺图像精细修复方法，其特征在于，所述场内特征的提取方法为：将信息残缺图像I
in
输入到改进的DMN+模型中，改进的DMN+模型的第一层提取目标特征信息目标特征信息作为改进的DMN+模型的第二层输入，改进的DMN+模型的第三层及以上的层的输入为目标特征信息和前一层输出的总和：其中，i＝2,
……
,ni，ni为改进的DMN+模型的层数；则场内特征为：其中，W1和b1表示映射参数；tanh()为映射函数。5.根据权利要求4所述的场内外特征融合的残缺图像精细修复方法，其特征在于，所述改进的DMN+模型对目标特征信息进行学习，并将提取的特征之间进行信息交互，获取更多的与目标特征信息相关的场外特征；所述改进的DMN+模型将场外特征与场内特征进行融合的方法为：
f
t
＝softmax(W3tanh(W2z
t
+b2)+b3)，g
t
＝AGRU(X
E
,f
t
)；其中，γ
t
‑1表示第t
‑
1个场外特征与图像特征在改进的DMN+模型的记忆模块中交互运算后输出的情景记忆状态，z
t
表示相关的场外特征X
E
、情景记忆状态γ
t
‑1和场内特征X之间的交互运算后的向量，表示向量相乘的运算符号，|
·
|表示元素的绝对值，[:]表示是多个元素交互运算；f
t
表示全连接层的输出，W2、W3、b2和b3均表示学习参数，softmax(
·
)表示输出激活函数，AGRU(
·
)表示改进的DMN+模型的注意机制循环模块的函数；g
t
表示第t个场外特征被检测后门循环模块的状态，且：g
t
＝f
t
GRU(X
E
,g
t
‑1)+(1
‑
f
t
‑1)g
t
‑1；通过注意力机制利用当前的状态和改机的DMN+模型的情景记忆状态更新储存器的记忆状态为：γ
t
＝ReLU(W4[γ
t
‑1:g
t
:X]+d4)；其中，γ
t
表示更新后的情景记忆状态，ReLU()为整流线性激活函数，W4和d4均表示学习参数；通过改进的DMN+模型提取的场外特征为：X
r
＝[X,X
E
]；其中，表示改进的DMN+模型最后一层输出的具有场外知识弥补的图像信息，W5和d5均表示学习参数；X
E
表示具有相关性的场外特征，X
r
表示融合后的特征；最后将输入到改进的DMN+模型的输出层，得到经场外知识优化的残缺图像I
opt
。6.根据权利要求1、2或5所述的场内外特征融合的残缺图像精细修复方法，其特征在于，所述粗修复网络是基于对抗性神经网络策略的WGAN
‑
GP修复模型，WGAN
‑
GP修复模型利用Wasserstein
‑
1距离构成惩罚梯度函数对生成器形成约束为：其中，表示从生成特征分布P
r
和原始特征分布P
g
采样点之间的直线上采样的特征，表示特征通过判别器D的输出值，表示1
‑
Lipschithz函数约束下的采样样本，表示特征的分布距离函数，||
·
||2表示所有矩阵列向量绝对值之和的最大值；S表示掩膜矩阵，λ表示惩罚函数的权重；Wasserstein
‑
1距离为：其中，P
r
表示残缺区域的生成特征X
rs
的分布，P
g
表示残缺图像对应的原始特征X
rc
的分布，П(P
r
,P
g
)表示生成特征分布P
r
和原始特征分布P
g
采样点分布的边际，E[
·
]为分布特征之间距离函数，inf表示取下限函数，W(P
r
,P
g
)表示生成特征分布和原始特征分布的距离；所述WGAN
‑
GP修复模型利用梯度惩罚约束条件训练和...

【专利技术属性】
技术研发人员：徐涛，周纪勇，蔡磊，吴韶华，赵未硕，马玉琨，蔡豪杰，
申请(专利权)人：河南科技学院，
类型：发明
国别省市：