【技术实现步骤摘要】
一种基于深度多特征协同学习的图像修复方法
[0001]本专利技术涉及图像处理领域，尤其涉及一种基于深度多特征协同学习的图像修复方法。
技术介绍
[0002]随着信息技术进步和数字化时代的到来，数字图像作为图像数据记录和传递的载体已广泛的存在于人们生活之中，并且以惊人的速度增长。然而数字图像在拍摄、存储、处理和传输中往往会产生损坏或因为遮挡使得图像中存储的信息失去完整性。为了找回残损数字图像信息丢失的部分，目前技术可以根据当前图像数据中的信息的相关特性进行合理还原，即根据未被损坏或未被遮挡的图像信息尽可能的还原丢失的图像信息，这一个技术俗称图像的修复技术。
[0003]图像修复旨在重建受损区域或移除图像中不需要的区域，同时提高其视觉美感，广泛用于低级视觉任务，比如恢复破损照片或移除目标区域等，当前传统的修复方法分为基于扩散的方法和基于块的方法。
[0004]比如由刘虹雨提出的一种基于特征均衡的相互编码解码器的修复方法，该技术提出了一种相互编码解码器，使用深层和浅层的卷积特征层分别作为图像的结构和纹理。深层特征被...
【技术保护点】
【技术特征摘要】
1.一种基于深度多特征协同学习的图像修复方法，其包括如下步骤：S1.将待修复图像输入一预设的图像特征编码器，通过深度神经网络编码对待修复图像进行有效特征提取，形成有效图像特征集；S2.所述有效图像特征集通过预设的图像解码器进行解码修复，通过局部和全局判别器后形成修复图像；其特征在于，所述图像特征编码器由六个卷积层组成，其中三个浅层卷积层用于重新组织纹理特征来表示图像细节，三个深层卷积层用于重新组织结构特征来表示图像语义，得到结构特征集和纹理特征集；所述图像解码器包括一软门控双特征融合模块，用于融合上述结构特征和纹理特征，一双边传播特征聚合模块，用于均衡通道信息、上下文注意和特征空间之间的特征。2.如权利要求1所述的图像修复方法，其特征在于，纹理特征和结构特征首先分别使用三个内核大小不同的并行流进行损坏区域填充，三个流组合形成输出特征图，然后将输出特征图映射到输入特征的相同大小，所述结构特征和纹理特征的输出满足如下要求：特征图映射到输入特征的相同大小，所述结构特征和纹理特征的输出满足如下要求：其中，F
cst
和F
cte
分别表示为由多比例填充阶段联结生成的结构和纹理的输出特征，和分别表示为结构和纹理的重建损失，g(
·
)是核大小为1的卷积操作，可以将F
cst
和F
cte
分别映射为彩色图像，I
gt
和I
st
分别表示真实图像及其结构图像，使用边缘保留的图像平滑方法来生成I
st
。3.如权利要求1所述的图像修复方法，其特征在于，所述软门控双特征融合模块包括结构引导的纹理特征单元，用于执行如下算法，G
te
＝σ(SE(h([F
cst
,F
cte
])))
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(2
‑
1)其中，F
cst
和F
cte
分别表示为由多比例填充阶段联结生成的结构和纹理的输出特征，h(
·
)是内核大小为3的卷积操作，SE(
·
)是一个压缩和激活操作去捕获重要的通道信息，σ(
·
)是一个Sigmoid激活函数，G
te
是用来控制纹理信息的细化程度，F
′
cte
表示具有结构感知的纹理特征，α和β是可学习的参数，
⊙
表示元素对应乘积，表示元素对应相加。4.如权利要求1所述的图像修复方法，其特征在于，所述软门控双特征融合模块包括纹理引导的结构特征单元，用于执行如下算法，G
st
＝σ(SE(k([F
cst
,F
cte
])))
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(2
‑
3)其中，F
cst
和F
cte
分别表示为由多比例填充阶段联结生成的结构和纹理的输出特征，k(
·
)是内核大小为3的卷积操作，SE(
·
)是一个压缩和激活操作去捕获重要的通道信息，σ(
·
)是一个Si...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。