基于上下文的多特征融合网络的两阶段图像修复方法技术

本发明专利技术公开了基于上下文的多特征融合网络的两阶段图像修复方法，包括以下步骤：构建数据集，包括训练集和测试集；构建基于上下文的多特征融合网络模型，所述的多特征融合网络模型包括图像去除模糊子网络和图像修复子网络；训练所述的多特征融合网络模型；利用训练后的基于上下文的多特征融合网络模型，对测试集进行处理，快速生成质量较高且画面要素完整的图像。本发明专利技术的方法利用基于上下文的多特征融合网络通过多路径融合单元和多路径上下文注意力模块对清晰度低的缺失图像进行修复，显著提高了图像的清晰度，高效准确的还原了图像缺失的信息，这对于处理极端天气时或带有前景遮挡等的航拍图像和其他生活场景具有很好的应用前景。

A two-stage image restoration method based on context based multi feature fusion network

【技术实现步骤摘要】
基于上下文的多特征融合网络的两阶段图像修复方法
本专利技术涉及图像处于与修复技术，具体涉及基于上下文的多特征融合网络的两阶段图像修复方法。
技术介绍
图像修复包括去模糊、去噪、还原缺失画质等，是计算机视觉领域的核心问题之一。通过特定的算法对缺损的图像进行修复和还原操作，在尽可能多的保留原始图像的纹理特征的前提下恢复图像缺失的像素，在目标检测、目标识别、航拍监控等领域有着非常广泛的应用。传统方法主要采用基于数据库填充的方法，通过搜索补丁数据库获得最相似的补丁对图像缺失部位进行填补；现代方法利用卷积神经网络对背景和前景进行匹配的方法，用相似的背景信息补充前景缺失信息；当代方法通过大规模数据集进行语义特征学习，采用端到端的方式还原不完整的图像。现有图像修复算法的主要弊端在于：(1)对局部缺失区域的复杂细节感知重建方面不够精确，严重时会引起图像失真或者产生伪影；(2)无论是基于数据库填充、背景前景匹配还是语义特征的学习，都缺乏对图像细节特征进行反复提取学习的环节；(3)对于包含复杂干扰(如噪声、变形等)的图像的修复效果较差。
技术实现思路
本专利技术为解决上述问题，提出了一种基于上下文的多特征融合网络的两阶段图像修复方法，由多路径融合单元和上下文注意力模块组成，并将去模糊算法融入其中，通过反复搜索特征来恢复图像，以解决现有方法对图像的重建结果不准确和细节特征提取效果较差等问题。本专利技术方法，基于上下文的多特征融合网络的两阶段图像修复方法，包括以下步骤：步骤一，构建数据集，所述数据集包括训练集和测试集；步骤二，构建基于上下文的多特征融合网络模型，所述的多特征融合网络模型包括图像去除模糊子网络和图像修复子网络，所述的图像去除模糊子网络通过多尺度融合精化网络去除模糊，旨在将模糊图像锐利化，所述的图像修复子网络通过基于上下文协作网络恢复信息，旨在恢复缺失像素的信息；步骤三，训练所述的多特征融合网络模型，利用步骤一中的训练集对基于上下文的多特征融合网络模型进行训练，得到训练完成的基于上下文的多特征融合网络模型；步骤四，利用训练后的基于上下文的多特征融合网络模型，对步骤一中的测试集进行处理，快速生成质量较高且画面要素完整的图像。具体地，步骤二中所述的图像去除模糊子网络，用于去除图像模糊特征，输入为随机模糊缺损图像，输出为较清晰的缺损图像；所述的图像修复子网络通过不同尺度的网络结构对去除模糊后的图像细节和轮廓进行反复学习，然后提取细节纹理特征和轮廓形状，最后结合周围背景信息对缺失部分像素进行填充，其输入为去除模糊后的图像，输出为最终像素完整画质清晰的图像。更进一步地，所述的图像去除模糊子网络包括两阶段的处理过程：基于上下文的模糊特征提取阶段和模糊特征融合阶段，模糊特征提取阶段中采取由粗到细的多路径迭代式提取模糊特征的方法，使用4个卷积层，每个卷积层的输出特征图尺寸表示为高×宽×通道数，4个卷积层输出特征图尺寸依次为h/2×w/2×32，h/4×w/4×64，h/8×w/8×128，h/16×w/16×256；模糊特征融合阶段采用相反的方法，即由细到粗的模糊特征融合手段，使用另外4个卷积层，另外4个卷积层输出特征图尺寸依次为h/16×w/16×256，h/8×w/8×128，h/4×w/4×64，h/2×w/2×32，其中，h和w分别表示图像的高和宽。更进一步地，所述的图像修复子网络包括两个阶段的处理过程，第一阶段为提取图像细节纹理特征阶段，第二阶段为多尺度图像细节轮廓填充阶段；两个阶段均采用多路径提取和融合的模式，第一阶段使用的卷积层数多于第二阶段。优选地，所述的提取图像细节纹理特征阶段使用11个卷积层，每个卷积层输出特征图尺寸依次为h/2×w/2×48，h/4×w/4×96，h/8×w/8×192，h/16×w/16×384，h/32×w/32×768，h/16×w/16×384，h/8×w/8×192，h/4×w/4×96，h/2×w/2×48，h/4×w/4×96，h/8×w/8×192；所述的多尺度图像细节轮廓填充阶段使用7个卷积层，每个卷积层输出特征图尺寸依次为h/2×w/2×48，h/4×w/4×96，h/8×w/8×192，h/4×w/4×96，h/2×w/2×48，h×w×12，h×w×3。优选地，步骤一中所述的训练集和测试集的样本数量比例为9：1，训练过程中开发出边缘结构感知损失函数，以提高训练效率和模型精确度。特别地，步骤三中所述的基于上下文的多特征融合网络模型的训练过程使用Caffe、TensorFlow或PyTorch深度学习框架。本专利技术有益效果：与现有图像修复算法相比，本专利技术的方法结合图像上下文信息利用基于上下文的多特征融合网络模型，按照由粗到细、由大到小的顺序反复学习缺失图像的细节纹理特征和边缘轮廓，能够深入挖掘输入图像的细节特征和局部轮廓，准确填充缺失区域的像素特征，而且添加了图像去除模糊子网络，显著提高了图像质量。基于上下文的多特征融合网络模型包括两个子网络：图像去除模糊子网络和图像修复子网络。其中，经过图像去除模糊子网络得到的图像将作为图像修复子网络的输入，而图像修复子网络的输出图像为画质清晰且图像完整的图像。附图说明图1是本专利技术方法的流程图；图2是完整图像数据样本；图3是随机模糊缺损图像数据集样本示意图；图4是本专利技术基于上下文的多特征融合网络的图像修复算法网络结构图；图5是图像修复子网络的网络结构图；图6是图片相似度匹配对比算法的形象化示例之一；图7是图片相似度匹配对比算法的形象化示例之二；图8是Places2数据集上本专利技术的修复结果示意图；图9是VisDrone数据集上本专利技术的修复结果示意图之一；图10是VisDrone数据集上本专利技术的修复结果示意图之二。具体实施方式下面将结合本专利技术实施中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本专利技术的一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。如图1所示，本实施例提供的基于上下文的多特征融合网络的两阶段图像修复方法，主要实施步骤如下：步骤一：随机模糊的缺损图像数据集的构建，主要分为训练集和测试集两部分。在具体实施过程中，随机模糊缺损数据集的样本数量为18000(包含主流的Places2和VisDrone数据集)，其中训练集和测试集的样本数量比例为9：1。各训练集包括图像内生缺损遮挡图像数据集、缺损遮挡图像数据集。该数据集主要用于对中心大面积残缺图像进行内生性图像高级修复，区别于一般的图像初级处理修复(去除模糊、边缘精化、去除噪声等)。图2是完整图像数据样本，随机模糊缺损图像数据集样本示意图如图3所示。步骤二：构建基于上下文的多特征融合网络模型，模型总体结构如图4所示。模型本文档来自技高网...

【技术保护点】
1.基于上下文的多特征融合网络的两阶段图像修复方法，其特征在于，包括以下步骤：/n步骤一，构建数据集，所述数据集包括训练集和测试集；/n步骤二，构建基于上下文的多特征融合网络模型，所述的多特征融合网络模型包括图像去除模糊子网络和图像修复子网络，所述的图像去除模糊子网络通过多尺度融合精化网络去除模糊，旨在将模糊图像锐利化，所述的图像修复子网络通过基于上下文协作网络恢复信息，旨在恢复缺失像素的信息；/n步骤三，训练所述的多特征融合网络模型，利用步骤一中的训练集对基于上下文的多特征融合网络模型进行训练，得到训练完成的基于上下文的多特征融合网络模型；/n步骤四，利用训练后的基于上下文的多特征融合网络模型，对步骤一中的测试集进行处理，快速生成质量较高且画面要素完整的图像。/n

【技术特征摘要】
1.基于上下文的多特征融合网络的两阶段图像修复方法，其特征在于，包括以下步骤：
步骤一，构建数据集，所述数据集包括训练集和测试集；
步骤二，构建基于上下文的多特征融合网络模型，所述的多特征融合网络模型包括图像去除模糊子网络和图像修复子网络，所述的图像去除模糊子网络通过多尺度融合精化网络去除模糊，旨在将模糊图像锐利化，所述的图像修复子网络通过基于上下文协作网络恢复信息，旨在恢复缺失像素的信息；
步骤三，训练所述的多特征融合网络模型，利用步骤一中的训练集对基于上下文的多特征融合网络模型进行训练，得到训练完成的基于上下文的多特征融合网络模型；
步骤四，利用训练后的基于上下文的多特征融合网络模型，对步骤一中的测试集进行处理，快速生成质量较高且画面要素完整的图像。


2.根据权利要求1所述的基于上下文的多特征融合网络的两阶段图像修复方法，其特征在于：步骤二中所述的图像去除模糊子网络，用于去除图像模糊特征，输入为随机模糊缺损图像，输出为较清晰的缺损图像；所述的图像修复子网络通过不同尺度的网络结构对去除模糊后的图像细节和轮廓进行反复学习，然后提取细节纹理特征和轮廓形状，最后结合周围背景信息对缺失部分像素进行填充，其输入为去除模糊后的图像，输出为最终像素完整画质清晰的图像。


3.根据权利要求2所述的基于上下文的多特征融合网络的两阶段图像修复方法，其特征在于：对训练集和测试集加入多重模糊处理，所述的图像去除模糊子网络包括两阶段的处理过程：基于上下文的模糊特征提取阶段和模糊特征融合阶段，模糊特征提取阶段中采取由粗到细的多路径迭代式提取模糊特征的方法，使用4个卷积层，每个卷积层的输出特征图尺寸表示为高×宽×通道数，4个卷积层输出特征图尺寸依次为h/2×w/2×32，h/4×w/4×64，h/8×w/8×128，h/16×w/16×256；模糊特征融合阶段采用相反的方法...

【专利技术属性】
技术研发人员：张智超，陈晖，尹晓晴，李卫丽，邓劲生，
申请(专利权)人：中国人民解放军国防科技大学，
类型：发明
国别省市：湖南;43