基于多路径精化融合神经网络的图像去除模糊方法技术

本发明专利技术公开了基于多路径精化融合神经网络的图片去除模糊方法，包括以下步骤：构建数据集，包括训练集和测试集；构建多路径精化融合神经网络模型，包括模糊特征提取子网络、多路径特征传递子网络、特征融合精化子网络和特征精细融合子网络；步骤三，利用训练集对所述的多路径精化融合神经网络模型进行训练；步骤四，利用训练完成的多路径精化融合神经网络模型，对含有模糊图像集的测试集进行处理，得到清晰精度更高的图片处理结果。本发明专利技术具有速度与精度平衡优势，并且适应多种不同种类模糊去除，如相机运动模糊、人为干扰模糊、航拍图片模糊等多种场景，具有恢复精度高，特定细节展示清楚的技术效果。

Image blur removal method based on multi-path refined fusion neural network

【技术实现步骤摘要】
基于多路径精化融合神经网络的图像去除模糊方法
本专利技术设计图像处理的去除模糊，在多种场景下提高图像清晰度的技术，具体指基于多路径精化融合神经网络的图像去除模糊方法。
技术介绍
模糊是由于视频或图像中的像素偏移引起视频或图像不清晰、数字不对焦、景物泛化等情况。作为计算机视觉的领域的核心问题之一，去除模糊在语义分割、目标检测、图像修复和图像超分辨率以及视频相关特征提取等方面具有关键前导作用。图像模糊的产生原因多种多样，既有高空航拍时抖动产生的运动模糊，也有多种噪声和其他模糊因素造成的高斯模糊等。现有的图像去除模糊方法的不足在于：(1)图像去除模糊方法比较局限，只能去除特定的模糊，没有通用的图像去除模糊方法；(2)去除模糊的速度与效果不能够同时兼顾，实时性较差。本专利提出的多路径精化网络针对多种模糊的普适性更强、速度更快、恢复精细程度更稳定。
技术实现思路
本专利技术为克服以上问题，旨在提供一种基于多路径精化融合神经网络针对多种图像模糊进行去除，通过对大量数据样本不同特征的自动学习来提升训练效果，以达到不断优化模型、提高预测精准程度的效果。基于多路径精化融合神经网络的图片去除模糊方法，包括以下步骤：步骤一，构建数据集，包括训练集和测试集，训练集由模糊图像和清晰图像数据集对构成，测试集包括模糊图像集；步骤二，构建多路径精化融合神经网络模型，包括模糊特征提取子网络、多路径特征传递子网络、特征融合精化子网络和特征精细融合子网络，所述的多路径精化融合神经网络模型的输入为模糊图像数据集，通过多尺度特征图的精化融合，对不同尺寸上的特征图进行去除模糊，在轻量化和残差链接网络的优化下得到清晰的图片，输出为预测结果和偏差损失；步骤三，利用步骤一中的训练集对所述的多路径精化融合神经网络模型进行训练，得到训练完成的多路径精化融合神经网络模型；步骤四，利用训练完成的多路径精化融合神经网络模型，对含有模糊图像集的测试集进行处理，得到清晰精度更高的图片处理结果。具体地，步骤二中所述的模糊特征提取子网络用于提取模糊清晰图像对比特征，其输入为不同种类模糊图像，输出为模糊图像特征；所述的多路径特征传递子网络用于将单一的图像特征逐层改变尺寸，分支出多个路径用于后续的多尺度特征传递；所述的特征融合精化子网络用于将多尺寸图像提取到的特征进行融合；所述的特征精细融合子网络用于对图像的特征进行远程残差链接和轻量化处理，从而得到更加精细的恢复结果；所述的模糊图像和清晰图像数据集对的尺寸为H×W×2，单张图像边界尺寸为H×W，其中H和W分别表示图像的高和宽，所述的多路径精化融合神经网络模型的最终输出是H×W×1尺寸的去除模糊的预测图片。更进一步地，所述的模糊特征提取子网络由4个卷积层构成，每层的输出特征尺寸表示为高×宽×通道数，4个卷积层的输出特征图依次为H×W×32，H×W×64，H×W×128，H×W×128；所述的多路径特征传递子网络包括4个卷积层，每层的输出特征尺寸表示为高×宽×通道数，所述的特征传递子网络的4个卷积层的输出特征图依次为H×W×128，H×W×256，H×W×256，H×W×256。更进一步地，所述的特征融合精化子网络包括6个网络层，所述的6个网络层的输出特征图尺寸分别为H/16×W/16×256，H/16×W/16×256，H/16×W/16×256，H/16×W/16×256，H/16×W/16×256，H/8×W/8×128；所述的特征精细融合子网络包括6个网络层，6个网络层的输出特征图尺寸分别为H/16×W/16×256，H/16×W/16×256，H/16×W/16×256，H/16×W/16×256，H/16×W/16×256，H/8×W/8×128。优选地，所述多路径精化融合神经网络模型的训练使用Caffe、TensorFlow或Pytorch深度学习框架。本专利技术有益成果：基于多路径精化融合神经网络的图像去除模糊方法是深度学习中计算机视觉的重要创新应用之一，基于多路径精化融合神经网络主要包括4个子网络：模糊特征提取子网络、多路径特征传递子网络、特征融合精化子网络、特征精细融合子网络。其中，模糊特征提取子网络、多路径特征传递子网络用于特征提取和分化为多个尺寸进行传递；特征融合精化子网络、特征精细融合子网络分别进行特征学习和融合以及最终的精细高效融合。本专利技术利用了多路径精化融合神经网络自动学习去除图像模糊特征，省略了人工提取特征反复学习的过程，能够准确有效的通过多种路径对不同尺度下对包含多种类型模糊的图像进行清晰化恢复。该项专利技术提高了去除模糊的图像精确程度和效率，并且针对多种模糊的恢复效果也更加稳定。附图说明图1是本专利技术方法的流程图；图2是模糊数据集样本示意图；图3是本专利技术多路径精化融合神经网络的架构图；图4是多路径精化融合神经网络的各个子模块；图5是去除模糊结果图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行描述，显然，所描述的实施例仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。如图1所示，本实施例提供的基于多路径精化融合神经网络的图像去除模糊方法，包括以下四个步骤：步骤一：设计数据集，包括训练集和测试集两个部分；所述步骤一中的数据集的总体样本容量为22000，由模糊图像和清晰图像数据集对构成，其中训练集和测试集的数量比为10:1，训练样本数量为20000，测试样本数量为2000。对每个对比样本加入了多种模糊数据增广效果，颜色三通道变换效果等不同数据扩充模式，有利于提高训练效果，改善预测精度。如图2所示。具体地，第一行分别为(1)清晰图像(2)添加了随机标准偏差的模糊图像(3)改变模糊内核大小而产生的图像；第二行分别为，(4)包含随机抖动的模糊图像(5)更改模糊抖动长度而得到的模糊图像以及(6)含有运动模糊的图像。步骤二：构建多路径精化融合神经网络模型。所述的多路径精化融合神经网络模型，包括模糊特征提取子网络、多路径特征传递子网络、特征融合精化子网络和特征精细融合子网络，所述的多路径精化融合神经网络模型的输入为模糊图像数据集，通过多尺度特征图的精化融合，对不同尺寸上的特征图进行去除模糊，在轻量化和残差链接网络的优化下得到清晰的图片，输出为预测结果和偏差损失；多路径精化融合神经网络模型总体结构如图3所示。从上到下看，输入模糊图像分别通过卷积运算生成不同尺寸的图像。实线表示从不同尺寸图像中提取要素的路径。虚线表示迭代精化的特征提取路径。然后，多路径精化融合模块将循环的最后一轮结果(虚线)和上采样特征图(点划线)融合为一个优化过程。总共四个细化路径最终在比例细化损失函数中计算损失，然后获得最佳的去模糊结果。模型中具体的模块构成可以参见图4：(a)融合单元(b)改进的残差链接池化模块(c)残差链接单元的轻量级本文档来自技高网...

【技术保护点】
1.基于多路径精化融合神经网络的图片去除模糊方法，其特征在于：包括以下步骤：/n步骤一，构建数据集，包括训练集和测试集，训练集由模糊图像和清晰图像数据集对构成，测试集包括模糊图像集；/n步骤二，构建多路径精化融合神经网络模型，包括模糊特征提取子网络、多路径特征传递子网络、特征融合精化子网络和特征精细融合子网络，所述的多路径精化融合神经网络模型的输入为模糊图像数据集，通过多尺度特征图的精化融合，对不同尺寸上的特征图进行去除模糊，在轻量化和残差链接网络的优化下得到清晰的图片，输出为预测结果和偏差损失；/n步骤三，利用步骤一中的训练集对所述的多路径精化融合神经网络模型进行训练，得到训练完成的多路径精化融合神经网络模型；/n步骤四，利用训练完成的多路径精化融合神经网络模型，对含有模糊图像集的测试集进行处理，得到清晰精度更高的图片处理结果。/n

【技术特征摘要】
1.基于多路径精化融合神经网络的图片去除模糊方法，其特征在于：包括以下步骤：
步骤一，构建数据集，包括训练集和测试集，训练集由模糊图像和清晰图像数据集对构成，测试集包括模糊图像集；
步骤二，构建多路径精化融合神经网络模型，包括模糊特征提取子网络、多路径特征传递子网络、特征融合精化子网络和特征精细融合子网络，所述的多路径精化融合神经网络模型的输入为模糊图像数据集，通过多尺度特征图的精化融合，对不同尺寸上的特征图进行去除模糊，在轻量化和残差链接网络的优化下得到清晰的图片，输出为预测结果和偏差损失；
步骤三，利用步骤一中的训练集对所述的多路径精化融合神经网络模型进行训练，得到训练完成的多路径精化融合神经网络模型；
步骤四，利用训练完成的多路径精化融合神经网络模型，对含有模糊图像集的测试集进行处理，得到清晰精度更高的图片处理结果。


2.根据权利要求1所述的基于多路径精化融合神经网络的图片去除模糊方法，其特征在于：步骤二中所述的模糊特征提取子网络用于提取模糊清晰图像对比特征，其输入为不同种类模糊图像，输出为模糊图像特征；所述的多路径特征传递子网络用于将单一的图像特征逐层改变尺寸，分支出多个路径用于后续的多尺度特征传递；所述的特征融合精化子网络用于将多尺寸图像提取到的特征进行融合；所述的特征精细融合子网络用于对图像的特征进行远程残差链接和轻量化处理，从而得到更加精细的恢复结果；所述的模糊图像和清晰图像数据集对的尺寸为H×W×2，单张图像边界尺寸为H×W，其中H和W分别表示图像的高和宽，所述...

【专利技术属性】
技术研发人员：张智超，李卫丽，尹晓晴，邓劲生，喻庭昌，严少洁，陈怡，王苏和，徐浩，陈晖，
申请(专利权)人：中国人民解放军国防科技大学，
类型：发明
国别省市：湖南;43