基于Conv-LSTM多尺度特征融合的模糊检测方法技术

本发明专利技术公开了一种基于Conv‑LSTM多尺度特征融合的模糊检测方法，包括：构建由多尺度的卷积网络、Conv‑LSTM子网络构成的网络基本架构，所述卷积网络用于提取不同尺度下的图像特征，所述子网络用于特征融合和改善；对不同尺度下的卷积网络提取的特征用双线性插值和卷积的方式进行融合和降维；利用Conv‑LSTM的序列性质，对检测结果和深度特征进行改善；对Conv‑LSTM子网络的五个Conv‑LSTM层的输出计算损失，最终损失函数值为5个层的损失函数值之和。本发明专利技术采用双线性插值加卷积的方式对不同尺度的特征进行融合，用Conv‑LSTM网络模型对模糊检测结果进行改善，并融合了图像低级特征和高级的语义信息，用多层损失函数训练网络。

【技术实现步骤摘要】
基于Conv-LSTM多尺度特征融合的模糊检测方法
本专利技术涉及模糊检测领域，尤其涉及一种基于Conv-LSTM(卷积长短时记忆神经网络)多尺度特征融合的模糊检测方法。
技术介绍
模糊检测不仅区分图像模糊和清晰区域，还研究图像模糊中包含的深层信息。应用包括模糊放大、图像去模糊、景深估计和图像质量评估。通常，模糊图像相对于清晰图像来说图像梯度更小；且清晰图像包含更多的高频成分，而模糊图像的高频成分少，频域分布相对集中。传统的模糊检测方法基于此类手工特征，来提取模糊图像中的信息。主要方法包括：利用离散余弦变换(DCT)，将图像从空间域转换到频域，利用模糊图像块和清晰图像块之间的频率差异作为模糊检测的特征。一些方法利用图像边缘提取算子(例如：Sobel)，提取图像的梯度信息作为模糊检测的特征。还有一类利用奇异值(SVD)分解提取特征的模糊检测方法。其中原理为，保留图像细节需要更多的非零奇异值，也就是说清晰图像比模糊图像包含更多的非零奇异值。以上方法在处理图像均值区域和面对图像噪声时效果较差，且不包含图像当中的高级语义信息。最近随着深度学习的发展，卷积神经网络被广泛应用到图像检测领域。深度学习的方法利用神经网络提取图像的特征，并对输入图像和标签进行端到端的学习，能够有效解决传统手工特征无法提取语义信息以及面对图像均值区域检测效果差等问题。Zhao[1]等人提出了一个Multi-StreamBottom-top-Bottom的网络(BTBNet)来解决图像均值区域检测效果差的问题，并且有强的抗图像背景杂波能力。Tang[2]等人提出了一个多尺度深度特征融合和改善的模型，名为DeFusionNET，解决图像低级特征和高级语义信息的融合问题，并使用层交叉的方式对检测结果进行改善。现有的深度学习方法在面对图像均值区域时，性能表现依然很好，且具有很强的鲁棒性。但大多数方法都是基于一个交叉的复杂网络结构来对模糊检测结果进行改善，保留了无用特征，性能达不到最优。参考文献[1]W.Zhao,F.Zhao,D.Wang,andH.Lu,“Defocusblurdetectionviamultistreambottom-top-bottomfullyconvolutionalnetwork,”inProc.IEEEConf.Comput.Vis.PatternRecognit.(CVPR),2018:3080–3088.[2]C.Tang,X.Zhu,X.Liu,andL.Wang,“DeFusionNET:DefocusBlurDetectionviaRecurrentlyFusingandRefiningMulti-scaleDeepFeatures,”inProc.IEEEConf.Comput.Vis.PatternRecognit.(CVPR),2019:2700-2709.
技术实现思路
本专利技术提供了一种基于Conv-LSTM多尺度特征融合的模糊检测方法，本专利技术采用双线性插值加卷积的方式对不同尺度的特征进行融合，用Conv-LSTM网络模型对模糊检测结果进行改善，并融合了图像低级特征和高级的语义信息，用多层损失函数训练网络，详见下文描述：一种基于Conv-LSTM多尺度特征融合的模糊检测方法，所述方法包括：构建由多尺度的卷积网络、Conv-LSTM子网络构成的网络基本架构，所述卷积网络用于提取不同尺度下的图像特征，所述子网络用于特征融合和改善；对不同尺度下的卷积网络提取的特征用双线性插值和卷积的方式进行融合和降维；利用Conv-LSTM的序列性质，对检测结果和深度特征进行改善；对Conv-LSTM子网络的五个Conv-LSTM层的输出计算损失，最终损失函数值为5个层的损失函数值之和。其中，所述Conv-LSTM子网络由5个Conv-LSTM层组成，分别与多尺度卷积网络5个Conv模块对应；Conv-LSTM层接收对应的多尺度融合特征和上一个Conv-LSTM模块的输出作为输入。进一步地，所述对不同尺度下的卷积网络的特征用双线性插值和卷积的方式进行融合和降维，具体为：根据输入图片大小将卷积网络分为三个尺度，尺度从大到小分别为：原始输入图片大小、原始输入图片大小0.8倍、原始输入图片大小的0.6倍；对三个尺度卷积网络Conv模块输出的深度特征分别进行卷积，使用1*1*64的卷积核，对深度特征进行降维；再对两个小尺度卷积网络提取的深度特征进行双线性插值上采样，然后将它们与最大尺度卷积网络提取的深度特征联合，得到联合特征；最后使用3*3*64的卷积核和对联合特征进行卷积操作，实现不同尺度的深度特征融合和通道降维，得到Conv模块的多尺度融合特征。其中，所述方法还包括：使用高斯模糊处理的图片进行预训练，训练时的数据增强方法包括：水平、垂直和水平垂直翻转；以图片中心随机旋转若干个角度。进一步地，所述方法还包括：以Tensorflow为后端的Keras深度学习框架，先使用预训练数据训练网络基本架构，预训练之前，每个尺度的卷积网络，都加载其在ImageNet上训练的权重；再使用增强后的数据训练网络，可在相应的数据集上得到一个训练好的网络模型；使用该网络模型，输入模糊图像，模型输出模糊检测结果，流程结束。本专利技术提供的技术方案的有益效果是：1、本方法创新性的利用Conv-LSTM的序列性质，联合图像特征和模糊特征作为Conv-LSTM的输入，对多尺度特征和模糊检测结果进行改善，实验结果表明，本方法性能表现优于目前的深度学习方法；2、本专利技术采用多尺度卷积神经网络结合Conv-LSTM改善检测结果进行模糊检测，在基准数据集上展示了优异的性能；3、本专利技术对经过卷积降维后的多尺度特征，使用双线性插值加卷积的方式进行特征融合，利用不同尺度的特征，充分考虑了模糊的尺度敏感性。附图说明图1为本专利技术提出的网络结构示意图；图2为本专利技术提出方法和其他方法在公共数据集CHUK上的检测结果示意图；图3为本专利技术提出方法和其他方法在公共数据集DUT上的检测结果示意图。具体实施方式为使本专利技术的目的、技术方案和优点更加清楚，下面对本专利技术实施方式作进一步地详细描述。实施例1一种基于Conv-LSTM多尺度特征融合的模糊检测方法，参见图1，该方法包括以下步骤：一、网络基本架构参见图1，本专利技术实施例中的网络基本架构主要分为两个子网络。一个是多尺度的卷积网络用于特征提取(图1左边三列)，另一个是特征融合和改善网络即Conv-LSTM子网络(图1右边一列)。其中，三个尺度的卷积网络(即多尺度的卷积网络)基本结构和VGG16网络结构相同(其中，VGG16网络结构主要包括：5个卷积层模块Conv1-Conv5、和两个全连层模块FC6、FC7，该VGG16网络结构为本领域技术人员所公知，本专利技术实施例本文档来自技高网...

【技术保护点】
1.一种基于Conv-LSTM多尺度特征融合的模糊检测方法，其特征在于，所述方法包括：/n构建由多尺度的卷积网络、Conv-LSTM子网络构成的网络基本架构，所述卷积网络用于提取不同尺度下的图像特征，所述子网络用于特征融合和改善；/n对不同尺度下的卷积网络提取的特征用双线性插值和卷积的方式进行融合和降维；/n利用Conv-LSTM的序列性质，对检测结果和深度特征进行改善；/n对Conv-LSTM子网络的五个Conv-LSTM层的输出计算损失，最终损失函数值为5个层的损失函数值之和。/n

【技术特征摘要】
1.一种基于Conv-LSTM多尺度特征融合的模糊检测方法，其特征在于，所述方法包括：
构建由多尺度的卷积网络、Conv-LSTM子网络构成的网络基本架构，所述卷积网络用于提取不同尺度下的图像特征，所述子网络用于特征融合和改善；
对不同尺度下的卷积网络提取的特征用双线性插值和卷积的方式进行融合和降维；
利用Conv-LSTM的序列性质，对检测结果和深度特征进行改善；
对Conv-LSTM子网络的五个Conv-LSTM层的输出计算损失，最终损失函数值为5个层的损失函数值之和。


2.根据权利要求1所述的一种基于Conv-LSTM多尺度特征融合的模糊检测方法，其特征在于，
所述Conv-LSTM子网络由5个Conv-LSTM层组成，分别与多尺度卷积网络5个Conv模块对应；Conv-LSTM层接收对应的多尺度融合特征和上一个Conv-LSTM模块的输出作为输入。


3.根据权利要求1所述的一种基于Conv-LSTM多尺度特征融合的模糊检测方法，其特征在于，所述对不同尺度下的卷积网络的特征用双线性插值和卷积的方式进行融合和降维，具体为：
根据输入图片大小将卷积网络分为三个尺度，尺度从大到小分别为：原始输入图片大小、原始输入图片...

【专利技术属性】
技术研发人员：黄睿，邢艳，叶何斌，
申请(专利权)人：中国民航大学，
类型：发明
国别省市：天津;12