基于交互对抗学习的全聚焦图像生成方法技术

本发明专利技术属于图像信息处理技术领域，提供了一种基于交互对抗学习的全聚焦图像生成方法。本发明专利技术的全聚焦图像生成方法利用了交互对抗学习的方式，首先利用了非聚焦模糊检测任务与边缘检测任务的互补关系，更好地定位聚焦到非聚焦过渡区域的边界和检测纹理信息较少的同质区域；其次，目前常见的方法大多需要成对的非聚焦图像及其对应的全聚焦真值图像，而这种成对的图像难以获得。而本发明专利技术的方法不存在这个问题，仅利用不成对的全聚焦图像作参考，便可以实现具有全局一致性的、自然的全聚焦图像生成网络。生成网络。生成网络。

【技术实现步骤摘要】
基于交互对抗学习的全聚焦图像生成方法


[0001]本专利技术属于图像信息处理
，特别是涉及全聚焦图像生成的方法。

技术介绍

[0002]目前，与本专利相关的方法包括两方面：第一是非聚焦模糊检测算法；第二是基于生成对抗的图像生成算法。
[0003]非聚焦模糊检测方法主要分为两类：基于人工设计的传统方法，这种大多通过人工设计提取特征的方式，通常会利用图像梯度、频率及其他特征来构造检测器，完成非聚焦模糊区域检测。Golestaneh等人在文献《Spatially
‑
varying blur detection based on multiscale fused and sorted transform coefficients of gradient magnitudes》中提出基于高频多尺度融合和梯度大小排序变换的空间变化模糊检测方法，在每个像素处进行局部计算，确定模糊水平，通过人工设计特征提取的方式，设定参数搭建模型，因此模型复杂度较低，但也存在难以提取深层特征、鲁棒性较差的问题；基于卷积神经网络的深度学习方法，在这些方法中，大多以源图像作为输入，以非聚焦区域检测真值作为监督，使用多尺度或者多级特征融合等信息获取最终的检测结果图。Park等人在文献《A unified approach of multi
‑
scale deep and hand
‑
crafted features for defocus detection》中将基于人工设计提取的特征与卷积神经网络提取的特征进行了结合，在图像块级别上检测非聚焦模糊，其中卷积神经网络用于从图像块中提取高维特征，所有特征级联后用于构建非聚焦模糊特征向量，并输入到全连接的神经网络分类器中来确定非聚焦模糊程度。相比较传统检测方法而言，深度学习的方法能够利用卷积神经网络提取更深层次的特征，从而提高非聚焦模糊区域的检测效果。
[0004]基于生成对抗的图像生成算法大多通过生成对抗网络来完成图像风格的转换。Christian等人在文献《Photo
‑
realistic single image super
‑
resolution using agenerative adversarialnetwork》中提出了一种用于图像超分辨率重建的生成对抗网络，通过鉴别器的对抗损失来使生成结果更加接近自然图像，通过内容损失来注重于视觉上的相似性而不是在像素空间上的相似性，从而提升图像生成算法的效果。
[0005]将生成过程分为两个阶段：对非聚焦模糊图进行估计；利用生成对抗网络生成全聚焦图像。主要思想是使用一个对抗损失与参考图像，迫使生成的图像是高质量的。这提供了一种利用生成对抗网络来克服成对图像依赖性的潜在解决方案。
[0006]针对非聚焦模糊检测阶段，定位聚焦到非聚焦过渡区域的边界和检测纹理信息较少的同质区域仍旧是两个具有挑战性的问题。对于全聚焦图像生成阶段，最大的难题是获取成对的聚焦与非聚焦图像，因此，如何利用不成对的聚焦与非聚焦图像来完成该任务是当前研究的焦点。

技术实现思路

[0007]针对非聚焦过渡区域边界定位问题和纹理信息较少的同质区域检测问题，提出了
一种基于交互对抗的全聚焦图像生成方法。它可以适用于多样、复杂的非聚焦模糊场景，均可以得到较好的全聚焦图像。它通过镂空
‑
填充的交互学习，优化检测结果中聚焦到非聚焦过渡区域的边界，减少同质区域的黑洞噪声，从而得到准确的非聚焦模糊检测图，进行后续全聚焦图像生成。
[0008]本专利技术的技术方案：
[0009]一种全聚焦图像生成方法，步骤如下：
[0010]分为非聚焦模糊检测和全聚焦图像生成两个阶段，其中非聚焦模糊检测采用镂空
‑
填充交互学习的方式，改善模糊检测任务中聚焦到非聚焦过渡区域的边界检测，减少了聚焦区域中的黑洞噪声；全图像非聚焦区域检测是获得较好的全聚焦图像的前提，而不准确的检测结果会导致去模糊后的图像一致性差，利用这一特点，聚焦图像生成采用对抗学习的方式，将图像中检测到的非聚焦区域送入生成器做去模糊处理，再与聚焦区域进行组合，利用对抗学习与全聚焦图像尽可能的接近，这样在得到自然的全聚焦图像的同时，也约束了非聚焦模糊检测得到更加准确的检测结果。
[0011]在非聚焦模糊检测阶段，采用VGG16的前13层作为编码器，以双线性上采样结合卷积层作为解码器,从而构造基础网络来提取非聚焦特征，从而生成非聚焦模糊检测图；
[0012]E1
‑
E5这5个卷积块和VGG16的前13层结构相同，由卷积层和池化层组成，是网络的特征编码器。E1的输入是一幅3
×
320
×
320的三通道RGB图像，E5的输出是512
×
20
×
20的特征。随后是D1
‑
D4这4个解码块，每个解码块都是由两层卷积和双线性上采样层组成。对每个解码块的输出特征进行1
×
1的卷积降维和Sigmoid归一化，获得边缘或者区域检测结果再进行监督。考虑到区域监测的单任务中，网络提取的特征是偏区域的，边缘检测的任务中，网络提取的特征是偏边缘的。因此采用双支路交互的方式，交互方式如公式(1
‑
1)所示，在两个支路网络中同时进行区域和边缘这两个任务，在中间过程进行双任务特征的镂空
‑
填充交互，并在每一条支路的解码器中依次顺序重复镂空和填充的过程,对区域特征进行镂空能指导边缘特征的自身优化，对边缘特征进行填充有助于区域特征减少噪声。在各个阶段辅以监督，更新整体网络参数，从而提高网络提取特征的能力，提升非聚焦检测效果。
[0013][0014]其中，D
i_E
和D
i_R
表示第i个边缘和区域的解码块，X表示解码块的输入特征，Y表示编码块的输出特征，表示特征图拼接，每一个检测结果都对应边缘或区域的监督。
[0015]得到模糊检测图后，进入全聚焦图像生成阶段，以12个卷积层作为生成器，以7个卷积层结合全局平均池化作为鉴别器，从而构造生成对抗网络来生成全聚焦图像，生成过程如公式(1
‑
2)所示。
[0016][0017]其中，表示第i个区域解码块所输出的非聚焦模糊检测图像，G
i
(
·
)表示第i个全聚焦图像生成器，I
i
表示其输出的全聚焦图像。
[0018]在网络训练阶段，为减小输出异常值的影响，非聚焦模糊区域检测结果使用的是均方差(MSE)损失函数：
[0019][0020]其中，g
dk
表示非聚焦模糊检测图中第k个像素对应的真值,y
dk
表示其预测值,N表示图像中像素总个数。
[0021]非聚焦模糊边缘检测结果使用的是二分类交叉熵(BCE)损失函数：
[本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于交互对抗学习的全聚焦图像生成方法，其特征在于，步骤如下：该基于交互对抗学习的全聚焦图像生成方法分为非聚焦模糊检测和全聚焦图像生成两个阶段；第一阶段，非聚焦模糊检测采用镂空
‑
填充交互学习的方式在非聚焦模糊检测阶段，采用VGG16的前13层作为编码器，以双线性上采样结合卷积层作为解码器，构造基础网络来提取非聚焦特征，从而生成非聚焦模糊检测图；E1
‑
E5这5个卷积块和VGG16的前13层结构相同，由卷积层和池化层组成，是网络的特征编码器；E1的输入是一幅3
×
320
×
320的三通道RGB图像，E5的输出是512
×
20
×
20的特征；D1
‑
D4这4个解码块，每个解码块都是由两层卷积和双线性上采样层组成；对每个解码块的输出特征进行1
×
1的卷积降维和Sigmoid归一化，获得边缘或区域检测结果再进行监督；考虑到区域监测的单任务中，网络提取的特征是偏区域的，边缘检测的任务中，网络提取的特征是偏边缘的；因此采用双支路交互的方式，交互方式如公式(1
‑
1)所示，在两个支路网络中同时进行区域和边缘这两个任务，在中间过程进行双任务特征的镂空
‑
填充交互，并在每一条支路的解码器中依次顺序重复镂空和填充的过程，对区域特征进行镂空能指导边缘特征的自身优化，对边缘特征进行填充有助于区域特征减少噪声；在各个阶段辅以监督，更新整体网络参数，从而提高网络提取特征的能力，提升非聚焦检测效果；其中，D
i_E
和D
i_R
分别表示第i个边缘和区域的解码块，X表示解码块的输入特征，Y表示编码块的输出特征，表示特征图拼接，每一个...

【专利技术属性】
技术研发人员：赵文达，魏菲，徐从安，姚力波，刘瑜，何友，卢湖川，
申请(专利权)人：大连理工大学，
类型：发明
国别省市：