一种基于卷积神经网络的多焦点图像融合方法技术

本发明专利技术涉及一种基于卷积神经网络的多焦点图像融合方法，包括：构建原始焦点探测卷积神经网络；对原始焦点探测卷积神经网络进行训练，得到训练后的焦点探测卷积神经网络；根据训练后的焦点探测卷积神经网络和预处理图像，获取焦点分布图像；将所述焦点分布图和所述预处理图像进行融合，获得融合图像。本发明专利技术提供的一种基于卷积神经网络的多焦点图像融合方法采用了端到端卷积神经网络直接生成焦点分布图，大大提升了生成焦点分布图的速度，实时性能更强，直接使用焦点分布图对源图像进行加权平均求和处理，没有引入额外的人为干预措施，避免了融合结果图出现人为缺陷。

A Multi-focus Image Fusion Method Based on Convolutional Neural Network

The present invention relates to a multi-focus image fusion method based on convolution neural network, which includes: constructing the original focus detection convolution neural network; training the original focus detection convolution neural network to obtain the trained focus detection convolution neural network; acquiring the focus distribution image according to the trained focus detection convolution neural network and preprocessed image; and training the original focus detection convolution neural network to obtain the focus distribution image. The distribution map and the preprocessed image are fused to obtain the fused image. The method of multi-focus image fusion based on convolution neural network adopts end-to-end convolution neural network to directly generate focus distribution map, which greatly improves the speed of generating focus distribution map and has better real-time performance. The method directly uses focus distribution map to weighted average sum the source image, without introducing additional human intervention measures, and avoids the fusion result. The figure shows artificial defects.

【技术实现步骤摘要】
一种基于卷积神经网络的多焦点图像融合方法
本专利技术属于数字图像处理领域，具体涉及一种基于卷积神经网络的多焦点图像融合方法。
技术介绍
人们在摄影或摄像时，很难使用成像设备在单张照片中获得不同焦点距离的摄影物体。一般情况下，只有在光学镜头焦点位置附近的物体可以在照片中清晰地显示，而其他物体可能会模糊不清。为了使照片中的物体全部清晰显示，通常会通过融合同一场景在不同焦距设置下拍摄的照片，从而获得全焦点图像，这种方法被称为多焦点图像融合。目前，传统的多焦点图像融合算法包含空间域方法和变换域方法。不管空间域方法还是变换域方法，活跃度测量和融合规则都是多焦点图像融合的两大重要因素。在传统的多焦点图像融合算法中，活跃度测量和融合规则都是通过人为精心设计的。虽然融合效果在不断改善，但是可以预见的是人为设计很难考虑到所有影响因素。而且，随着融合方法的不断改进，人为设计的活跃度测量方法和融合规则变得越来越复杂，不利于实际应用。2016年，YuLiu等人首次将卷积神经网络引入到多焦点图像融合中，一定程度上解决了上述人为设计遇到的困境，并取得了较好的融合效果。但是，YuLiu等人提出的方法计算复杂度较高，即使使用GPU加速，获得了较快的处理速度，但还有进一步改进的空间。此外，该方法在后处理过程中可能会引入人为缺陷，影响最终融合效果。
技术实现思路
为了解决现有技术中存在的上述问题，本专利技术提供了一种基于卷积神经网络的多焦点图像融合方法。本专利技术要解决的技术问题通过以下技术方案实现：本专利技术实施例提供了一种基于卷积神经网络的多焦点图像融合方法，包括：构建原始焦点探测卷积神经网络；对所述原始焦点探测卷积神经网络进行训练，得到训练后的焦点探测卷积神经网络；根据所述训练后的焦点探测卷积神经网络和预处理图像，获取焦点分布图像；将所述焦点分布图和所述预处理图像进行融合，获得融合图像。在本专利技术的一个实施例中，所述原始焦点探测卷积神经网络，包括：第一卷积层、第一激活层、第二卷积层、第二激活层、第三卷积层、第三激活层、第四卷积层和第四激活层；其中，所述第一卷积层、所述第一激活层、所述第二卷积层、所述第二激活层、所述第三卷积层、所述第三激活层、所述第四卷积层和所述第四激活层依次连接。在本专利技术的一个实施例中，对所述原始焦点探测卷积神经网络进行训练，得到训练后的焦点探测卷积神经网络，包括：创建预设训练集；通过优化器和所述预设训练集对所述原始焦点探测卷积神经网络进行训练，得到训练后的焦点探测卷积神经网络。在本专利技术的一个实施例中，创建预设训练集，包括：对训练集进行处理，获取原始素材图像集；其中，所述原始素材图像集包括多张原始素材图像；根据所述原始素材图像集生成预设训练集；其中，所述预设训练集包括多个训练样本。在本专利技术的一个实施例中，所述训练集为ImageNet数据集。在本专利技术的一个实施例中，根据所述原始素材图像集生成预设训练集，包括，通过所述原始素材图像获取第一图像和第二图像；获取参考焦点分布图像；对所述第一图像进行归一化处理，并通过计算获取第三图像；对所述第二图像进行归一化处理，并通过计算获取第四图像；通过所述第三图像、所述第四图像和所述参考焦点分布图像，获取训练样本；根据所述训练样本，获取到所述预设训练集。在本专利技术的一个实施例中，通过所述原始素材图像获取第一图像和第二图像，包括：对所述原始素材图像的预设区域进行复制，获取区域图像；通过高斯卷积核对所述区域图像进行卷积，获取区域卷积图像；通过所述高斯卷积核对所述原始素材图像进行卷积，获取原始素材卷积图像；利用所述区域卷积图像替换所述原始素材图像的所述预设区域，获取所述第一图像；利用所述区域图像替换所述原始素材卷积图像的所述预设区域，获取所述第二图像。在本专利技术的一个实施例中，所述高斯卷积核的计算公式为：其中，x为所述高斯卷积核中的二维坐标，xc为所述高斯卷积核的中心二维坐标，K(x)为所述高斯卷积核在二维坐标x处的值，σ为所述高斯卷积核函数宽度参数。在本专利技术的一个实施例中，根据所述训练后的焦点探测卷积神经网络和预处理图像，获取焦点分布图像，包括：获取所述预处理图像；其中，所述预处理图像包括第一源图像和第二源图像；分别对所述第一源图像和所述第二源图像进行预处理，获取对应的第五图像和第六图像；将所述第五图像和所述第六图像输入所述训练后的焦点探测卷积神经网络，得到所述焦点分布图像。在本专利技术的一个实施例中，将所述焦点分布图和所述预处理图像进行融合具体为：F＝A·M+B·(1-M)其中，F为所述融合图像，A为所述第一源图像，B为所述第二源图像，M为所述焦点分布图像。与现有技术相比，本专利技术的有益效果：(1)本专利技术提供的一种基于卷积神经网络的多焦点图像融合方法采用了端到端卷积神经网络直接生成焦点分布图，大大提升了生成焦点分布图的速度，实时性能更强；(2)本专利技术提供的一种基于卷积神经网络的多焦点图像融合方法直接使用焦点分布图对源图像进行加权平均求和处理，没有引入额外的人为干预措施，避免了融合结果图出现人为缺陷。附图说明图1为本专利技术提供的一种基于卷积神经网络的多焦点图像融合方法的流程示意图；图2为本专利技术提供的一种基于卷积神经网络的多焦点图像融合方法的卷积结构示意图；图3为本专利技术提供的一种基于卷积神经网络的多焦点图像融合方法的的第一源图像；图4为本专利技术提供的一种基于卷积神经网络的多焦点图像融合方法的的第二源图像；图5为本专利技术提供的一种基于卷积神经网络的多焦点图像融合方法的的融合图像。具体实施方式下面结合具体实施例对本专利技术做进一步详细的描述，但本专利技术的实施方式不限于此。实施例一请参见图1至图5，图1为本专利技术提供的一种基于卷积神经网络的多焦点图像融合方法的流程示意图；图2为本专利技术提供的一种基于卷积神经网络的多焦点图像融合方法的卷积结构示意图；图3为本专利技术提供的一种基于卷积神经网络的多焦点图像融合方法的的第一源图像；图4为本专利技术提供的一种基于卷积神经网络的多焦点图像融合方法的的第二源图像；图5为本专利技术提供的一种基于卷积神经网络的多焦点图像融合方法的的融合图像。如图1所示，一种基于卷积神经网络的多焦点图像融合方法，包括：构建原始焦点探测卷积神经网络；对原始焦点探测卷积神经网络进行训练，得到训练后的焦点探测卷积神经网络；根据训练后的焦点探测卷积神经网络和预处理图像，获取焦点分布图像；根据焦点分布图和预处理图像获得融合图像。进一步地，如图2所示，原始焦点探测卷积神经网络，包括：第一卷积层、第一激活层、第二卷积层、第二激活层、第三卷积层、第三激活层、第四卷积层和第四激活层；其中，第一卷积层、第一激活层、第二卷积层、第二激活层、第三卷积层、第三激活层、第四卷积层和第四激活层依次连接。具体地，第一卷积层的卷积核大小为3×3，输出通道数为32。设第一卷积层的输出为T1，则T1的数学表达式如下：T1＝max(0,X*K1+B1)其中，K1表示第一卷积层的卷积核，且K1是一个2×3×3×32的四维卷积核；B1是偏置，是一个32×1的列向量；*表示卷积操作；max表示取最大值函数；第一层的输出T1是一个m×n×32的三维矩阵；具体地，第一激活层为修正线性单元激活层，即ReLU(RectifiedLinearUnit，简称ReLU)激活层，即利用本文档来自技高网...

【技术保护点】
1.一种基于卷积神经网络的多焦点图像融合方法，其特征在于，包括：构建原始焦点探测卷积神经网络；对所述原始焦点探测卷积神经网络进行训练，得到训练后的焦点探测卷积神经网络；根据所述训练后的焦点探测卷积神经网络和预处理图像，获取焦点分布图像；将所述焦点分布图和所述预处理图像进行融合，获得融合图像。

【技术特征摘要】
1.一种基于卷积神经网络的多焦点图像融合方法，其特征在于，包括：构建原始焦点探测卷积神经网络；对所述原始焦点探测卷积神经网络进行训练，得到训练后的焦点探测卷积神经网络；根据所述训练后的焦点探测卷积神经网络和预处理图像，获取焦点分布图像；将所述焦点分布图和所述预处理图像进行融合，获得融合图像。2.根据权利要求1所述的多焦点图像融合方法，其特征在于，所述原始焦点探测卷积神经网络，包括：第一卷积层、第一激活层、第二卷积层、第二激活层、第三卷积层、第三激活层、第四卷积层和第四激活层；其中，所述第一卷积层、所述第一激活层、所述第二卷积层、所述第二激活层、所述第三卷积层、所述第三激活层、所述第四卷积层和所述第四激活层依次连接。3.根据权利要求1所述的多焦点图像融合方法，其特征在于，对所述原始焦点探测卷积神经网络进行训练，得到训练后的焦点探测卷积神经网络，包括：创建预设训练集；通过优化器和所述预设训练集对所述原始焦点探测卷积神经网络进行训练，得到训练后的焦点探测卷积神经网络。4.根据权利要求3所述的多焦点图像融合方法，其特征在于，创建预设训练集，包括：对训练集进行处理，获取原始素材图像集；其中，所述原始素材图像集包括多张原始素材图像；根据所述原始素材图像集生成预设训练集；其中，所述预设训练集包括多个训练样本。5.根据权利要求4所述的多焦点图像融合方法，其特征在于，所述训练集为ImageNet数据集。6.根据权利要求4所述的多焦点图像融合方法，其特征在于，根据所述原始素材图像集生成预设训练集，包括，通过所述原始素材图像获取第一图像和第二图像；获取参考焦点分布图像；对所述第一图像进行归一化处理，并通过计算获取第...

【专利技术属性】
技术研发人员：赖睿，李永薛，李跃进，官俊涛，徐昆然，李奕诗，王东，
申请(专利权)人：西安电子科技大学，
类型：发明
国别省市：陕西,61