多聚焦图像融合方法、装置、计算机设备和存储介质制造方法及图纸

本发明专利技术公开了一种多聚焦图像融合方法、装置、计算机设备和存储介质，所述方法包括：根据多幅多聚焦源图像得到平均图像；利用增强型线性谱聚类算法对所述平均图像进行超像素分割，根据平均图像超像素的分割结果，求得所述多幅多聚焦源图像在相同位置上超像素组成的超像素组；通过对每组超像素对进行清晰度比较，获取所需的超像素，从而得到初始决策图；利用多图像引导滤波器和形态滤波器对所述初始决策图进行优化，得到最终决策图；根据所述最终决策图融合所述多幅多聚焦源图像，得到融合图像。本发明专利技术提供的方法可有效进行图像的超像素分割，同时获得的融合图像更加自然，具有较强的实用性和广泛的适用性。的实用性和广泛的适用性。的实用性和广泛的适用性。

【技术实现步骤摘要】
多聚焦图像融合方法、装置、计算机设备和存储介质


[0001]本专利技术涉及图像处理
，特别是涉及一种多聚焦图像融合方法、装置、计算机设备和存储介质。

技术介绍

[0002]目前的光学传感器或系统中，景深通常被限制于捕捉得到所有物体都在焦内的图像而实际捕获的图像通常是部分物体在焦内，其他部分却在焦外。为扩大景深，获取更清晰的图像以供进一步分析，图像融合可以将不同聚焦程度的多幅源图像进行融合，生成一幅所有物体都在焦内且清晰的融合图像。近年来，多聚焦图像融合在遥感、生化和医学分析等各个领域得到了广泛的关注。
[0003]多聚焦图像融合方法主要分为两类：基于空间域的融合方法和基于变换域的融合方法。通过从不同源图像中进行逐个像素选择，基于空间域的融合方法对外界噪声较敏感；而基于变化域的融合方法非常高效，常采用多尺度变换如特定轮廓线(specific contourlets)、小波(wavelets)、曲率(curvelets)、剪切波(shearlets)和稀疏表示(sparse representations)来解决多聚焦图像融合问题。除上述方法外，近期还出现了一些基于新技术的方法，例如基于特殊优化框架(special optimization framework)、卷积神经网络(convolutional neural networks)、脉冲耦合神经网络(pulse coupled neural networks)的融合方法等，甚至提出了利用支持向量机和图像拟合得到融合结果。这些方法虽然能得到令人满意的融合结果，但由于是基于像素级水平的融合，所以始终不能很好地保留图像的局部结构特征。

技术实现思路

[0004]为了解决上述现有技术的不足，本专利技术提供了一种多聚焦图像融合方法、装置、计算机设备和存储介质，该方法通过利用增强型线性谱聚类算法对图像进行超像素分割，可有效进行图像的超像素分割；通过在增强型线性谱聚类中嵌入深度信息，提高了图像分割的准确性，使生成的超像素更均匀，获得的融合图像更加自然。该方法具有较强的实用性和广泛的适用性。
[0005]本专利技术的第一个目的在于提供一种多聚焦图像融合方法。
[0006]本专利技术的第二个目的在于提供一种多聚焦图像融合装置。
[0007]本专利技术的第三个目的在于提供一种计算机设备。
[0008]本专利技术的第四个目的在于提供一种存储介质。
[0009]本专利技术的第一个目的可以通过采取如下技术方案达到：
[0010]一种多聚焦图像融合方法，所述方法包括：
[0011]根据多幅多聚焦源图像得到平均图像；
[0012]利用增强型线性谱聚类算法对所述平均图像进行超像素分割，根据平均图像超像素的分割结果，求得所述多幅多聚焦源图像在相同位置上超像素组成的超像素组；
[0013]通过对每组超像素对进行清晰度比较，获取所需的超像素，从而得到初始决策图；
[0014]利用多图像引导滤波器和形态滤波器对所述初始决策图进行优化，得到最终决策图；
[0015]根据所述最终决策图融合所述多幅多聚焦源图像，得到融合图像。
[0016]进一步的，所述利用增强型线性谱聚类算法对所述平均图像进行超像素分割，根据平均图像超像素的分割结果，求得所述多幅多聚焦源图像在相同位置上超像素组成的超像素组，包括：
[0017]使用Canny边缘检测器提取多幅多聚焦源图像中的边缘像素，再计算在边缘位置的离焦模糊度；同时使用SLIC算法对平均图像进行分割，生成超像素，通过计算相邻超像素间的相似度得到关联矩阵；
[0018]将所述离焦模糊度进行中值滤波消除异常值后，与所述关联矩阵相乘，得到平均图像的深度图；
[0019]根据所述深度图，得到平均图像所需的超像素；
[0020]根据平均图像得到的超像素，求得由多幅多聚焦源图像在相同位置上超像素组成的超像素组。
[0021]进一步的，计算在边缘位置的离焦模糊度时得到稀疏深度图，通过使用引导过滤器细化边缘位置中不准确的模糊估计，从而获得更好的稀疏深度图。
[0022]进一步的，所述通过计算相邻超像素间的相似度得到关联矩阵，包括：
[0023]将所有生成的超像素定义为一个集合P＝{p1,p2，
…
，p
N
}，将加权连通图定义为G＝(P,ε,w)，其中p
m
与p
n
分别表示P中任意一个超像素，且m≠n；边集ε表示两个相邻的超像素对，并且每条边e
m,n
∈ε表示超像素p
m
与p
n
的邻接关系；设定w为边缘e
m,n
的权值w
m,n
，权值矩阵W＝[w
m,n
]表示相邻超像素之间的相似性；设定M为N
×
N的关联矩阵，E为对角矩阵，其对角项为权矩阵W的行和，I是一个N
×
N的单位矩阵，δ∈(0,1)为参数，计算相邻超像素之间的相似度的公式为：M＝[(E
‑
δ*W)^(
‑
1)]*I。
[0024]进一步的，所述将所述离焦模糊度进行中值滤波消除异常值后，与所述关联矩阵相乘，得到平均图像的深度图，包括：
[0025]设定F
n
是超像素p
n
中的内边缘像素的集合，计算每个超像素的初始离焦模糊插值Bp
n
的公式为：
[0026]Bp
n
＝median
m∈Fn
{Bm}
[0027]其中，Bm表示第m个边缘像素的离焦模糊插值；
[0028]定义是对关联矩阵M的修改，通过以下操作得到：
[0029]如果超像素的内边缘像素集合Fn为空集，则将矩阵M中的列N设为0；
[0030]将矩阵M中的每个行向量归一化，得到
[0031]根据下式，得到深度图：
[0032][0033]进一步的，所述根据所述深度图，得到平均图像所需的超像素，包括：
[0034]将将深度图中每个像素点映射到特征空间中的12维向量中：
[0035]根据设定的超像素个数，在所述平均图像上以固定的水平和垂直间隔v
x
和v
y
均匀
采样出K个种子像素，并将其作为搜索中心；
[0036]在3
×
3的邻域内，将每个种子移动到种子周围梯度最低的邻域；
[0037]根据N个种子像素的特征向量确定相应簇的初始原型，将小的超像素进行聚类，并迭代更新不同像素的分配和聚类的原型，直到以k
‑
means的方式收敛，得到所需的超像素。
[0038]进一步的，所述多幅多聚焦源图像为两幅多聚焦源图像；
[0039]所述利用多图像引导滤波器和形态滤波器对所述初始决策图进行优化，得到最终决策图，包括：
[0040]根据两幅本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种多聚焦图像融合方法，其特征在于，所述方法包括：根据多幅多聚焦源图像得到平均图像；利用增强型线性谱聚类算法对所述平均图像进行超像素分割，根据平均图像超像素的分割结果，求得所述多幅多聚焦源图像在相同位置上超像素组成的超像素组；通过对每组超像素对进行清晰度比较，获取所需的超像素，从而得到初始决策图；利用多图像引导滤波器和形态滤波器对所述初始决策图进行优化，得到最终决策图；根据所述最终决策图融合所述多幅多聚焦源图像，得到融合图像。2.根据权利要求1所述的多聚焦图像融合方法，其特征在于，所述利用增强型线性谱聚类算法对所述平均图像进行超像素分割，根据平均图像超像素的分割结果，求得所述多幅多聚焦源图像在相同位置上超像素组成的超像素组，包括：使用Canny边缘检测器提取多幅多聚焦源图像中的边缘像素，再计算在边缘位置的离焦模糊度；同时使用SLIC算法对平均图像进行分割，生成超像素，通过计算相邻超像素间的相似度得到关联矩阵；将所述离焦模糊度进行中值滤波消除异常值后，与所述关联矩阵相乘，得到平均图像的深度图；根据所述深度图，得到平均图像所需的超像素；根据平均图像得到的超像素，求得由多幅多聚焦源图像在相同位置上超像素组成的超像素组。3.根据权利要求2所述的多聚焦图像融合方法，其特征在于，计算在边缘位置的离焦模糊度时得到稀疏深度图，通过使用引导过滤器细化边缘位置中不准确的模糊估计，从而获得更好的稀疏深度图。4.根据权利要求2所述的多聚焦图像融合方法，其特征在于，所述通过计算相邻超像素间的相似度得到关联矩阵，包括：将所有生成的超像素定义为一个集合P＝{p1,p2，
…
，p
N
}，将加权连通图定义为G＝(P,ε,w)，其中p
m
与p
n
分别表示P中任意一个超像素，且m≠n；边集ε表示两个相邻的超像素对，并且每条边e
m,n
∈ε表示超像素p
m
与p
n
的邻接关系；设定w为边缘e
m,n
的权值w
m,n
，权值矩阵W＝[w
m,n
]表示相邻超像素之间的相似性；设定M为N
×
N的关联矩阵，E为对角矩阵，其对角项为权矩阵W的行和，I是一个N
×
N的单位矩阵，δ∈(0,1)为参数，计算相邻超像素之间的相似度的公式为：M＝[(E
‑
δ*W)^(
‑
1)]*I。5.根据权利要求4所述的多聚焦图像融合方法，其特征在于，所述将所述离焦模糊度进行中值滤波消除异常值后，与所述关联矩阵相乘，得到平均图像的深度图，包括：设定F
n
是超像素p
n
中的内边缘像素的集合，计算每个超像素的初始离焦模糊插值Bp
n
的公式为：Bp
n
＝median
m∈Fn
{Bm}其中，Bm表示第m个边缘像素的离焦模糊插值；定义是对关联矩阵M的修...

【专利技术属性】
技术研发人员：段俊伟，陈龙，陈俊龙，张诗雨，江娜，
申请(专利权)人：暨南大学，
类型：发明
国别省市：