一种多聚焦图像栈的融合方法及计算机可读存储介质技术

本发明专利技术公开了一种多聚焦图像栈的融合方法及计算机可读存储介质

【技术实现步骤摘要】
一种多聚焦图像栈的融合方法及计算机可读存储介质


[0001]本专利技术涉及图像处理
，具体涉及一种多聚焦图像栈的融合方法及计算机可读存储介质
。

技术介绍

[0002]由于光学镜头的物理限制，只有景深范围内的区域才能清晰成像
。
多焦点图像融合技术可以将具有不同聚焦部分的多幅图像融合成完整清晰的图像
。
因此，图像融合作为一种有效的技术，在各个领域都有着广阔的应用前景
。
在生物医学显微镜中，图像融合技术可以整合来自不同成像层的细胞的
Z
轴信息，这对于生物医学观察至关重要
。
在光学工程领域，它可用于光场照相机
、
水下显微镜等成像结果的后处理
。
在工业领域，它可用于无纺布的结构测量，以及提高印刷电路板显微图像的质量
。
[0003]传统的多焦点图像融合方法可分为两类：变换域方法和空间域方法
。
变换域方法可以通过将原始图像转换到另一个域
(
如频域
)
来实现良好的融合效果，如基于金字塔的方法
、
基于小波的方法
、
非下采样轮廓变换方法和稀疏表示方法
。
基于变换域的图像融合方法容易造成图像对比度改变，导致色差，并且其处理过程比较慢
。
空间域方法侧重于原始图像的像素级操作，简单
、
直观
、
处理速度快，这些方法主要有三类：基于块的方法
、
基于区域的方法和基于像素的方法
。
基于空间域的图像融合方法比较容易受到噪音干扰，导致误融合，其很大程度上依赖于人工设计的图像活动水平测量和融合策略
。
并且，这两种传统的多焦点融合方法在很大程度上依赖于人工设计的图像活动水平测量和融合策略，并且需要丰富的图像处理经验
。

技术实现思路

[0004]本专利技术的目的是针对现有技术存在的不足，提供一种多聚焦图像栈的融合方法及计算机可读存储介质
。
[0005]为实现上述目的，在第一方面，本专利技术提供了一种多聚焦图像栈的融合方法，包括：
[0006]步骤
1、
获取输入的多聚焦图像栈
I
中不同图层图像的高维特征并生成高维特征图，逐一计算每一图层图像的所有高维特征图的像素级平均空间频率梯度矩阵，图层为
i
的图像的像素级平均空间频率梯度矩阵
φ
i
表示为：
[0007][0008]其中，为第
i
层图像的第
c
个高维特征矩阵，
[0009][0010]其中，
m
为图层为
i
的图像的行宽，
n
为图层为
i
的图像的列宽，
SF
i
为图层为
i
的图像的像素级空间频率，
(x
，
y)
为坐标索引，
x
的取值范围为
[0,m
‑
1]，
y
的取值范围为
[0,n
‑
1]；
[0011]步骤
2、
计算输入的多聚焦图像栈
I
各图像中具有相同坐标的像素的高维空间频率梯度响应，并生成决策矩阵，所述决策矩阵上每个元素的序号对应在输入的多聚焦图像栈
I
中的图层索引位置，所述决策矩阵表示为：
[0012][0013]其中，
Φ
ini
为决策矩阵，
[0014][0015]其中，为决策矩阵
Φ
ini
上坐标为
(x
，
y)
的元素，
max{.}
为取最大值函数，
N
为多聚焦图像栈中的图层数，
i
的取值范围为
[0,N
‑
1]；
[0016]步骤
3、
基于所述决策矩阵生成最终的融合图像，具体如下：
[0017][0018]其中，
O
fusion
为生成的融合图像，
I(i)
(x
，
y)
为输入的多聚焦图像堆栈
I
的图层为
i
的图像中坐标为
(x
，
y)
的像素值
。
[0019]进一步的，所述高维特征基于无监督学习训练完成的编码器获取，所述编码器在训练阶段通过引入解码器和损失函数进行训练，所述解码器用以根据编码器输出的高维特征输出重建图像栈
O。
[0020]进一步的，所述损失函数表示为：
[0021][0022]其中，
L
i
为输入的多聚焦图像栈
I
与解码器输出的重建图像栈
O
中图层为
i
的图像的损失函数，为输入的多聚焦图像栈
I
与解码器输出的重建图像栈
O
中图层为
i
的图像的均方误差，为输入的多聚焦图像栈
I
与解码器输出的重建图像栈
O
中图层为
i
的
图像的结构相似性损失，为输入的多聚焦图像栈
I
与解码器输出的重建图像栈
O
中图层为
i
的图像的梯度损失，为输入的多聚焦图像栈
I
与解码器输出的重建图像栈
O
中图层为
i
的图像的空间频率损失，
λ
、
η
、
α
、
β
均为权重系数，且
λ
、
η
、
α
、
β
的和为
1。
[0023]进一步的，所述输入的多聚焦图像栈
I
与解码器输出的重建图像栈
O
中图层为
i
的图像的均方误差的计算方式如下：
[0024][0025]其中，
O(i)
(x
，
y)
为解码器输出的重建图像栈
O
中图层为
i
的的图像坐标为
(x
，
y)
的像素值
。
[0026]进一步的，所述输入的多聚焦图像栈
I
与解码器输出的重建图像栈
O
中图层为
i
的图像的结构相似性损失的计算方式如下：
[0027][0028]其中，
SSIM(O(i)
，
I(i))
为输入的多聚焦图像栈本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种多聚焦图像栈的融合方法，其特征在于，包括：步骤
1、
获取输入的多聚焦图像栈
I
中不同图层图像的高维特征并生成高维特征图，逐一计算每一图层图像的所有高维特征图的像素级平均空间频率梯度矩阵，图层为
i
的图像的像素级平均空间频率梯度矩阵
φ
i
表示为：其中，为第
i
层图像的第
c
个高维特征矩阵，其中，
m
为图层为
i
的图像的行宽，
n
为图层为
i
的图像的列宽，
SF
i
为图层为
i
的图像的像素级空间频率，
(x
，
y)
为坐标索引，
x
的取值范围为
[0,m
‑
1]
，
y
的取值范围为
[0,n
‑
1]
；步骤
2、
计算输入的多聚焦图像栈
I
各图像中具有相同坐标的像素的高维空间频率梯度响应，并生成决策矩阵，所述决策矩阵上每个元素的序号对应在输入的多聚焦图像栈
I
中的图层索引位置，所述决策矩阵表示为：其中，
Φ
ini
为决策矩阵，其中，为决策矩阵
Φ
ini
上坐标为
(x
，
y)
的元素，
max{.}
为取最大值函数，
N
为多聚焦图像栈中的图层数，
i
的取值范围为
[0,N
‑
1]
；步骤
3、
基于所述决策矩阵生成最终的融合图像，具体如下：其中，
O
fusion
为生成的融合图像，
I(i)
(x
，
y)
为输入的多聚焦图像堆栈
I
的图层为
i
的图像中坐标为
(x
，
y)
的像素值
。2.
根据权利要求1所述的一种多聚焦图像栈的融合方法，其特征在于，所述高维特征基
于无监督学习训练完成的编码器获取，所述编码器在训练阶段通过引入解码器和损失函数进行训练，所述解码器用以根据编码器输出的高维特征输出重建图像栈
O。3.
根据权利要求2所述的一种多聚焦图像栈的融合方法，其特征在于，所述损失函数表示为：其中，
L
i
为输入的多聚焦图像栈
I
与解码器输出的重建图像栈
O
中图层为
i
的图像的损失函数，为输入的多聚焦图像栈
I
与解码器输出的重建图像栈
O
中图层为
i
的图像的均方误差，为输入的多聚焦图像栈
I
与解码器输出的重建图像栈
O
中图层为
i
的图像的结构相似性损失，为输入的多聚焦图像栈
I
与解码器输出的重建图像栈
O
中图层为
i
的图像的梯度损失，为输入的多聚焦图像栈
I
与解码器输出的重建图像栈
O
中图层为
i
的图像的空间频率损失，
λ
、
η
、
α
、
β
均为权重系数，且
λ
、
η
、
α
、
β
的和为
1。4.
根据权利要求3所述的一种多聚焦图像栈的融合方法，其特征在于，所述输入的多聚焦图像栈
I
与解码器输出的重建图像栈
O
中图层为
i
的图像的均方误差的计算方式如下：其中，
O(i)
(x
，
y)

【专利技术属性】
技术研发人员：郭卜瑜，谢歆哲，周桑君，王炜荔，李彦君，
申请(专利权)人：浙江大学海南研究院，
类型：发明
国别省市：