【技术实现步骤摘要】
本专利技术涉及图像融合系统，具体涉及一种多聚焦图的端到端融合系统。
技术介绍
1、多聚焦图像融合旨在从多个局部清晰的光学图像中获得全画幅清晰的图像，解决由于光学镜头的物理限制而产生的聚焦问题。全聚焦图像能提供源图像中无法提供的更多内容和细节，它可被视为一种数据预处理形式，用于后续任务，如物体检测识别、图像分类或实例分割。根据融合策略，现有的多焦点图像融合方法可分为三大类：变换域方法、空间域方法和神经网络方法。
2、基于变换域的多焦点图像融合方法是将原始图像变换到另一个域（如频域）进行处理，然后再反变换回空间域，从而得到融合图像。基于金字塔的方法、基于小波的方法、非下采样轮廓波变化的方法和稀疏表示方法等方法可以保留原始图像中的细节信息。但其处理速度相对较慢，而且可能会降低原始图像的对比度。
3、基于空间域的多焦点图像融合方法通常是对图像像素进行处理并获得融合图像。这种方法包括基于块的方法、基于区域的方法和基于像素的方法，它们都依赖于人工选择的融合规则和活动水平测量。这种方法直观、可解释且易于实施，但易受噪声影响，消除难度大，而且容易在图像边缘产生伪影。
4、近年来，随着计算机视觉技术的发展，卷积神经网络被广泛应用于包括多焦点图像融合在内的各种数字图像处理领域。卷积神经网络利用与人类视觉系统非常相似的卷积层和池化层结构，能有效提取图像的空间特征，并获得图像的局部特征。此外，cnn 还能学习图像之间的非线性映射关系和空间对应关系，特别适合图像融合任务。多焦点图像融合问题被视为神经网络的分类任务，并使
5、1、卷积神经网络中卷积操作的局部性导致全局信息交互学习困难，导致融合图像质量下降；
6、2、卷积神经网络在编码多聚焦图像时，丢失了原始图像中的位置信息,这对于重建图像是不利的。
技术实现思路
1、本专利技术的目的是针对现有技术存在的不足，提供一种多聚焦图的端到端融合系统。
2、为实现上述目的，本专利技术提供了一种多聚焦图的端到端融合系统，包括：
3、特征提取模块、特征融合模块和图像重建模块；
4、所述特征提取模块为一对孪生网络，输入的两张待融合的多聚焦图在孪生网络向前传播过程中共享权重，所述孪生网络包括图像分块层、线性嵌入层、第一swintransformer 块、特征合并层和第二swin transformer 块；
5、所述图像分块层用以将待融合的多聚焦图分割成4×4的非重叠的图像块，每一图像块的特征维度变为 h/4×w/4×16c，其中，h为多聚焦图的行，w为多聚焦图的宽，c为多聚焦图的通道数；
6、所述线性嵌入层用以通过全连接层的方式将图像块映射为向量表示，并将图像分块层输出的图像块的特征维度嵌入到高维空间中，嵌入后的每一图像块的特征维度变为h/4×w/4×d，其中d为嵌入后的维度；
7、所述第一swin transformer 块用以提取每一图像块的高维特征信息；
8、所述特征合并层用以对第一swin transformer 块提取的高维特征信息进行下采样，以使图像块的特征维度变为 h/8×w/8×2d；
9、第二swin transformer 块用以对特征合并层下采样获得的数据进行特征提取，以获得另一尺度的特征信息；
10、两个第二swin transformer 块提取的特征信息在通道维度上进行合并，合并后的图像块的特征维度为h/8×w/8×4d，所述特征融合模块包括第三swin transformer 块，所述第三swin transformer 块用以将合并后的特征信息进行融合；
11、所述图像重建模块包括第一扩展层、第四swin transformer 块、第二扩展层和多层感知机；
12、所述第一扩展层用以将图像块的特征维度从h/8×w/8×4d扩展至h/4×w/4×d；
13、所述第四swin transformer 块用以将第一扩展层扩展后的图像块进行图像重建；
14、所述第二扩展层用以将融合后的图像的特征维度扩展至h×w×d；
15、所述多层感知机用以将图像的通道数由d减少至c，使得特征维度变为h×w×c，与源图像保持一致。
16、进一步的，所述第一swin transformer 块、第二swin transformer 块和第四swin transformer 块均包括两个串联连接的单元，所述第三swin transformer 块包括3对两个串联连接的单元，每一单元均由依次连接的第一归一化层、多头注意力层、第二归一化层和多层感知机层组成，两个串联连接的单元表示为：
17、
18、其中，为奇数单元的多头注意力层的输出，为奇数单元的多头注意力层的计算过程，为层归一化操作，为奇数，为奇数单元的输出，为多层感知机层的计算过程，为偶数单元的多头注意力层的输出，为偶数单元的多头注意力层的计算过程，为偶数单元的输出。
19、进一步的，所述特征提取模块、特征融合模块和图像重建模块通过引入如下损失函数l训练获得：
20、
21、其中，为均方误差损失函数，为结构相似性损失函数，为与之间的权衡系数，
22、；
23、；
24、为输出的融合图像的像素，为输入的待融合的多聚焦图的像素，为输入的待融合的多聚焦图与输出的融合图像的结构相似性指标，
25、
26、其中，、 为常数，为输出的融合图像的像素的平均值，为输入的待融合的多聚焦图的像素的平均值，为输入的待融合的多聚焦图与输出的融合图像的像素的标准差。
27、有益效果：本专利技术基于swin transformer块建立了一个端到端的多聚焦图像融合框架，无需生成中间过度决策图；并基于自注意力机制计算，而不使用任何卷积层，实现了更好的端到端的多聚焦图像融合效果。
本文档来自技高网...【技术保护点】
1.一种多聚焦图的端到端融合系统，其特征在于，包括：
2.根据权利要求1所述的一种多聚焦图的端到端融合系统，其特征在于，所述第一SwinTransformer 块、第二Swin Transformer 块和第四Swin Transformer 块均包括两个串联连接的单元，所述第三Swin Transformer 块包括3对两个串联连接的单元，每一单元均由依次连接的第一归一化层、多头注意力层、第二归一化层和多层感知机层组成，两个串联连接的单元表示为：
3.根据权利要求1所述的一种多聚焦图的端到端融合系统，其特征在于，所述特征提取模块、特征融合模块和图像重建模块通过引入如下损失函数L训练获得：
【技术特征摘要】
1.一种多聚焦图的端到端融合系统，其特征在于，包括：
2.根据权利要求1所述的一种多聚焦图的端到端融合系统，其特征在于，所述第一swintransformer 块、第二swin transformer 块和第四swin transformer 块均包括两个串联连接的单元，所述第三swin tran...
【专利技术属性】
技术研发人员：郭卜瑜，陈鹏，
申请(专利权)人：舟山海慧海洋科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。