一种多聚焦图的端到端融合系统技术方案

本发明专利技术公开了一种多聚焦图的端到端融合系统。该系统包括特征提取模块、特征融合模块和图像重建模块，特征提取模块为一对孪生网络，输入的两张待融合的多聚焦图在孪生网络向前传播过程中共享权重，网络包括图像分块层、线性嵌入层、第一Swin Transformer块、特征合并层和第二Swin Transformer块，特征融合模块包括第三Swin Transformer块，图像重建模块包括第一扩展层、第四Swin Transformer块、第二扩展层和多层感知机。本发明专利技术无需生成中间过度决策图，并基于自注意力机制计算而不使用任何卷积层，实现了更好的端到端的多聚焦图像融合效果。

【技术实现步骤摘要】

本专利技术涉及图像融合系统，具体涉及一种多聚焦图的端到端融合系统。

技术介绍

1、多聚焦图像融合旨在从多个局部清晰的光学图像中获得全画幅清晰的图像，解决由于光学镜头的物理限制而产生的聚焦问题。全聚焦图像能提供源图像中无法提供的更多内容和细节，它可被视为一种数据预处理形式，用于后续任务，如物体检测识别、图像分类或实例分割。根据融合策略，现有的多焦点图像融合方法可分为三大类：变换域方法、空间域方法和神经网络方法。

2、基于变换域的多焦点图像融合方法是将原始图像变换到另一个域（如频域）进行处理，然后再反变换回空间域，从而得到融合图像。基于金字塔的方法、基于小波的方法、非下采样轮廓波变化的方法和稀疏表示方法等方法可以保留原始图像中的细节信息。但其处理速度相对较慢，而且可能会降低原始图像的对比度。

3、基于空间域的多焦点图像融合方法通常是对图像像素进行处理并获得融合图像。这种方法包括基于块的方法、基于区域的方法和基于像素的方法，它们都依赖于人工选择的融合规则和活动水平测量。这种方法直观、可解释且易于实施，但易受噪声影响，消除难度大，而且容易在本文档来自技高网...

【技术保护点】

1.一种多聚焦图的端到端融合系统，其特征在于，包括：

2.根据权利要求1所述的一种多聚焦图的端到端融合系统，其特征在于，所述第一SwinTransformer 块、第二Swin Transformer 块和第四Swin Transformer 块均包括两个串联连接的单元，所述第三Swin Transformer 块包括3对两个串联连接的单元，每一单元均由依次连接的第一归一化层、多头注意力层、第二归一化层和多层感知机层组成，两个串联连接的单元表示为：

3.根据权利要求1所述的一种多聚焦图的端到端融合系统，其特征在于，所述特征提取模块、特征融合模块和图像重建模块通过引...

【技术特征摘要】

1.一种多聚焦图的端到端融合系统，其特征在于，包括：

2.根据权利要求1所述的一种多聚焦图的端到端融合系统，其特征在于，所述第一swintransformer 块、第二swin transformer 块和第四swin transformer 块均包括两个串联连接的单元，所述第三swin tran...

【专利技术属性】
技术研发人员：郭卜瑜，陈鹏，
申请(专利权)人：舟山海慧海洋科技有限公司，
类型：发明
国别省市：