一种基于自注意力机制的图像融合方法及系统技术方案

本发明专利技术公开了一种基于自注意力机制的图像融合方法及系统，所述方法包括：获取全局场景图像和多个局部细节图像，并确定局部细节图像在所述全局场景图像中的位置关系，根据所述位置关系将所述全局场景图中与多个局部细节图像相同位置的部分切割出来得到多个切割图像；构建并训练基于自注意力机制的图像融合模型，对所述局部细节图像和处理后的切割图像进行图像融合，得到融合的高分辨局部图像；将得到的所述高分辨局部图像与所述全局场景图像进行拼接得到大场景高分辨全景图像。通过采用用于处理多尺度大场景数据的，基于Transformer框架的图像融合算法，基于非结构化多尺度的采集设备，最终生成全景的亿级像素大场景图像。大场景图像。大场景图像。

【技术实现步骤摘要】
一种基于自注意力机制的图像融合方法及系统


[0001]本专利技术涉及深度学习
，具体涉及一种基于自注意力机制的图像融合方法及系统。

技术介绍

[0002]根据技术调研，由于相机镜头以及传感器等硬件的限制，基于单个相机难以获取全景的高分辨率的大场景图像。现有的大场景的重建，大多利用多尺度的相机，通过图像融合的方式，进行大场景高分辨率重建，从而实现对大场景的动态感知。目前图像融合的方式主要有两种方式：传统计算成像方法和基于深度学习的图像融合算法。传统的计算成像方式利用单应矩阵结合特征匹配方式进行融合，然而传统算法需要提前标定很多参数，而且无法实现自适应的图像融合，严重限制的融合算法在大场景重建中的应用；基于深度学习的图像融合算法，通过卷积神经网络(CNN)提取高维度特征，进行图像的融合，然而由于卷积神经网络受感受野的限制，很难提取远距离的依赖，因此在大场景重建应用过程中存在明显的不足。

技术实现思路

[0003]为此，本专利技术提供一种基于自注意力机制的图像融合方法及系统，以解决现有图像融合方法存在的无法实现自适应的图像融合，受感受野限制，大场景重建存在不足等的问题。
[0004]为了实现上述目的，本专利技术提供如下技术方案：
[0005]根据本专利技术实施例的第一方面，提出了一种基于自注意力机制的图像融合方法，所述方法包括：
[0006]获取全局场景图像和多个局部细节图像，并确定局部细节图像在所述全局场景图像中的位置关系，根据所述位置关系将所述全局场景图中与多个局部细节图像相同位置的部分切割出来得到多个切割图像；
[0007]对所述切割图像进行处理使其与局部细节图像具有相同的尺度；
[0008]构建并训练基于自注意力机制的图像融合模型，通过所述图像融合模型对所述局部细节图像和处理后的切割图像进行图像融合，得到融合的高分辨局部图像；
[0009]将得到的所述高分辨局部图像与所述全局场景图像进行拼接得到大场景高分辨全景图像。
[0010]进一步地，获取全局场景图像和多个局部细节图像，具体包括：
[0011]通过全局相机获取全局场景图像，通过多个局部相机分别获取多个局部细节图像，所述全局相机的水平视场角为50
°
～60
°
，所述局部相机的水平视场角10
°
～15
°
。
[0012]进一步地，确定局部细节图像在所述全局场景图像中的位置关系，具体包括：
[0013]根据局部相机和全局相机的位姿关系，初步判断局部相机图像在全局相机图像中的大概位置，并通过特征匹配算法来进行适当的调整，从而得到准确的相对位置。
[0014]进一步地，对所述切割图像进行处理使其与局部细节图像具有相同的尺度，具体包括：
[0015]对所述切割图像进行超分辨以及尺度变化使切割图像与局部细节图像的分辨率相同。
[0016]进一步地，所述图像融合模型包括编码模块和解码模块，所述编码模块用于通过转移窗口注意力机制模块Swin
‑
Transfomer Block和块融合模块Patch Merge实现对分割图像和局部细节图像不同尺度特征的提取，并通过对分割图像和局部细节图像的特征图中相应位置取最大值的方式进行融合，最后逐级的连接到解码模块中，最终生成符合条件的高分辨率图像。
[0017]进一步地，所述编码模块具体用于通过patch embeding层对输入的图像进行编码得到编码结果，然后通过逐层的Swin Transformer Block对编码后的图像进行图像特征提取，从而得到图像不同尺度的特征，其中Swin Transformer Block模块包括归一化、区域的注意力机制、图像矩阵的偏移模块，然后通过Patch Merge模块得到感受野更大的特征图，实现对更高维度特征的提取。
[0018]进一步地，所述解码模块的核心为块扩展模块Patch Expanding，用于实现对特征图的上采样。
[0019]进一步地，所述编码模块连接有分类模块，所述分类模块为全连接神经网络，利用Image Net数据训练编码模块；设置输入图像为一张同时输出图像与输入图像相同，训练解码模块；使用实际数据微调整个模型，损失函数定义为归一化互信息。
[0020]进一步地，将得到的所述高分辨局部图像与所述全局场景图像进行拼接得到大场景高分辨全景图像，具体包括：
[0021]对全局场景图像进行超分辨处理，根据局部细节图像在所述全局场景图像中的位置关系，将处理后的全局图像中的部分替换为融合后的高分辨局部图像。
[0022]根据本专利技术实施例的第二方面，提出了一种基于自注意力机制的图像融合系统，所述系统包括：
[0023]图像采集与切割模块，用于获取全局场景图像和多个局部细节图像，并确定局部细节图像在所述全局场景图像中的位置关系，根据所述位置关系将所述全局场景图中与多个局部细节图像相同位置的部分切割出来得到多个切割图像；
[0024]图像处理模块，用于对所述切割图像进行处理使其与局部细节图像具有相同的尺度；
[0025]图像融合模块，用于构建并训练基于自注意力机制的图像融合模型，通过所述图像融合模型对所述局部细节图像和处理后的切割图像进行图像融合，得到融合的高分辨局部图像；
[0026]图像拼接模块，用于将得到的所述高分辨局部图像与所述全局场景图像进行拼接得到大场景高分辨全景图像。
[0027]本专利技术具有如下优点：
[0028]本专利技术提出的一种基于自注意力机制的图像融合方法及系统，所述方法包括：获取全局场景图像和多个局部细节图像，并确定局部细节图像在所述全局场景图像中的位置关系，根据所述位置关系将所述全局场景图中与多个局部细节图像相同位置的部分切割出
来得到多个切割图像；对所述切割图像进行处理使其与局部细节图像具有相同的尺度；构建并训练基于自注意力机制的图像融合模型，通过所述图像融合模型对所述局部细节图像和处理后的切割图像进行图像融合，得到融合的高分辨局部图像；将得到的所述高分辨局部图像与所述全局场景图像进行拼接得到大场景高分辨全景图像。通过采用用于处理多尺度大场景数据的，基于Transformer框架的图像融合算法，最终基于非结构化多尺度的采集设备，最终生成全景的亿级像素大场景图像。
附图说明
[0029]为了更清楚地说明本专利技术的实施方式或现有技术中的技术方案，下面将对实施方式或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是示例性的，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图引伸获得其它的实施附图。
[0030]图1为本专利技术实施例1提供的一种基于自注意力机制的图像融合方法的流程示意图；
[0031]图2为本专利技术实施例1提供的一种基于自注意力机制的图像融合方法中图像采集模块示意图；
[0032]图3为本专利技术实施例1提供的一种基于自本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于自注意力机制的图像融合方法，其特征在于，所述方法包括：获取全局场景图像和多个局部细节图像，并确定局部细节图像在所述全局场景图像中的位置关系，根据所述位置关系将所述全局场景图中与多个局部细节图像相同位置的部分切割出来得到多个切割图像；对所述切割图像进行处理使其与局部细节图像具有相同的尺度；构建并训练基于自注意力机制的图像融合模型，通过所述图像融合模型对所述局部细节图像和处理后的切割图像进行图像融合，得到融合的高分辨局部图像；将得到的所述高分辨局部图像与所述全局场景图像进行拼接得到大场景高分辨全景图像。2.根据权利要求1所述的一种基于自注意力机制的图像融合方法，其特征在于，获取全局场景图像和多个局部细节图像，具体包括：通过全局相机获取全局场景图像，通过多个局部相机分别获取多个局部细节图像，所述全局相机的水平视场角为50
°
～60
°
，所述局部相机的水平视场角10
°
～15
°
。3.根据权利要求2所述的一种基于自注意力机制的图像融合方法，其特征在于，确定局部细节图像在所述全局场景图像中的位置关系，具体包括：根据局部相机和全局相机的位姿关系，初步判断局部相机图像在全局相机图像中的大概位置，并通过特征匹配算法来进行适当的调整，从而得到准确的相对位置。4.根据权利要求1所述的一种基于自注意力机制的图像融合方法，其特征在于，对所述切割图像进行处理使其与局部细节图像具有相同的尺度，具体包括：对所述切割图像进行超分辨以及尺度变化使切割图像与局部细节图像的分辨率相同。5.根据权利要求1所述的一种基于自注意力机制的图像融合方法，其特征在于，所述图像融合模型包括编码模块和解码模块，所述编码模块用于通过转移窗口注意力机制模块Swin
‑
TransfomerBlock和块融合模块PatchMerge实现对分割图像和局部细节图像不同尺度特征的提取，并通过对分割图像和局部细节图像的特征图中相应位置取最大值的方式进行融合，最后逐级的连接到解码模块中，最终生成符合条件的高分辨率图像。...

【专利技术属性】
技术研发人员：夏晗，邵航，袁肖赟，高坤，
申请(专利权)人：浙江未来技术研究院嘉兴，
类型：发明
国别省市：