面向多源遥感数据的融合图像模型训练方法、生成方法及装置制造方法及图纸

本发明专利技术提供一种面向多源遥感数据的融合图像模型训练方法、生成方法及装置，包括：获取多个合成孔径雷达图像和可见光图像对；获取初始融合图像模型和判别器；初始融合图像模型包括特征提取模块、特征融合模块以及融合图像生成模块；特征提取模块为双流网络，每条支路采用结构相同的预设神经网络，每个预设神经网络均由多个卷积块构成，两条支路上前设定数量个卷积块的参数保持对称，每个卷积块间设有核权重自适应优化模块；融合图像生成模块由生成器与判别器组成的生成对抗网络构建，基于融合图像、合成孔径雷达图像和可见光图像构建正负样本训练模型，以得到用于生成合成孔径雷达图像和可见光图像融合图像的融合图像模型。和可见光图像融合图像的融合图像模型。和可见光图像融合图像的融合图像模型。

【技术实现步骤摘要】
面向多源遥感数据的融合图像模型训练方法、生成方法及装置


[0001]本专利技术涉及人工智能
，尤其涉及一种面向多源遥感数据的融合图像模型训练方法、生成方法及装置。

技术介绍

[0002]随着遥感技术的发展，光学、热红外和微波等不同传感器作为信息获取载荷可部署于卫星、飞机等远端平台，向地面研究人员提供多光谱、多传感器、多分辨率的多源遥感数据。由于成像原理不同和技术条件的限制，单一遥感器获取的遥感数据不能全面反映目标对象的特征。如果将多种不同特征的数据结合起来，相互取长补短，便可以发挥各自的优势、弥补各自的不足，更全面的反映地面目标，提供更强的信息解译能力和更可靠的分析结果。多源遥感图像融合技术则是将多源信息组合匹配，将同一地区的多源遥感影像数据或解译产品智能合成，生成相比单一信源更精确、完整、可靠的融合数据。
[0003]以合成孔径雷达图像(SAR图像)和可见光图像两种多源遥感数据的融合为例，现有技术方案一是采用基础的数据融合方案，在特征层面，通过使用耦合非负矩阵分解解混方法，将可见光图像和SAR图像在高维特征层面混合后重新降维；或是基于耦合稀疏张量分解将融合问题重新定义为核心张量和字典的估计的重新组合。在图像层面，以更朴素的像素加权平均模式，针对于纹理信息在拆分的强度
‑
颜色
‑
饱和度通道叠加计算。该方案虽考虑了SAR图像与可见光图像在数据格式、数据表现上存在的较大差异，然而基于传统的融合方法，融合结果的纹理和结构信息在视觉表现上往往会很模糊，且生成速度慢，需要反复迭代；同时，SAR图像的本征散斑噪声由于误差梯度积累，不可避免地会使神经网络退化，影响了网络性能；对于SAR图像与可见光图像的特征也没有有效关联。现有技术方案二是采用深度学习的方法处理遥感图像，基于生成对抗网络生成融合图像。但现有基于深度神经网络的方案使用了完全对称的暹罗网络类对称网络进行特征提取，缺乏图像差异性的考量，最终也无法实现特征的有效融合。

技术实现思路

[0004]鉴于此，本专利技术实施例提供了一种面向多源遥感数据的融合图像模型训练方法、生成方法及装置，以消除或改善现有技术中存在的一个或更多个缺陷，解决现有技术无法差异化地提取合成孔径雷达图像和可见光图像的特征，从而无法实现特征融合，生成融合图像的问题。
[0005]一方面，本专利技术提供了一种面向多源遥感数据的融合图像模型训练方法，其特征在于，该方法包括以下步骤：
[0006]获取多源遥感数据集，所述多源遥感数据集中包含多个数据条，每个数据条包括基于预设配准算法生成的在同一时间下同一区域的合成孔径雷达图像和可见光图像；所述合成孔径雷达图像的通道数经复制与所述可见光图像的通道数相等；
[0007]获取初始融合图像模型和判别器；所述初始融合图像模型包括特征提取模块、特征融合模块以及融合图像生成模块；所述特征提取模块为双流网络，每条支路采用结构相同的预设神经网络，所述预设神经网络由多个卷积块构成，两条支路上前设定数量个卷积块的参数保持对称，每个卷积块中设有核权重自适应优化模块；其中，所述权重自适应优化模块将输入的各合成孔径雷达图像或各可见光图像进行全局平均池化操作，基于多个预设的图像特征评判单元计算相应图像的权重系数，利用所述权重系数与所述图像特征评判单元对应的卷积核权重加权，以更新对应卷积块中卷积核的权重；所述融合图像生成模块作为生成器与所述判别器构建生成对抗网络；
[0008]将预设批数量个数据条的所述合成孔径雷达图像输入所述双流网络的第一条支路以提取合成孔径雷达图像特征图，所述可见光图像输入所述双流网络的第二条支路以提取可见光图像特征图；
[0009]将所述合成孔径雷达图像特征图和所述可见光图像特征图输入所述特征融合模块，基于预设注意力机制，通过交换所述合成孔径雷达图像特征图和所述可见光图像特征图的查询矩阵分别提取各自的特征，利用特征层将所述合成孔径雷达图像特征图和所述可见光图像特征图提取得到的特征进行叠加，输出融合特征向量；
[0010]将所述融合特征向量输入所述融合图像生成模块，以生成融合图像；
[0011]将各数据条中的合成孔径雷达图像与对应生成的融合图像拼接为非真实图像，标记为负样本；将所述合成孔径雷达图像和所述可见光图像拼接为真实图像，标记为正样本；将所述非真实图像和所述真实图像输入所述判别器进行训练；将所述非真实图像输入训练后的判别器，并固定所述判别器参数，根据所述判别器的判别结果对所述生成器进行训练；分别构建所述生成器和所述判别器的损失函数，训练得到满足预设性能的生成器和判别器，以最终得到融合图像模型。
[0012]在一些实施例中，所述双流网络基于暹罗网络构建伪对称网络；每条支路采用结构相同的预设神经网络，所述预设神经网络由5个卷积块构成；两条支路上前3个卷积块的参数设置相同，后2个卷积块的参数设置不同。
[0013]在一些实施例中，所述预设神经网络的每个卷积块之间还设有多感受野特征提取模块；将当前卷积块处理得到的图像特征图输入所述多感受野特征提取模块，采用并行的预设数量个卷积层提取并叠加所述图像特征图从局部到整体的预设数量个不同程度感受野的特征，输入下一个卷积块；其中，感受野的计算式可表示为：
[0014][0015]其中，RF
l
表示l层的感受野大小；K
’
l
表示l层的卷积核大小；S
i
表示第i层的步长。
[0016]在一些实施例中，基于预设注意力机制，通过交换所述合成孔径雷达图像特征图和所述可见光图像特征图的查询矩阵分别提取各自的特征，还包括：
[0017]利用预设卷积层压缩所述合成孔径雷达图像特征图或可见光图像特征图的通道数，并进行线性映射，得到所述合成孔径雷达图像特征图的第一键值矩阵、第一价值矩阵和第一查询矩阵，以及所述可见光图像特征图的第二键值矩阵、第二价值矩阵和第二查询矩阵；将所述第一查询矩阵用于所述可见光图像特征图的特征处理；将所述第二查询矩阵用于所述合成孔径雷达图像特征图的特征处理；
[0018]在所述合成孔径雷达图像特征图的特征处理中，将基于所述第一键值矩阵和所述
第一价值矩阵得到的后序特征进行矩阵点乘，并通过Softmax函数计算第一向量值，将所述第一向量值与基于所述第二查询矩阵得到的后序特征进行点积融合，并进行卷积操作；在所述可见光图像特征图的特征处理中，将基于所述第二键值矩阵和所述第二价值矩阵得到的后序特征进行矩阵点乘，并通过Softmax函数计算第二向量值，将所述第二向量值与基于所述第一查询矩阵得到的后序特征点积融合，并进行卷积操作；相应的计算过程可表示为：
[0019]Attention(K,V,Q)＝f(Softmax(f
T
(K)
·
f(V))
·
f
T
(Q
other
))；
[0020]其中，K,V,Q表示可学习的键值矩阵、价值矩阵和查询矩阵；(本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种面向多源遥感数据的融合图像模型训练方法，其特征在于，该方法包括以下步骤：获取多源遥感数据集，所述多源遥感数据集中包含多个数据条，每个数据条包括基于预设配准算法生成的在同一时间下同一区域的合成孔径雷达图像和可见光图像；所述合成孔径雷达图像的通道数经复制与所述可见光图像的通道数相等；获取初始融合图像模型和判别器；所述初始融合图像模型包括特征提取模块、特征融合模块以及融合图像生成模块；所述特征提取模块为双流网络，每条支路采用结构相同的预设神经网络，所述预设神经网络由多个卷积块构成，两条支路上前设定数量个卷积块的参数保持对称，每个卷积块中设有核权重自适应优化模块；其中，所述权重自适应优化模块将输入的各合成孔径雷达图像或各可见光图像进行全局平均池化操作，基于多个预设的图像特征评判单元计算相应图像的权重系数，利用所述权重系数与所述图像特征评判单元对应的卷积核权重加权，以更新对应卷积块中卷积核的权重；所述融合图像生成模块作为生成器与所述判别器构建生成对抗网络；将预设批数量个数据条的所述合成孔径雷达图像输入所述双流网络的第一条支路以提取合成孔径雷达图像特征图，所述可见光图像输入所述双流网络的第二条支路以提取可见光图像特征图；将所述合成孔径雷达图像特征图和所述可见光图像特征图输入所述特征融合模块，基于预设注意力机制，通过交换所述合成孔径雷达图像特征图和所述可见光图像特征图的查询矩阵分别提取各自的特征，利用特征层将所述合成孔径雷达图像特征图和所述可见光图像特征图提取得到的特征进行叠加，输出融合特征向量；将所述融合特征向量输入所述融合图像生成模块，以生成融合图像；将各数据条中的合成孔径雷达图像与对应生成的融合图像拼接为非真实图像，标记为负样本；将所述合成孔径雷达图像和所述可见光图像拼接为真实图像，标记为正样本；将所述非真实图像和所述真实图像输入所述判别器进行训练；将所述非真实图像输入训练后的判别器，并固定所述判别器参数，根据所述判别器的判别结果对所述生成器进行训练；分别构建所述生成器和所述判别器的损失函数，训练得到满足预设性能的生成器和判别器，以最终得到融合图像模型。2.根据权利要求1所述的面向多源遥感数据的融合图像模型训练方法，其特征在于，所述双流网络基于暹罗网络构建伪对称网络；每条支路采用结构相同的预设神经网络，所述预设神经网络由5个卷积块构成；两条支路上前3个卷积块的参数设置相同，后2个卷积块的参数设置不同。3.根据权利要求1所述的面向多源遥感数据的融合图像模型训练方法，其特征在于，所述预设神经网络的每个卷积块之间还设有多感受野特征提取模块；将当前卷积块处理得到的图像特征图输入所述多感受野特征提取模块，采用并行的预设数量个卷积层提取并叠加所述图像特征图从局部到整体的预设数量个不同程度感受野的特征，输入下一个卷积块；其中，感受野的计算式可表示为：其中，RF
l
表示l层的感受野大小；K
’
l
表示l层的卷积核大小；S
i
表示第i层的步长。
4.根据权利要求1所述的面向多源遥感数据的融合图像模型训练方法，其特征在于，基于预设注意力机制，通过交换所述合成孔径雷达图像特征图和所述可见光图像特征图的查询矩阵分别提取各自的特征，还包括：利用预设卷积层压缩所述合成孔径雷达图像特征图或可见光图像特征图的通道数，并进行线性映射，得到所述合成孔径雷达图像特征图的第一键值矩阵、第一价值矩阵和第一查询矩阵，以及所述可见光图像特征图的第二键值矩阵、第二价值矩阵和第二查询矩阵；将所述第一查询矩阵用于所述可见光图像特征图的特征处理；将所述第二查询矩阵用于所述合成孔径雷达图像特征图的特征处理；在所述合成孔径雷达图像特征图的特征处理中，将基于所述第一键值矩阵和所述第一价值矩阵得到的后序特征进行矩阵点乘，并通过Softmax函数计算第一向量值，将所述第一向量值与基于所述第二查询矩阵得到的后序特征进行点积融合，并进行卷积操作；在所述可见光图像特征图的特征处理中，将基于所述第二键值矩阵和所述第二价值矩阵得到的后序特征进行矩阵点乘，并通过Softmax函数计算第二向量值，将所述第二向量值与基于所述第一查询矩阵得到的后序特征点积融合，并进行卷积操作；相应的计算过程可表示为：Attention(K,V,Q)＝f(Softmax(f
T
(K)
·
f(V))
·
f
T
(Q
other
))；其中，K,V,Q...

【专利技术属性】
技术研发人员：曹婧宜，尤亚楠，刘军，
申请(专利权)人：北京邮电大学，
类型：发明
国别省市：