本发明专利技术公开了一种基于知识图谱的多源异构遥感图像融合方法，包括：获取同一场景不同类型的多张原始图像及多张原始图像的属性值；获取原始图像的数量和梯度信息；利用多种不同的图像融合算法和同一图像融合算法不同参数的融合模型构造图像融合算法库，并设置属性值标记；将原始图像的信息和属性值与图像融合算法库每个图像融合算法或图像融合模型的属性值进行对比，选取最优融合算法；利用最优融合算法对原始图像进行融合，获得融合后的图像。本发明专利技术将不同融合算法或同一融合算法的不同参数模型以图结构的形式加以集成，根据输入图像性质及选定的属性定向检索最优融合方案，获得了更好的图像融合效果。得了更好的图像融合效果。得了更好的图像融合效果。
【技术实现步骤摘要】
一种基于知识图谱的多源异构遥感图像融合方法
[0001]本专利技术属于图像融合
，具体涉及一种基于知识图谱的多源异构遥感图像融合方法。
技术介绍
[0002]图像融合的主要目的是将同一场景的多幅具有互补信息的图像合成一幅图像，是一种提高图像质量的技术，广泛应用于医学(一般使用CT(Computed Tomography，电子计算机断层扫描)、MRI(Magnetic Resonance Imaging，磁共振成像)和PET(Positron Emission Tomography，正电子发射断层扫描)图像)、天文、监测(一般使用可见光和红外图像)等各个领域。图像融合可以使用在诸如目标识别等的应用场景中，也可以作为地物分类的前期工作，以提高分类性能，输出融合图像中的目标通常更容易识别，也更清晰。图像融合处理的要点在于从两种或多种模式中提取出显著图像内容，然后将其融合以产生增强输出。
[0003]图像融合可以分为三个层级：像素级，特征级和决策级，其中，像素级对图像纹理边缘色彩等方面融合精度较高，更有利于后续的地物分类和识别。图像分解一般为图像融合的第一步，常用的图像分解方法有基于空间域的图像分解和基于多尺度的图像分解。基于空间域的图像分解方法中具有代表性的方法是加权平均法和PCA(Principal Component Analysis，主成分分析法)，其优点是算法简单快捷，融合后图像信噪比较原图像有所提升，且融合图像中目标凸显明显，但是会损失部分光谱信息。基于多尺度的图像分解中具有代表性的是基于金字塔变换的多尺度分解、基于小波变换的多尺度分解以及基于几何特性的多尺度分解，其优点是可以有效提取不同分辨率下图像的重要特征，但是设计出的算法容易有较高的计算复杂度，且对于输入图像的数量和尺寸有较高的要求。此外，随着深度学习在各领域的发展，还出现了诸如DenseFuse，SDNet和SeAFusion等效果优良的基于深度学习的融合方法。
[0004]不同融合算法各有优劣，但是单一融合算法一般仅对特定类型图像具有显著的融合效果，且多数融合算法仅支持两个图像的融合，在原始图像分辨率差距较大时多数融合算法的融合性能均不佳。
技术实现思路
[0005]为了解决现有技术中存在的上述问题，本专利技术提供了一种基于知识图谱的多源异构遥感图像融合方法。本专利技术要解决的技术问题通过以下技术方案实现：
[0006]本专利技术提供了一种基于知识图谱的多源异构遥感图像融合方法，包括：
[0007]获取待融合的同一场景不同类型的多张原始图像及所述多张原始图像的属性值，所述属性值包括图像类型和图像中待识别的目标类型；
[0008]获取待融合的原始图像的数量和每张原始图像的梯度信息；
[0009]利用多种不同的图像融合算法和同一图像融合算法不同参数的融合模型构造图像融合算法库，并为所述图像融合算法库每个图像融合算法或图像融合模型设置属性值标
记；
[0010]将所述原始图像的信息和属性值与所述图像融合算法库每个图像融合算法或图像融合模型的属性值进行对比，选取最优融合算法；
[0011]利用所述最优融合算法对待融合的原始图像进行融合，获得融合后的图像。
[0012]在本专利技术的一个实施例中，所述图像融合算法库中的图像融合算法包括主成分分析算法、非下采样剪切波变换算法、曲波变换算法、方向可控金字塔算法和基于深层图像分解的图像融合算法。
[0013]在本专利技术的一个实施例中，所述基于深层图像分解的图像融合算法中设置有融合模型1、融合模型2和融合模型3，其中，所述融合模型1用于多光谱图像和SAR图像的融合，所述融合模型2用于可见光图像和远光红外图像的融合，所述融合模型3用于三张不同类型图像的融合。
[0014]在本专利技术的一个实施例中，利用多种不同的图像融合算法和同一图像融合算法不同参数的融合模型构造图像融合算法库，并为所述图像融合算法库每个图像融合算法或图像融合模型设置属性值标记，包括：
[0015]利用主成分分析算法、非下采样剪切波变换算法、曲波变换算法、方向可控金字塔算法和基于深层图像分解的图像融合算法整合在一起构成图像融合算法库；
[0016]选取不同类型的图像组合形成多个图像融合测试组；
[0017]利用所述多个图像融合测试组对所述图像融合算法库中的所有图像融合算法和图像融合算法中的每个图像融合模型进行测试，根据测试结果获得每个图像融合算法或图像融合模型最适合的输入图像组合类型；
[0018]利用所述测试结果对每个图像融合算法或图像融合模型进行属性值标注，所述属性值包括适用于当前图像融合算法或图像融合模型的图像类型、输入图像个数、应用目标类型和图像平均梯度。
[0019]在本专利技术的一个实施例中，所述基于深层图像分解的图像融合算法中的融合模型3具体用于：
[0020]对获取的不同类型的三个原始图像分别获得一个低秩图像和多层的细节部分矩阵；
[0021]对所有的低秩图像进行加权平均融合，获得融合后的低秩图像；
[0022]计算每层细节部分矩阵的融合权重并对三个原始图像的每层细节部分矩阵进行加权融合，得到每层融合后的细节部分图像；
[0023]对融合后的低秩图像和细节部分图像进行相加，得到最终的融合图像。
[0024]在本专利技术的一个实施例中，对获取的不同类型的三个原始图像分别获得一个低秩图像和多层的细节部分矩阵，包括：
[0025]获得每个原始图像的低秩图像；
[0026]为每个原始图像设定图像分解层数c1,c2,c3，并根据所述图像分解层数对三个原始图像分别进行多层潜在低秩分解，获得对应层数的细节部分矩阵；
[0027]对层数较少的细节部分矩阵进行补0，使得所有原始图像的细节部分矩阵均为c个，c＝max{c1,c2,c3}。
[0028]在本专利技术的一个实施例中，计算每层细节部分矩阵的融合权重并对三个原始图像
的每层细节部分矩阵进行加权融合，得到每层融合后的细节部分图像，包括：
[0029]基于核范数计算不同原始图像的每层细节部分矩阵的融合权重，融合权重计算公式为：
[0030][0031][0032]其中，表示第k个原始图像的第i层细节部分矩阵中第j列的权重，表示第k个原始图像的第i层细节部分矩阵中第j列的元素，表示对进行重构操作，‖
·
‖
*
表示核范数；
[0033]利用加权法获得三个原始图像每层融合后的细节部分矩阵，从而获得c个融合后的细节部分矩阵；
[0034]对c个融合后的细节部分矩阵分别进行图像重构，获得c个细节图像：
[0035][0036]其中，表示第k个原始图像的第i层细节部分矩阵，R(
·
)表示对进行重构。
[0037]在本专利技术的一个实施例中，将所述原始图像的信息和属性值与所述图像融合算法库每个图像融合算法或图像融合模型的属性值进行对比，选取最优融合算法，包括本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种基于知识图谱的多源异构遥感图像融合方法，其特征在于，包括：获取待融合的同一场景不同类型的多张原始图像及所述多张原始图像的属性值，所述属性值包括图像类型和图像中待识别的目标类型；获取待融合的原始图像的数量和每张原始图像的梯度信息；利用多种不同的图像融合算法和同一图像融合算法不同参数的融合模型构造图像融合算法库，并为所述图像融合算法库每个图像融合算法或图像融合模型设置属性值标记；将所述原始图像的信息和属性值与所述图像融合算法库每个图像融合算法或图像融合模型的属性值进行对比，选取最优融合算法；利用所述最优融合算法对待融合的原始图像进行融合，获得融合后的图像。2.根据权利要求1所述的基于知识图谱的多源异构遥感图像融合方法，其特征在于，所述图像融合算法库中的图像融合算法包括主成分分析算法、非下采样剪切波变换算法、曲波变换算法、方向可控金字塔算法和基于深层图像分解的图像融合算法。3.根据权利要求2所述的基于知识图谱的多源异构遥感图像融合方法，其特征在于，所述基于深层图像分解的图像融合算法中设置有融合模型1、融合模型2和融合模型3，其中，所述融合模型1用于多光谱图像和SAR图像的融合，所述融合模型2用于可见光图像和远光红外图像的融合，所述融合模型3用于三张不同类型图像的融合。4.根据权利要求1所述的基于知识图谱的多源异构遥感图像融合方法，其特征在于，利用多种不同的图像融合算法和同一图像融合算法不同参数的融合模型构造图像融合算法库，并为所述图像融合算法库每个图像融合算法或图像融合模型设置属性值标记，包括：利用主成分分析算法、非下采样剪切波变换算法、曲波变换算法、方向可控金字塔算法和基于深层图像分解的图像融合算法整合在一起构成图像融合算法库；选取不同类型的图像组合形成多个图像融合测试组；利用所述多个图像融合测试组对所述图像融合算法库中的所有图像融合算法和图像融合算法中的每个图像融合模型进行测试，根据测试结果获得每个图像融合算法或图像融合模型最适合的输入图像组合类型；利用所述测试结果对每个图像融合算法或图像融合模型进行属性值标注，所述属性值包括适用于当前图像融合算法或图像融合模型的图像类型、输入图像个数、应用目标类型和图像平均梯度。5.根据权利要求3所述的基于知识图谱的多源异构遥感图像融合方法，其特征在于，所述基于深层图像分解的图像融合算法中的融合模型3具体用于：对获取的不同类型的三个原始...
【专利技术属性】
技术研发人员：冯伟，邹欣杉，全英汇，李强，宋怡佳，张亚丽，
申请(专利权)人：西安电子科技大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。