一种基于异质图注意力机制的特征融合方法技术

本发明专利技术属于一种图像处理领域，公开了一种基于异质图注意力机制的特征融合方法,包括以下步骤：将多光谱图像通进行数据特征的提取与降维，将降维后的多光谱数据分别经过红外光谱波的特征提取获得物理特征图，通过空间超像素分割技术获得空间特征图，基于光谱相似性构造光谱特征图。对于得到的三个特征图边和节点进行分析，用基于图神经网络的边和节点链接方法，将三个不同节点类型的特征图进行连接。将连接成的特征图，采用基于自注意力的图池化方法，对新图的节点进行提取与聚合信息，以自适应的方式实现多源特征信息的融合，获得最终融合多源特征的异质图。该融合多个维度特征的异质图，提升了网络模型对于处理多光谱数据的效果。果。果。

【技术实现步骤摘要】
一种基于异质图注意力机制的特征融合方法


[0001]本专利技术涉及图像处理领域，具体是一种基于异质图注意力机制的特征融合方法。

技术介绍

[0002]异质图指的是由不同类型的节点和边构成的图。在异质图中，每个节点和边都有自己特定的类型和属性，这些节点和边之间的连接方式也可能是多样化的。异质图常见于许多复杂系统的建模中，如社交网络、蛋白质相互作用网络、知识图谱等。在这些应用中，节点和边的类型通常代表了不同的实体或关系，如人、组织、物品、关系等。总之，异质图是一种具有多样性和复杂性的图模型。
[0003]多光谱图像是一种包含多个波段信息的图像，能够获取包含丰富空间信息和光谱信息，可克服单一模态图像信息受限的问题。多光谱图像传统的特征提取方法，提取的特征通常是比较简单和粗糙的，不能很好地表达图像的复杂信息，对于非线性相关的特征效果不佳，对于多尺度特征的表达存在一定的局限性，模型泛化能力较差，同时提取特征的维度有限。
[0004]因此，如何有效的提取多光谱的特征信息，以此方便多光谱图像进行后续图像分类，目标检测等多种视觉任务，成为一个需要解决的问题。

技术实现思路

[0005]本专利技术的目的在于克服现有技术的不足，提供一种基于异质图注意力机制的特征融合方法，所述方法能够将多光谱图像从三个维度进行图嵌入，获得融合多个图的特征的异质图，可以能够获得融合更多维度的信息的图结构，同时提升特征融合的效果。
[0006]本专利技术解决上述技术问题的技术方案是：
[0007]一种基于异质图注意力机制的特征融合方法，包括以下步骤：
[0008](S1)、获取多光谱图像，并通过流形学习与空谱嵌入的方法进行数据特征的提取与降维；
[0009](S2)、将降维的多光谱数据分别经过红外光谱波的特征提取获得物理特征图，通过空间超像素分割技术获得空间特征图，基于光谱相似性构造光谱特征图；
[0010](S3)、对于得到的三个特征图的节点与边进行分析，采用基于图神经网络的边和节点链接方法，将三个不同类型节点和边的特征图进行连接；
[0011](S4)、将连接成的特征图，采用基于注意力的图池化方法，对新图的节点进行提取与聚合信息，获得最终融合多源特征的异质图。
[0012]优选的，在步骤(S1)中，所述的多光谱图像由可以同时采集3个及以上光谱带的多光谱相机拍摄的。
[0013]优选的，在步骤(S2)中，所述的特征提取与降维，是通过增广向量表示多光谱图像的波段阵列编码和多光谱图像的空间像素邻域编码的融合形式，将融合后的数据信息利用空谱嵌入完成不同像素光谱特征相似性的权重分配，通过流形学习对局部邻域空间和光谱
信息进行相似性分类与特征降维。
[0014]优选的，在步骤(S2)中，所述的三个特征图的获取是：利用降维后的光谱数据，结合红外光谱特征提取光谱数据的物理特征图；可以利用线性迭代聚类的方法确定超像素邻居节点信息，依据超像素的空间连通性关系构建节点之间的边连接关系，提取空间特征图；结合目标的光谱特征相似性，设计邻接矩阵，从不同的光谱波段维度抽样重组得到目标光谱特征分布，利用图神经网络有效表示驻留在平滑流形上的光谱数据。
[0015]优选的，在步骤(S3)中，所述链接的网络模型为图自编码器。其中，所述的自编码器包括但不限于图卷积自编码器、变分图卷积自编码器、对抗正则化图自编码器。
[0016]优选的，在步骤(S4)中，所述的图池化方法包括但不限于DiffPool，SAGPool，ASAP。
[0017]经由上述的技术方案得知，本专利技术公开提供一种基于异质图注意力机制的特征融合方法，与现有技术相比的有益效果在于：
[0018]所述方法该方法从多个维度提取特征图，包括空间特征、物理特征和光谱特征等。这些特征能够有效地捕捉不同维度的信息，获得更全面和准确的特征表示，这种方法还可以减少特征图之间的冗余信息，并增加特征图之间的互补性，提高了多光谱图像处理的准确性和稳定性。通过融合异质的特征图，可以降低特征提取过程中的噪声和干扰，从而提高特征提取的准确性和稳定性。此外，使用异质特征融合方法可以使得模型更具有泛化能力，获得更好的处理效果。融合多个图的特征的异质图，可以能够获得融合更多维度的信息的图结构，能够提升特征融合的效果。
附图说明
[0019]图1为本专利技术的一种基于异质图注意力机制的特征融合方法的流程框图。
[0020]图2为本专利技术的获得融合异质图的过程示意图。
具体实施方式
[0021]下面结合实施例及附图对本专利技术作进一步详细的描述，但本专利技术的实施方式不限于此。
[0022]参见图1，本专利技术的一种基于异质图注意力机制的特征融合方法包括以下步骤：
[0023](S1)、获取多光谱图像，并通过流形学习与空谱嵌入的方法进行数据特征的提取与降维；
[0024](S2)、将降维的多光谱数据分别经过红外光谱波的特征提取获得物理特征图，通过空间超像素分割技术获得空间特征图，基于光谱相似性构造光谱特征图；
[0025](S3)、对于得到的三个特征图的节点与边进行分析，采用基于图神经网络的边和节点链接方法，将三个不同类型节点和边的特征图进行连接；
[0026](S4)、将连接成的特征图，采用基于注意力的图池化方法，对新图的节点进行提取与聚合信息，获得最终融合多源特征的异质图。
[0027]参见图1，在步骤(S1)中，所述的获取的多光谱数据是由四个波段的多光谱图像组成。
[0028]另外，所述的融合光谱和空间信息的增广向量可由下式表示：
[0029]x＝(u,v,b1,b2,...,b
B
)＝(x1,x2,...,x
B+2
)
T
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)
[0030]其中h(u,v)为图像网格平面上的某一像素，(b1,b2,b3,b
B
)为波段阵列。
[0031]具体的实施例中我们获取了4个波段的图像，故B＝4。
[0032]另外，所述的空谱信息嵌入和流形学习的特征提取与降维，是以L个标记像素的增广向量作为训练数据，归一化后对任一x
i
在监督模式下进行同类别分类，并通过k最近邻算法构建像素局部邻域，进一步结合流形学习框架编码邻域数据的流形局部拓扑进行特征降维。
[0033][0034]其中，y
i
为x
i
学习到的m维特征，{W
ij
}为输入数据和Di＝∑jW
ij
之间相似性的正权重，原始x
i
和x
j
之间的特征相似性约束可通过降维得到的y
i
和y
j
之间的特征欧式距离度量指标来保持。
[0035]具体的实施例中，增广向量中标记的元素个数为6。
[0036]另外，基于空间谱多本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于异质图注意力机制的特征融合方法，其特征在于，包括以下步骤：(S1)、获取多光谱图像，并通过流形学习与空谱嵌入的方法进行数据特征的提取与降维；(S2)、将降维的多光谱数据分别经过红外光谱波的特征提取获得物理特征图，通过空间超像素分割技术获得空间特征图，基于光谱相似性构造光谱特征图；(S3)、对于得到的三个特征图的节点与边进行分析，采用基于图神经网络的边和节点链接方法，将三个不同类型节点和边的特征图进行连接；(S4)、将连接成的特征图，采用基于注意力的图池化方法，对新图的节点进行提取与聚合信息，获得最终融合多源特征的异质图。2.根据权利要求1所述的一种基于异质图注意力机制的特征融合方法，其特征在于，在步骤(S1)中，所述的多光谱图像由可以同时采集3个及以上光谱带的多光谱相机拍摄的。3.根据权利要求1所述的一种基于异质图注意力机制的特征融合方法，其特征在于，在步骤(S2)中，所述的特征提取与降维，是通过增广向量表示多光谱图像的波段阵列编码和多光谱图像的空间像素邻域编码的融合形式，将融合后的数据信息利用空谱嵌入完成...

【专利技术属性】
技术研发人员：邸江磊，江文隽，秦智坚，吴计，王萍，任振波，秦玉文，
申请(专利权)人：广东工业大学，
类型：发明
国别省市：