图像特征融合方法、设备和介质技术

公开了图像特征融合方法、设备及介质。所述图像特征融合方法，包括：将具有关联关系的至少两个图像输入至特征提取网络；通过所述特征提取网络，分别提取所述至少两个图像中的每一个图像所对应的特征信息；提供提取出的特征信息，作为图卷积神经网络中的各节点的点特征信息；以及通过所述图卷积神经网络，基于各节点的点特征信息和连接各节点的边的边特征信息，确定每一个节点的融合后的特征信息，基于每一个节点的融合后的特征信息，更新所述至少两个图像中的每一个图像所对应的特征信息，以得到每一个图像所对应的融合特征信息，其中所述边特征信息为指示所连接的两个节点之间的依赖关系强弱的权重值，并且所述依赖关系强弱包括至少三种不同的级别。

Image feature fusion methods, devices and media

【技术实现步骤摘要】
图像特征融合方法、设备和介质
本公开涉及机器学习的
，更具体地说，涉及图像特征融合方法、设备和介质。
技术介绍
机器学习是研究怎样使用计算机模拟或实现人类学习活动的科学，是人工智能中最具智能的特征，并且是最前沿的研究领域之一。自20世纪80年代以来，机器学习作为实现人工智能的途径，在人工智能界引起了广泛的兴趣，特别是近十几年来，机器学习领域的研究工作发展很快，它已成为人工智能的重要课题之一。一个系统是否具有学习能力已成为是否具有“智能”的一个标志。在机器学习中，通常需要构造一个模型(如，神经网络)来对于输入的信息进行特征提取，并基于各个提取出的特征而输出相应的分析结果(如，预测结果)。特征融合方法通过联合各特征的有效信息进行学习，能够获得良好的模型性能。目前的特征融合技术主要包括基于神经网络的方法。然而，基于传统的神经网络而实现的特征融合仅适用于欧几里得空间的数据，比如作为规则的正方形栅格的图像数据和作为规则的一维序列的语音数据。但是传统的神经网络并不能处理具有不规则空间结构的非欧几里得空间的数据，例如从推荐系统、分子结构、脑信号等抽象出来的图谱或具有特定关联关系的多个图像。这些图谱结构中每个节点连接不尽相同，例如，有些节点有三个连接，而有些节点只有两个连接。基于传统的神经网络的特征融合方法均无法利用和学习特征之间的拓扑关系。为了处理这种非欧几里得空间的数据，可以使用图卷积神经网络(GCN)。与传统的神经网络不同，图卷积神经网络主要由节点、边以及邻接矩阵(由边特征组成)表示。一个节点的特征可以基于与其连接的其他节点的特征来融合和更新。目前的基于GCN的特征融合主要是基于固定的邻接矩阵来执行特征融合。邻接矩阵表示相邻节点之间的依赖关系(即为边特征)。邻接矩阵由先验知识或固有规律提前设置好，通常为二值编码，即：0或1，不会随着网络进行迭代更新。然而，随着网络的不断学习，固定的邻接矩阵并不利于网络很好地捕捉到节点间的边特征信息，从而影响节点特征参数的更新。
技术实现思路
鉴于以上情形，考虑将可学习的边特征集成到传统的图卷积神经网络中以实现特征融合。根据本公开的一个方面，提供了一种图像特征融合方法，包括：将具有关联关系的至少两个图像输入至特征提取网络；通过所述特征提取网络，分别提取所述至少两个图像中的每一个图像所对应的特征信息；提供提取出的特征信息，作为图卷积神经网络中的各节点的点特征信息；通过所述图卷积神经网络，基于各节点的点特征信息和连接各节点的边的边特征信息，确定每一个节点的融合后的特征信息；以及基于每一个节点的融合后的特征信息，更新所述至少两个图像中的每一个图像所对应的特征信息，以得到每一个图像所对应的融合特征信息，其中所述边特征信息为指示所连接的两个节点之间的依赖关系强弱的权重值，并且所述依赖关系强弱包括至少三种不同的级别。另外，在根据本公开实施例的方法中，所述边特征信息通过以下训练过程而确定：提供至少两个训练特征信息，作为图卷积神经网络中的各节点的点特征信息，并将连接各节点的边的边特征信息设置为初始值；基于第一参数矩阵，确定各个边特征信息的映射信息；基于第二参数矩阵，确定各个点特征信息的映射信息；将基于各个点特征信息的映射信息和各个边特征信息的映射信息而融合后的特征信息提供至分析网络；确定分析网络输出的分析结果与标注结果之间的损失函数；基于损失函数调整第一参数矩阵和第二参数矩阵，直至所述损失函数收敛为止；基于损失函数收敛时的第二参数矩阵和所述边特征信息的初始值，更新所述边特征信息。另外，在根据本公开实施例的方法中，通过所述图卷积神经网络，基于各节点的点特征信息和连接各节点的边的边特征信息，确定每一个节点的融合后的特征信息进一步包括：对于每一个节点，确定各节点的点特征信息相对于该节点的映射信息；以及基于所述映射信息和所述边特征信息，确定该节点的融合后的特征信息。另外，在根据本公开实施例的方法中，连接两个节点之间的边是有向边，并且从一个节点指向另一个节点的边所对应的权重值与从所述另一个节点指向所述一个节点的边所对应的权重值不同。另外，在根据本公开实施例的方法中，基于更新后的各节点的点特征信息和各个边的边特征信息，确定每一个节点的融合后的特征信息进一步包括：对于每一个节点，基于与该节点连接的其他节点的点特征信息与对应边的边特征信息，确定该节点的融合后的特征向量。另外，在根据本公开实施例的方法中，所述至少两个图像为至少两个具有不同时序信息的图像。另外，根据本公开实施例的方法可以进一步包括：基于各个边的边特征信息，确定所述图卷积神经网络中各节点之间的拓扑关系图。根据本公开的另一方面，提供了一种图像特征融合设备，包括：特征提取装置，用于将具有关联关系的至少两个输入数据提供至特征提取网络，并通过所述特征提取网络，分别提取与所述至少两个输入数据对应的至少两个特征信息；以及特征融合装置，用于提供所述至少两个特征信息，作为图卷积神经网络中的各节点的点特征信息，通过所述图卷积神经网络，基于各节点的点特征信息和连接各节点的边的边特征信息，确定每一个节点的融合后的特征信息，并基于每一个节点的融合后的特征信息，更新所述至少两个图像中的每一个图像所对应的特征信息，以得到每一个图像所对应的融合特征信息，其中所述边特征信息为指示所连接的两个节点之间的依赖关系强弱的权重值，并且所述依赖关系强弱包括至少三种不同的级别。另外，根据本公开实施例的设备进一步包括：训练装置，用于对所述图卷积神经网络进行训练，并且在训练过程中，所述特征融合装置被配置为执行以下处理：提供至少两个训练特征信息，作为图卷积神经网络中的各节点的点特征信息，并将连接各节点的边的边特征信息设置为初始值；基于第一参数矩阵，确定各个边特征信息的映射信息；基于第二参数矩阵，确定各个点特征信息的映射信息；将基于各个点特征信息的映射信息和各个边特征信息的映射信息而融合后的特征信息提供至分析网络，其中所述训练装置进一步被配置为：确定分析网络输出的分析结果与标注结果之间的损失函数；基于损失函数调整第一参数矩阵和第二参数矩阵，直至所述损失函数收敛为止；其中，所述设备进一步包括：边特征信息确定单元，用于基于损失函数收敛时的第二参数矩阵和所述边特征信息的初始值，更新所述边特征信息。另外，在根据本公开实施例的设备中，所述特征融合装置进一步被配置为：对于每一个节点，确定各节点的点特征信息相对于该节点的映射信息；以及基于所述映射信息和所述边特征信息，确定该节点的融合后的特征信息。另外，在根据本公开实施例的设备中，连接两个节点之间的边是有向边，并且从一个节点指向另一个节点的边所对应的权重值与从所述另一个节点指向所述一个节点的边所对应的权重值不同。另外，在根据本公开实施例的设备中，所述特征融合装置进一步被配置为：对于每一个节点，基于与该节点连接的其他节点的点特征信息与对应边的边特征信息，确定该节点的融合后的特征向量。另外，在根据本公开实施例的设备中，所述至少两个图像为至少两个具有不同时序信本文档来自技高网...

【技术保护点】
1.一种图像特征融合方法，包括：/n将具有关联关系的至少两个图像输入至特征提取网络；/n通过所述特征提取网络，分别提取所述至少两个图像中的每一个图像所对应的特征信息；/n提供提取出的特征信息，作为图卷积神经网络中的各节点的点特征信息；/n通过所述图卷积神经网络，基于各节点的点特征信息和连接各节点的边的边特征信息，确定每一个节点的融合后的特征信息；以及/n基于每一个节点的融合后的特征信息，更新所述至少两个图像中的每一个图像所对应的特征信息，以得到每一个图像所对应的融合特征信息，/n其中所述边特征信息为指示所连接的两个节点之间的依赖关系强弱的权重值，并且所述依赖关系强弱包括至少三种不同的级别。/n

【技术特征摘要】
1.一种图像特征融合方法，包括：
将具有关联关系的至少两个图像输入至特征提取网络；
通过所述特征提取网络，分别提取所述至少两个图像中的每一个图像所对应的特征信息；
提供提取出的特征信息，作为图卷积神经网络中的各节点的点特征信息；
通过所述图卷积神经网络，基于各节点的点特征信息和连接各节点的边的边特征信息，确定每一个节点的融合后的特征信息；以及
基于每一个节点的融合后的特征信息，更新所述至少两个图像中的每一个图像所对应的特征信息，以得到每一个图像所对应的融合特征信息，
其中所述边特征信息为指示所连接的两个节点之间的依赖关系强弱的权重值，并且所述依赖关系强弱包括至少三种不同的级别。


2.根据权利要求1所述的方法，其中所述边特征信息通过以下训练过程而确定：
提供至少两个训练特征信息，作为图卷积神经网络中的各节点的点特征信息，并将连接各节点的边的边特征信息设置为初始值；
基于第一参数矩阵，确定各个边特征信息的映射信息；
基于第二参数矩阵，确定各个点特征信息的映射信息；
将基于各个点特征信息的映射信息和各个边特征信息的映射信息而融合后的特征信息提供至分析网络；
确定分析网络输出的分析结果与标注结果之间的损失函数；
基于损失函数调整第一参数矩阵和第二参数矩阵，直至所述损失函数收敛为止；
基于损失函数收敛时的第二参数矩阵和所述边特征信息的初始值，更新所述边特征信息。


3.根据权利要求1所述的方法，其中通过所述图卷积神经网络，基于各节点的点特征信息和连接各节点的边的边特征信息，确定每一个节点的融合后的特征信息进一步包括：
对于每一个节点，确定各节点的点特征信息相对于该节点的映射信息；以及
基于所述映射信息和所述边特征信息，确定该节点的融合后的特征信息。


4.根据权利要求1所述的方法，其中连接两个节点之间的边是有向边，并且从一个节点指向另一个节点的边所对应的权重值与从所述另一个节点指向所述一个节点的边所对应的权重值不同。


5.根据权利要求1所述的方法，其中基于更新后的各节点的点特征信息和各个边的边特征信息，确定每一个节点的融合后的特征信息进一步包括：
对于每一个节点，基于与该节点连接的其他节点的点特征信息与对应边的边特征信息，确定该节点的融合后的特征向量。


6.根据权利要求1所述的方法，其中所述至少两个图像为至少两个具有不同时序信息的图像。


7.根据权利要求6所述的方法，进一步包括：
基于各个边的边特征信息，确定所述图卷积神经网络中各节点之间的拓扑关系图。


8.一种图像特征融合设备，包括：
特征提取装置，用于将具有关联关系的至少两个图像输入至特征提...

【专利技术属性】
技术研发人员：李悦翔，陈嘉伟，郑冶枫，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：广东;44