【技术实现步骤摘要】
本专利技术涉及知识迁移，具体涉及一种基于中介空间构建的电力跨模态双向知识迁移方法。
技术介绍
1、知识迁移是指将从一个领域或任务中学到的知识应用于另一个领域或任务中的过程，比如将视觉域学到的知识应用到文本域。它可以帮助我们利用已有的知识和经验来解决新的问题或任务，从而加快学习过程和提高性能。知识迁移的目标是通过利用已有的知识和经验来提高新任务的学习效率和性能。在电力领域中，很多业务场景会用到视觉域-文本域知识迁移。
2、在电力领域中，很多业务场景会用到视觉域-文本域知识迁移。然而因为视觉域和文本域之间存在模态的差异，因此无法直接进行知识迁移。
技术实现思路
1、有鉴于此，本专利技术提供了一种基于中介空间构建的电力跨模态双向知识迁移方法及装置，以解决如何在跨模态数据之间进行知识迁移的问题。
2、第一方面，本专利技术提供了一种基于中介空间构建的电力跨模态双向知识迁移方法，方法包括：采用图建模和图神经网络提取第一模态数据的第一特征，采用大语言模型提取第二模态数据的第二特征；基于第一特征和第二特征的相似度以及对应的损失函数构建中介空间；采用中介空间中的损失函数对图神经网络和大语言模型中的参数迭代优化；基于图建模、参数迭代优化后的图神经网络以及大语言模型提取的特征在中介空间中进行知识迁移。
3、本专利技术实施例提供的基于中介空间构建的电力跨模态双向知识迁移方法，通过采用图建模和图神经网络提取第一模态数据的第一特征，采用大语言模型提取第二模态数据的第二特征；
4、在一种可选的实施方式中，第一模态数据为图像数据，采用图建模和图神经网络提取第一模态数据的第一特征包括：采用图建模提取第一模态数据的对象节点集、连接节点集以及节点标签；采用图神经网络分别提取对象节点集的第一节点特征和连接节点集的第一连接特征；基于图神经网络的权重矩阵和节点标签的乘积确定节点标签语义特征以及连接标签语义特征；基于第一节点特征和节点标签语义特征以及第一连接特征和连接标签语义特征的联合优化确定第一模态数据的第一特征。
5、在一种可选的实施方式中，基于第一节点特征和节点标签语义特征以及第一连接特征和连接标签语义特征的联合优化确定第一模态数据的第一特征，包括：基于激活函数以及图神经网络的权重矩阵对第一节点特征和节点标签语义特征的联合处理得到初始联合节点特征；基于激活函数以及图神经网络的权重矩阵对第一连接特征和连接标签语义特征的联合处理得到初始联合连接特征；基于初始联合节点特征进行联合节点特征的优化，基于初始联合连接特征和对应连接的初始联合节点特征进行联合连接特征的优化，得到优化后的联合节点特征和联合连接特征，联合节点特征和联合连接特征构成第一特征。
6、本实施例中，通过图神经网络提取第一节点特征和节点标签语义特征以及第一连接特征和连接标签语义特征，并采用联合优化的方式进行特征优化更新，能够有效地传播和整合信息，从而在整个图像数据上获取全局上下文。
7、在一种可选的实施方式中，第二模态数据为文本数据，采用大语言模型提取第二模态数据的第二特征，包括：获取第二模态数据的语序路径作为对象节点、第二模态数据的语义特征作为连接节点；采用大语言模型提取对象节点的语序特征以及连接节点的语义特征，语序特征和语义特征构成第二特征。
8、本实施例中，基于语序-语义的上下文特征表示进行文本特征提取，具体采用大语言模型进行特征提取，能够有效地捕捉文本的语序和语义所蕴含的上下文关系。
9、在一种可选的实施方式中，基于第一特征和第二特征的相似度以及对应的损失函数构建中介空间，包括：计算第一特征和第二特征的相似度；基于相似度的最大化构建损失函数，相似度和损失函数构成中介空间。
10、本实施例中，通过相似度计算以及相似度最大化构建损失函数，能够使得基于相似度和损失函数构建的中介空间中能够精准实现不同模态之间的双向知识迁移。
11、在一种可选的实施方式中，损失函数采用如下公式表示：
12、
13、式中，表示相似度，和表示超参数，代表锚点，代表正样本，代表第一负样本，代表第二负样本，代表模态，表示第一模态，表示第二模态。
14、在一种可选的实施方式中，第一特征包括联合节点特征和联合连接特征，第二特征包括语序特征和语义特征；计算第一特征和第二特征的相似度，包括：采用内积计算联合节点特征和语序特征的第一相似度；采用内积计算联合连接特征和语义特征的第二相似度；将第一相似度和第二相似度相加得到第一特征和第二特征的相似度。
15、本实施例中，由于第一特征和第二特征中分别包括两个特征，因此分别计算对应特征的相似度，再进行两个相似度的加和，从而能够实现相似度的准确计算。
16、第二方面，本专利技术提供了一种基于中介空间构建的电力跨模态双向知识迁移装置，装置包括：特征提取模块，用于采用图建模和图神经网络提取第一模态数据的第一特征，采用大语言模型提取第二模态数据的第二特征；空间构建模块，用于基于第一特征和第二特征的相似度以及对应的损失函数构建中介空间；优化模块，用于采用中介空间中的损失函数对图神经网络和大语言模型中的参数迭代优化；知识迁移模块，用于基于图建模、参数迭代优化后的图神经网络以及大语言模型提取的特征在中介空间中进行知识迁移。
17、第三方面，本专利技术提供了一种计算机设备，包括：存储器和处理器，存储器和处理器之间互相通信连接，存储器中存储有计算机指令，处理器通过执行计算机指令，从而执行上述第一方面或其对应的任一实施方式的基于中介空间构建的电力跨模态双向知识迁移方法。
18、第四方面，本专利技术提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机指令，计算机指令用于使计算机执行上述第一方面或其对应的任一实施方式的基于中介空间构建的电力跨模态双向知识迁移方法。
本文档来自技高网...【技术保护点】
1.一种基于中介空间构建的电力跨模态双向知识迁移方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述第一模态数据为图像数据，采用图建模和图神经网络提取第一模态数据的第一特征包括：
3.根据权利要求2所述的方法，其特征在于，基于第一节点特征和节点标签语义特征以及第一连接特征和连接标签语义特征的联合优化确定第一模态数据的第一特征，包括：
4.根据权利要求1所述的方法，其特征在于，所述第二模态数据为文本数据，采用大语言模型提取第二模态数据的第二特征，包括：
5.根据权利要求1所述的方法，其特征在于，基于第一特征和第二特征的相似度以及对应的损失函数构建中介空间，包括：
6.根据权利要求5所述的方法，其特征在于，所述损失函数采用如下公式表示：
7.根据权利要求5所述的方法，其特征在于，第一特征包括联合节点特征和联合连接特征，第二特征包括语序特征和语义特征；计算第一特征和第二特征的相似度，包括：
8.一种基于中介空间构建的电力跨模态双向知识迁移装置，其特征在于，所述装置包括：>
9.一种计算机设备，其特征在于，包括：
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机指令，所述计算机指令用于使计算机执行权利要求1至7中任一项所述的基于中介空间构建的电力跨模态双向知识迁移方法。
...【技术特征摘要】
1.一种基于中介空间构建的电力跨模态双向知识迁移方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述第一模态数据为图像数据，采用图建模和图神经网络提取第一模态数据的第一特征包括：
3.根据权利要求2所述的方法，其特征在于，基于第一节点特征和节点标签语义特征以及第一连接特征和连接标签语义特征的联合优化确定第一模态数据的第一特征，包括：
4.根据权利要求1所述的方法，其特征在于，所述第二模态数据为文本数据，采用大语言模型提取第二模态数据的第二特征，包括：
5.根据权利要求1所述的方法，其特征在于，基于第一特征和第二特征的相似度以及对应的损失函数...
【专利技术属性】
技术研发人员：郑敏，吴春鹏，王岳，叶青河，刘卫卫，常珂，周飞，
申请(专利权)人：国网智能电网研究院有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。