【技术实现步骤摘要】
本专利技术涉及电力数据处理领域，尤其涉及一种基于迁移学习的电力多模态实体关系抽取方法及装置。
技术介绍
1、随着信息技术的高速发展，每天都有海量的电力数据产生，数据的模态呈多样化趋势，包括文本、图像等。多模态数据爆炸式增长且电力领域文本与图像蕴含着丰富的非结构化电力实体和关系，然而现有技术却很难有效地从中获取有价值的信息。因此，如何完善的电力多模态实体关系抽取技术，从大量多模态数据中提炼有效信息，刻画多模态信息间的关联，对后期电力多模态知识图谱的构建和业务智能应用至关重要。
2、现有技术方案一：公开号为cn116467679a的专利技术专利《一种半导体领域多模态关系发现方法》公开的方案为：获取图像数据和文本数据；根据图像数据生成场景图；根据文本数据生成依存句法树；使用编码器对文本数据进行编码，得到文本数据中的实体对应的文本编码向量；根据场景图中的实体节点，生成对应的视觉语义向量；将场景图与依存句法树按照实体之间的相似度进行融合，得到第一关联图；将视觉语义向量与文本编码向量按照相似度进行拼接，得到第一向量；将第一向量与第一关联...
【技术保护点】
1.一种基于迁移学习的电力多模态实体关系抽取方法，其特征在于，包括如下步骤：
2.根据权利要求1所述的一种基于迁移学习的电力多模态实体关系抽取方法，其特征在于：所述跨模态关系特征提取模型包括图像实体关系检测模型、文本描述分支网络和特征融合；将图像输入所述图像实体关系检测模型，输出关系视觉嵌入，将文本输入所述文本描述分支网络，先得到词向量，再将词向量转换为文本描述特征，所述特征融合将文本特征描述和关系视觉嵌入进行融合，获得高级特征；将电力领域的多模态数据输入所述跨模态关系特征提取模型，输出高级特征rt，将开放领域的多模态语料输入所述跨模态关系特征提取模型，输
【技术特征摘要】
1.一种基于迁移学习的电力多模态实体关系抽取方法，其特征在于，包括如下步骤：
2.根据权利要求1所述的一种基于迁移学习的电力多模态实体关系抽取方法，其特征在于：所述跨模态关系特征提取模型包括图像实体关系检测模型、文本描述分支网络和特征融合；将图像输入所述图像实体关系检测模型，输出关系视觉嵌入，将文本输入所述文本描述分支网络，先得到词向量，再将词向量转换为文本描述特征，所述特征融合将文本特征描述和关系视觉嵌入进行融合，获得高级特征；将电力领域的多模态数据输入所述跨模态关系特征提取模型，输出高级特征rt，将开放领域的多模态语料输入所述跨模态关系特征提取模型，输出高级特征rs。
3.根据权利要求2所述的一种基于迁移学习的电力多模态实体关系抽取方法，其特征在于：所述图像实体关系检测模型包括主干网络、faster r-cnn网络、roi pooling层以及全连接层；将图像输入所述主干网络获得图像的全局特征，然后通过faster r-cnn层获得主体、关系和客体，再经过roi pooling层获得对应的特征嵌入zs、zp、zo，最后计算交并比iou，当iou>0时，主体和客体的边界框有交，这一对主体和客体之间才有关系，得到对应关系的图片特征和边界框，在得到主体、关系和客体的特征嵌入和边界区域后，在主体图像特征分支、关系分支以及客体图像特征分支后分别连接两个全连接层，经过全连接层w1,2后输出三个中间的隐藏特征和对于主体图像特征分支的隐藏特征再经过全连接层获得最终的视觉嵌入xs，对于客体图像特征分支的隐藏特征再经过全连接层获得最终的视觉嵌入xo；对于关系分支，首先将三个隐藏特征和拼接起来，并将其输入到全连接层以获得更高级别的关系隐藏特征再将主体视觉嵌入xs和客体视觉嵌入xo与关系隐藏特征拼接起来，并将其输入到两个全连接层获得关系视觉嵌入xp。
4.根据权利要求2所述的一种基于迁移学习的电力多模态实体关系抽取方法，其特征在于：所述文本描述分支网络基于google的word2vec模型，每个输入的文本实体通过word2vec模型可以得到一个多维的词向量，然后再对词向量做归一化处理。
5.根据权利要求2所述的一种基于迁移学习的电力多模态实体关系抽取方法，其特征在于：所述特征融合是将基于所述文本描述分支网络得到的词向量，用bi-lstm模型获得文本描述特征，然后再将此文本描述特征与所述图像实体关系检测模型输出的特征进行融合后得到高级特征；设置文本-图像交互损失函数如下：其中，指关系类型的方差，当方差越大，其损失所占的比重就越小。
6.根据权利要求2所述的一种基于迁移学习的电力多模态实体关系抽取方法，其特征在于：所述基于迁移学习的电力多模态实体关系...
【专利技术属性】
技术研发人员：郑略省，庄莉，梁懿，王秋琳，苏江文，张晓东，邱镇，卢大玮，王燕蓉，侯焱伦，张乐桢，周龙，
申请(专利权)人：福建亿榕信息技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。