基于标签增强的图像文本事件抽取方法、系统、设备技术方案

本发明专利技术提供一种基于标签增强的图像文本事件抽取方法、系统、设备，涉及人工智能领域，首先获取输入数据的目标文本，并对目标文本进行编码以获取目标文本中每个单字的文本序列表示矩阵；其中，输入数据包括输入文本、输入图像，因此，事件抽取不仅可以针对文本内容，还可以针对图像，如此实现多模态事件抽取，再将确定为首触发词和尾触发词的目标文本字符所在的语句作为抽取事件，整个过程利用预训练的文本表示模型和标签模型对文本和标签分别进行语义表示，通过设计标签注意力模块来捕捉事件标签对待抽取语句中的触发词和要素之间的依赖关系，能够实现在标注数据量少的情况下提高事件抽取的效果，提高事件抽取的准确度。提高事件抽取的准确度。提高事件抽取的准确度。

【技术实现步骤摘要】
基于标签增强的图像文本事件抽取方法、系统、设备


[0001]本专利技术涉及人工智能
，更为具体地，涉及一种基于标签增强的图像文本事件抽取方法、系统、电子设备。

技术介绍

[0002]在事件抽取任务中，现有的方法主要依赖于监督学习，并需要大规模的标记事件数据集，然而，这些数据集在实际应用中并不容易获得。ACE05数据是现有的为数不多的有标签事件数据之一，通过在新闻、博客等数据上进行人工标注得到。ACE数据的标注质量不高以及规模较小的问题，也在很大程度上影响了事件抽取任务的发展。
[0003]为了解决数据稀少导致训练效果不佳的问题，研究者们尝试从已有的知识库中提取更多带标签的信息用于训练数据的自动生成，利用知识库Freebase、Wikipedia和语言知识库FrameNet，基于Soft Distant Supervision（DS）和神经网络模型自动构建大规模训练数据。但现有的技术方案进行事件抽取时，没有考虑引入事件类型和要素角色类型标签的语义信息，往往将事件和要素角色类型标签视为没有语义信息的符号。然而，事件类型标签是包含语义信本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于标签增强的图像文本事件抽取方法，其特征在于，包括：通过预设的文本序列表示模型获取输入数据的目标文本，并对所述目标文本进行编码以获取所述目标文本中每个单字的文本序列表示矩阵；其中，所述输入数据包括输入文本、输入图像；若所述输入数据为输入文本，则直接将所述输入文本作为所述输入数据的目标文本；若所述输入数据为输入图像，则通过所述文本序列表示模型中的图像判定单元判定所述输入图像为纯文本图像还是非纯文本图像，若所述输入图像为纯文本图像，则通过所述文本序列表示模型中的文字提取单元对所述纯文本图像进行文本识别以获取提取文本，并将所述提取文本作为所述输入数据的目标文本；若所述输入图像为非纯文本图像，则通过所述文本序列表示模型中的图像特征提取模块获取所述非纯文本图像的文本向量表示、视觉实体向量表示和视觉特征向量表示，将所述视觉实体向量表示和所述视觉特征向量表示转换为与所述文本向量表示相同大小的表示向量，并对所述表示向量和所述文本向量表示进行按位相加以获取语义信息，并将所述语义信息作为所述输入数据的目标文本；通过预设的标签模型获取已知的与所述目标文本对应的标签，并对所述标签进行语义编码以获取标签表示矩阵；通过预设的标签注意力模块基于所述标签表示矩阵和所述文本序列表示矩阵捕获所述标签和所述目标文本中单字的相关性数据，基于所述相关性数据获取所有标签下对各个单字的最大权重值，以根据所述最大权重值为每一标签匹配单字，并对所有匹配的标签和单字进行向量表示以形成预测向量；将所述预测向量输入至预设的模型分类器中，以使所述模型分类器根据所述预测向量获取与所述预测向量对应的标签下，与所述预测向量对应的目标文本字符为首触发词和尾触发词的首触发概率和尾触发概率，并根据所述首触发概率和所述尾触发概率判断所述目标文本字符是否为首触发词和尾触发词；其中，所述目标文本字符为所述目标文本中单字或单词对应的字符；将确定为首触发词和尾触发词的目标文本字符所在的语句作为抽取事件。2.如权利要求1所述的基于标签增强的图像文本事件抽取方法，其特征在于，对所述目标文本进行编码以获取所述目标文本中每个单字的文本序列表示矩阵的步骤，包括：获取所述目标文本的文本序列；获取所述文本序列的单字的稀疏向量；将所述稀疏向量映射到稠密的向量空间中以获取稠密向量；将所述稠密向量作为文本序列表示矩阵。3.如权利要求2所述的基于标签增强的图像文本事件抽取方法，其特征在于，基于所述标签表示矩阵和所述文本序列表示矩阵捕获所述标签和所述目标文本中单字的相关性数据，基于所述相关性数据获取所有标签下对各个单字的最大权重值的步骤，包括：计算第k个标签表示矩阵和第l个单字的单字向量的范数乘积以获取归一化矩阵；通过所述标签表示矩阵的转置与所述文本序列表示矩阵的乘积、所述归一化矩阵获取第l个单字所属短语的相关性数据；所述单字所属短语为第l个单字向前数m个单字至第l个单字向后数m个单字所构成的短语；通过所述相关性数据和预设的权重矩阵、偏置向量计算第l个单字的权重向量；对所述权重向量进行最大池化计算以获取最大权重，并对所述最大权重进行归一化计
算以获取标签对所述第l个单字的最大权重值。4.如权利要求3所述的基于标签增强的图像文本事件抽取方法，其特征在于，对所有匹配的标签和单字进行向量表示以形成预测向量为：；其中，为第l个单字的预测向量，为所述第l个单字的最大权重值；为第l个单字的文本序列表示矩阵。5.如权利要求4所述的基于标签增强的图像文本事件抽取方法，其特征在于，在根据所述预测向量获取与所述预测向量对应的标签下，与所述预测向量对应的目标文本字符为首触发词和尾触发词的首触发概率和尾触发概率的步骤中，包括：利用预设的sigmoid分类器基于sigmiod激活函数判定在与所述预测向量对应的标签的类别r上识别与所述预测向量对应的目标文本字符为首触发词和尾触发词的首触发概率和尾触发概率为：其中，上标表示类别r...

【专利技术属性】
技术研发人员：许诺，
申请(专利权)人：中国传媒大学，
类型：发明
国别省市：