基于跨模态特征增强网络的多模态命名实体识别方法及系统技术方案

本发明专利技术公开一种基于跨模态特征增强网络的多模态命名实体识别方法及系统，属于自然语言处理的技术领域，本发明专利技术使用一种基于对比语言

【技术实现步骤摘要】
基于跨模态特征增强网络的多模态命名实体识别方法及系统


[0001]本专利技术属于自然语言处理的
，涉及一种基于跨模态特征增强网络的多模态命名实体识别方法及系统
。

技术介绍

[0002]命名实体识别
(Named Entity Recognition
，简称
NER)
，又称作
"
专名识别
"
，是指识别文本中具有特定意义的实体，主要包括人名
、
地名
、
机构名
、
专有名词等
。
[0003]社交媒体平台已经成为了人们获取信息的重要途径，越来越多的网络用户在社交网络上分享自己的生活状态和观点，产生了大量包含文本
、
图像以及音频等类型的社交媒体帖子，这也是多模态数据的重要来源
。
社交媒体数据作为识别网络攻击
、
获取用户兴趣以及舆情监测等任务不可或缺的资源，迫切需要对这些数据进行规范化处理以提取关键信息
。
[0004]社交媒体帖子中本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种基于跨模态特征增强网络的多模态命名实体识别方法，其特征在于，所述方法包括：获取社交媒体数据集；构建并训练命名实体识别模型，所述命名实体识别模型包括：特征提取模块
、
语义增强模块
、
特征融合模块和分类模块，所述特征提取模块利用
BERT
模型作为句子编码器，将社交媒体数据集中的文本数据进行编码，获取模型的隐藏状态作为文本特征表示；所述特征提取模块使用
ResNet
‑
152
网络对社交媒体数据集中的图像特征进行处理，得到图像的特征表示；所述语义增强模块用于社交媒体数据集中的文本数据进行语义扩充；所述多层注意力机制用于对两种模态之间的特征信息进行相互交叉融合；所述分类模块用于对融合后的特征表示进行分类，得到命名实体识别结果；利用训练好的命名实体识别模型对社交媒体数据进行命名实体识别
。2.
根据权利要求1所述的基于跨模态特征增强网络的多模态命名实体识别方法，其特征在于，编码后的单词输入序列为：
[CLS]w1,w2,w3...w
n
[SEP]
；其中
[CLS]
标志放在第一个句子的首位，用于后续的分类任务；
[SEP]
标志用于分开两个句子；
T
＝
{w
1 w
2 w3...w
n
}
表示输入的序列文本；标签序列记为
Y
＝
{y
1 y
2 y3...y
n
}
，其中
Y
是
BIO
标注方法预定义的标签集
。3.
根据权利要求1所述的基于跨模态特征增强网络的多模态命名实体识别方法，其特征在于，使用
ResNet
‑
152
网络对图像进行预处理，将给定的图像大小重新调整为
224
×
224
像素，图像分割为
49
个大小一致的视觉块区域，并使用
2048
维向量表示每个视觉块
。4.
根据权利要求1所述的基于跨模态特征增强网络的多模态命名实体识别方法，其特征在于，所述命名实体识别模型还包括：基于对比语言
‑
图像的多模态预训练模型，所述多模态预训练模型将多模态数据中的特征提取到一个共同的特征空间中
。5.
根据权利要求1所述的基于跨模态特征增强网络的多模态命名实体识别方法，其特征在于，所述语义增强模块中，对于每个实体单词，首先使用预处理好的单词嵌入进行向量映射得到特征表示，并根据余弦相似性提取出一组相似词汇；对提取的单词使用注意力机制进行加权；最后将得到的相似词权重应用于相似词汇，得到每个实体单词的扩充语义
。6.
根据权利要求5所述的...

【专利技术属性】
技术研发人员：张益嘉，周晓迎，袁建园，
申请(专利权)人：大连海事大学，
类型：发明
国别省市：