实体识别方法、装置、计算机设备和介质制造方法及图纸

本申请公开了一种实体识别方法、装置、计算机设备和介质，该方法包括：获取待识别文本以及待识别图像，待识别图像与待识别文本相关联；利用实体识别模型对待识别文本以及待识别图像进行处理，得到待识别文本的第一模态特征以及待识别图像的第二模态特征；其中，实体识别模型是基于样本文本、与样本文本相关联的样本图像、样本图像包括的图像实体以及标签数据训练得到的，标签数据包括图像实体的图像实体标签以及样本文本包括的文本实体的文本实体参考标签；利用实体识别模型对第一模态特征以及第二模态特征进行处理，得到待识别文本的实体识别结果。采用本申请，可以提升实体识别的准确性。准确性。准确性。

【技术实现步骤摘要】
实体识别方法、装置、计算机设备和介质


[0001]本申请涉及计算机
，尤其涉及一种实体识别方法、装置、计算机设备和介质。

技术介绍

[0002]随着计算机与人工智能技术的不断发展，自然语言处理(Nature Language Processing,NLP)成为计算机科学与人工智能领域中的一个重要方向。作为NLP领域中的一项基础任务，命名实体识别(Named Entity Recognition，NER)能够提取文本中的实体标签，在文本搜索、文本推荐、知识图谱构建等领域都起着至关重要的作用，是热点研究方向之一。由于文本信息中实体常常存在歧义，传统NER无法准确识别，因此，多模态NER应运而生。多模态NER在传统NER基础上额外引入了图像，可以为文本补充语义信息来进行歧义消除，近些年来受到人们广泛的关注。然而，图像信息并非总能准确辅助文本信息进行歧义消除。
[0003]因此，如何准确消除文本信息的歧义，提升实体识别的性能成为亟待解决的问题。

技术实现思路

[0004]本申请提供了一种实体识别方法、装置、计算机设备和介质本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种实体识别方法，其特征在于，所述方法包括：获取待识别文本以及待识别图像，所述待识别图像与所述待识别文本相关联；利用实体识别模型对所述待识别文本以及所述待识别图像进行处理，得到所述待识别文本的第一模态特征以及所述待识别图像的第二模态特征；其中，所述实体识别模型是基于样本文本、与所述样本文本相关联的样本图像、所述样本图像包括的图像实体以及标签数据训练得到的，所述标签数据包括所述图像实体的图像实体标签以及所述样本文本包括的文本实体的文本实体参考标签；利用所述实体识别模型对所述第一模态特征以及所述第二模态特征进行处理，得到所述待识别文本的实体识别结果。2.根据权利要求1所述的实体识别方法，其特征在于，所述方法还包括：获取样本文本、与所述样本文本相关联的样本图像、所述样本图像包括的图像实体以及标签数据，所述标签数据包括所述图像实体的图像实体标签以及所述样本文本包括的文本实体的文本实体参考标签；基于所述样本文本、所述样本图像、所述图像实体以及所述标签数据对初始神经网络进行训练，得到所述实体识别模型。3.根据权利要求2所述的实体识别方法，其特征在于，所述获取样本文本、与所述样本文本相关联的样本图像、所述样本图像包括的图像实体以及标签数据，包括：获取样本文本、与所述样本文本相关联的样本图像以及所述样本文本包括的文本实体的文本实体参考标签；对所述样本图像进行图像检测，得到所述样本图像包括的图像实体，并生成所述图像实体的图像实体标签。4.根据权利要求2或3所述的实体识别方法，其特征在于，所述初始神经网络包括特征提取模块、多粒度对齐模块以及实体识别模块，所述基于所述样本文本、所述样本图像、所述图像实体以及所述标签数据对初始神经网络进行训练，得到实体识别模型，包括：调用所述特征提取模块提取所述样本文本和所述图像实体标签的特征，得到样本文本特征和图像实体标签特征；调用所述特征提取模块提取所述样本图像和所述图像实体的特征，得到样本图像特征和图像实体特征；调用所述多粒度对齐模块对所述样本文本特征、所述图像实体标签特征、所述样本图像特征和所述图像实体特征进行对齐处理，得到第一差异数据；调用所述实体识别模块对所述样本文本特征和所述样本图像特征进行实体识别处理，并基于处理结果以及所述文本实体参考标签得到第二差异数据；基于所述第一差异数据和所述第二差异数据对初始神经网络的网络参数进行调整，并将网络参数调整后的神经网络作为实体识别模型。5.根据权利要求4所述的实体识别方法，其特征在于，所述调用所述多粒度对齐模块对所述样本文本特征、所述图像实体标签特征、所述样本图像特征和所述图像实体特征进行对齐处理，得到第一差异数据，包括：调用所述多粒度对齐模块对所述样本文本特征与所述样本图像特征进行对齐处理，得到文本与整图的对齐差异数据；
调用所述多粒度对齐模块对所述样本文...

【专利技术属性】
技术研发人员：刘烨，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：