基于文本和图像的多模态命名实体识别系统技术方案

技术编号:41400138 阅读:42 留言:0更新日期:2024-05-20 19:24
基于文本和图像的多模态命名实体识别系统,为了解决现有的基于多模态实体识别的系统存在多模态实体识别精度低的问题。本发明专利技术基于文本得到文本对应的字级表示、句子级表示以及片段级表示,基于图像获得粗粒度图片对应的特征表示、描述文本表示,以及细粒度图片对应的表示、描述文本表示;然后对特定图像粒度的图像表示进行多模态融合,分别按照考虑及不考虑时间动态的方式将不同图像粒度的表示融合,使用融合表示获得由不同文本粒度查询的多模态表示,再分别使用两个独立的MLP网络层,得到每个实体片段的边界位置和实体片段对应的实体类别的分类概率,结合去噪扩散模型,重复迭代预测,最终实现对实体片段位置和实体类别的预测。

【技术实现步骤摘要】

本专利技术属于智能客服对话以及多模态命名实体识别,具体涉及一种自适应多模态推理网络的多模态命名实体识别系统。


技术介绍

1、智能客服是一种基于人工智能技术的应用,旨在为用户提供快速、准确的问题解答和服务支持。它结合了命名实体识别和知识图谱等自然语言处理技术,通过智能算法对用户提出的问题进行理解和分析,并给出相应的答案或解决方案。该项技术已广泛用于各行业的客户服务领域,在降低人力成本的同时,也能够为用户提供24小时无间断的及时服务体验。而命名实体识别作为后续模型理解分析问题的基础技术,该项技术的目标是针对接收的信息进行相关实体的识别和提取,捕捉到需处理信息中的关键主体和属性,后续可以结合知识图谱进行回复生成。命名实体识别的准确率和召回率直接影响着后续回答的质量,识别错误很可能导致模型对问题的误解并且回复答案的大意偏离。也就是说,命名实体识别技术对推进智能客服这一应用的发展起着关键性的作用。

2、然而对于智能客服领域,需处理的信息往往不只是文字,还有图片这样的多模态信息。此时仅仅处理文本信息则是远远不够的,更多的细粒度信息存在于图片中,尤其是面对有本文档来自技高网...

【技术保护点】

1.基于文本和图像的多模态命名实体识别系统,其特征在于,包括:

2.根据权利要求1所述的基于文本和图像的多模态命名实体识别系统,其特征在于,将片段级融合表示片段聚合表示和三者使用分层的两阶段门控融合得到最终融合后的特征Hm的过程如下:

3.根据权利要求1所述的基于文本和图像的多模态命名实体识别系统,其特征在于,基于预测的实体片段对应的实体类别的分类概率

4.根据权利要求1所述的基于文本和图像的多模态命名实体识别系统,其特征在于,所述的具体处理过程如下:

5.根据权利要求1所述的基于文本和图像的多模态命名实体识别系统,其特征在于,文本特征编码...

【技术特征摘要】

1.基于文本和图像的多模态命名实体识别系统,其特征在于,包括:

2.根据权利要求1所述的基于文本和图像的多模态命名实体识别系统,其特征在于,将片段级融合表示片段聚合表示和三者使用分层的两阶段门控融合得到最终融合后的特征hm的过程如下:

3.根据权利要求1所述的基于文本和图像的多模态命名实体识别系统,其特征在于,基于预测的实体片段对应的实体类别的分类概率

4.根据权利要求1所述的基于文本和图像的多模态命名实体识别系统,其特征在于,所述的具体处理过程如下:

5.根据权利要求1所述的基于文本和图像的多模态命名实体识别系统,其特征在于,文本特征编码单元基于文本得到文本对应的字级表示ht、句子级表示hg以及片段级表示hx的过程包括以下步骤:

6.根据权利要求1所述的基于文本和图像的多模态命名实体识别系统,其特征在于,粗...

【专利技术属性】
技术研发人员:刘铭王泽鑫郑子豪秦兵
申请(专利权)人:哈尔滨工业大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1