一种基于大模型和混合专家的增强感知命名实体识别方法技术

技术编号:43736974 阅读:45 留言:0更新日期:2024-12-20 12:59
本发明专利技术提供一种基于大模型和混合专家的增强感知命名实体识别方法,设计有四个任务单元架构,包括:基于文生图模型的数据增强任务、图文检索任务、基于混合专家模型的多模态信息融合任务以及基于大模型的生成式命名实体识别任务,本发明专利技术设计架构科学可靠,增强了改进命名实体识别的效果,利用大模型本身丰富的知识,为命名实体识别提供额外知识,增强外部信息,从而辅助命名实体识别效果;充分利用图像知识,并利用混合专家模型筛选重要信息,去除干扰信息,增强命名实体识别的鲁棒性;利用检索模型检索相似的命名实体识别例子,为目标样本识别提供增强的知识,增强实体识别性能,与现有技术相比,本发明专利技术提出的方法具有良好的性能。

【技术实现步骤摘要】

本专利技术属于自然语言处理和计算机视觉,尤其是一种基于大模型和混合专家的增强感知命名实体识别方法


技术介绍

1、命名实体识别技术近年来受到了广泛的关注,是统一数据管理系统中最基础的领域之一;尽管现有的命名实体识别相关工作取得了显著的性能,但是在统一数据管理系统中往往存在以下缺陷:

2、一、单一模态的局限性使得我们无法从文本信息中获取足够的上下文来准确识别实体。

3、例如,在没有具体上下文的情况下,“apple”这个词既可以指代一种水果,也可以指代一家科技公司,这就造成了词义歧义问题。

4、二、文本信息本身可能并不完整,缺乏必要的视觉线索,这对于理解某些文本内容至关重要。

5、比如,由于语言和文化差异,同一文本描述可能对应不同的场景;再如,描述一场比赛时,文本可能不会详细到每个运动员的具体动作或场景,导致信息缺失。

6、三、噪音和非结构化数据也是一大难题。

7、不同来源和传播途径的文本,如个人发布的社交媒体内容、官方文件、纸质书籍或网页等,这些文本往往是非结构化的,并且可能包含不同程度本文档来自技高网...

【技术保护点】

1.一种基于大模型和混合专家的增强感知命名实体识别方法,其特征在于,设计有四个任务单元架构,包括:基于文生图模型的数据增强任务、图文检索任务、基于混合专家模型的多模态信息融合任务以及基于大模型的生成式命名实体识别任务,其中:

2.根据权利要求1所述的一种基于大模型和混合专家的增强感知命名实体识别方法,其特征在于,提取来自所述文本信息和图像信息混合的高级特征,可以增强所述文生图模型对复杂实体的理解。

3.根据权利要求1所述的一种基于大模型和混合专家的增强感知命名实体识别方法,其特征在于,所述余弦相似度,其公式设计为:

4.根据权利要求1所述的一种基于大模...

【技术特征摘要】

1.一种基于大模型和混合专家的增强感知命名实体识别方法,其特征在于,设计有四个任务单元架构,包括:基于文生图模型的数据增强任务、图文检索任务、基于混合专家模型的多模态信息融合任务以及基于大模型的生成式命名实体识别任务,其中:

2.根据权利要求1所述的一种基于大模型和混合专家的增强感知命名实体识别方法,其特征在于,提取来自所述文本信息和图像信息混合的高级特征,可以增强所述文生图模型对复杂实体的理解。

3.根据权利要求1所述的一种基于大模型和混合专家的增强感知命名实体识别方法,其特征在于,所述余弦相似度,其公式设计为:

4.根据权利要求1所述的一种基于大模型和混合专家的增强感知命名实体识别方法,其特征在于,通过对所述数据库的检索,抽取相似度最高的k个图文对,用以提升相关图文特征的信息完备性。

5.根据权利要求4所述的一种基于大模型和混合专家的增强感知命名实体识别方法,其特征在于,所述相似度最高的k个图文对,作为知识增强样本。

6.根据权利要求1所述的一种基于大模型和混合专家的增强感知命名实体识...

【专利技术属性】
技术研发人员:赵彦涛刘娜崔凌潇胡慧云孔竣达肖波范富岭徐宁戴娜娜范明阳姚圣平张凯张海涛
申请(专利权)人:国网山东省电力公司德州供电公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1