一种基于强化学习和迁移学习的命名实体识别方法和装置制造方法及图纸

技术编号:40745352 阅读:26 留言:0更新日期:2024-03-25 20:03
本申请提供了一种基于强化学习和迁移学习的命名实体识别方法和装置,所述方法包括:利用每个高概率预测错误数据对应的第一转换数据以及预设分数对文本打分原始模型进行强化学习训练,得到文本打分模型;将已标注文本数据的第二转换数据输入到文本打分模型中,确定出已标注文本数据对应的文本分数;利用每个已标注文本数据对应的文本分数对源域命名实体识别模型进行迁移学习,以得到目标域对应的目标域命名实体识别模型将目标域对应的医学文本数据输入到目标域命名实体识别模型中,得到目标域命名实体识别模型对医学文本数据进行实体识别的结果。通过方法及装置,提升了命名实体识别模型在目标域的实体识别准确性。

【技术实现步骤摘要】

本申请涉及实体识别,尤其是涉及一种基于强化学习和迁移学习的命名实体识别方法和装置


技术介绍

1、目前,命名实体识别(ner)是自然语言处理领域的一个重要研究方向。在医学场景下,针对某些科室已经训练好ner模型的前提下,在跨科室或跨医院直接测试时,源域ner模型的表现通常会较差,而如何提高ner在目标域的准确性是一个需要解决的问题。

2、现有的命名实体识别模型主要基于规则匹配、统计方法和机器学习等技术,但这些方法在处理复杂的文本数据时存在一定的局限性。尤其是在处理中文文本时,由于中文的特殊性,现有技术往往无法满足高效准确的命名实体识别需求。而传统的如bi-listm+crf模型结构仅仅通过目标域数据的补标来进行训练效果也差强人意。


技术实现思路

1、有鉴于此,本申请的目的在于提供一种基于强化学习和迁移学习的命名实体识别方法和装置,以提升命名实体识别模型在目标域的实体识别准确性。

2、第一方面,本申请实施例提供了一种基于强化学习和迁移学习的命名实体识别方法,所述命名实体识别方法包括:...

【技术保护点】

1.一种基于强化学习和迁移学习的命名实体识别方法,其特征在于,所述命名实体识别方法包括:

2.根据权利要求1所述的命名实体识别方法,其特征在于,所述基于每个待预测文本数据对应的预测结果从多个待预测文本数据中筛选出高概率预测错误数据,包括:

3.根据权利要求2所述的命名实体识别方法,其特征在于,所述基于每个待预测文本数据的分值从多个待预测文本数据中筛选出所述高概率预测错误数据,包括:

4.根据权利要求2所述的命名实体识别方法,其特征在于,所述基于每个待预测文本数据的分值从多个待预测文本数据中筛选出所述高概率预测错误数据,包括:

5.根据权利要...

【技术特征摘要】

1.一种基于强化学习和迁移学习的命名实体识别方法,其特征在于,所述命名实体识别方法包括:

2.根据权利要求1所述的命名实体识别方法,其特征在于,所述基于每个待预测文本数据对应的预测结果从多个待预测文本数据中筛选出高概率预测错误数据,包括:

3.根据权利要求2所述的命名实体识别方法,其特征在于,所述基于每个待预测文本数据的分值从多个待预测文本数据中筛选出所述高概率预测错误数据,包括:

4.根据权利要求2所述的命名实体识别方法,其特征在于,所述基于每个待预测文本数据的分值从多个待预测文本数据中筛选出所述高概率预测错误数据,包括:

5.根据权利要求1所述的命名实体识别方法,其特征在于,所述利用每个高概率预测错误数据对应的预测结果对每个高概率预测错误数据进行格式转换,得到每个高概率预测错误数据对应的第一转换数据,包括:

6.根据权利要求1所述的命名实体识别方法,其特征在于,所述利用每个高概率预测错误数据对应的第一转换数据以及预设分数对原始文本打...

【专利技术属性】
技术研发人员:梁会营杨雅婷林晓兰白焜太梁铭标
申请(专利权)人:广东省人民医院
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1