System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 实体识别模型的训练方法、实体识别方法及系统技术方案_技高网

实体识别模型的训练方法、实体识别方法及系统技术方案

技术编号:40659819 阅读:2 留言:0更新日期:2024-03-18 18:52
本发明专利技术公开了一种实体识别模型的训练方法、实体识别方法及系统,该实体识别模型的训练方法包括:获取训练样本;训练样本包括第一提示词、训练长文本、第一实体类型和标签,第一提示词用于指示第一大语言模型进行实体识别,标签为训练长文本中实体类型为第一实体类型的实体;以训练样本作为第一大语言模型的输入,以实体作为第一大语言模型的输出,训练第一大语言模型,得到训练好的实体识别模型。本发明专利技术以训练好的大语言模型作为实体识别模型,大型语言模型通过大数据为基础的预训练,与业务目标完备的对齐,能够捕捉到更丰富的语义和上下文信息,从而提高旅游领域的实体识别准确率。

【技术实现步骤摘要】

本专利技术涉及人工智能,具体涉及一种实体识别模型的训练方法、实体识别方法及系统


技术介绍

1、随着数字化技术的蓬勃发展,越来越多的人开始通过互联网搜索旅游信息并进行旅游规划。然而,旅游信息的多样性和复杂性使得有效地提取和识别旅游实体(entity)变得具有挑战性。现有的识别旅游领域实体的方法主要分为两类:基于规则(rule)、模式匹配(pattern matching)和关键词匹配(keyword matching)的实体识别方法和基于判别式模型(discriminant model)的实体识别方法。传统的基于规则、模式匹配和关键词匹配的识别方法受限于旅游领域实体的多样性、复杂性与规则的准确性、完备性,无法应对不断变化的旅游信息,导致实体识别的准确率低。基于判别式模型的实体识别方法需要大量的训练样本,并且判别式模型在规模急剧扩大后,识别效果并没有明显提升。除此之外,在需要识别多个目标和多个实体时,需要使用多个判别式模型,判别式模型的研发成本高并且实体识别的准确率低。


技术实现思路

1、本专利技术要解决的技术问题是为了克服现有技术中实体识别准确率低的缺陷,提供一种实体识别模型的训练方法、实体识别方法及系统。

2、本专利技术是通过下述技术方案来解决上述技术问题:

3、本专利技术提供了一种实体识别模型的训练方法,所述训练方法包括:

4、获取训练样本;所述训练样本包括第一提示词、训练长文本、第一实体类型和标签,所述第一提示词用于指示第一大语言模型进行实体识别,所述标签为所述训练长文本中实体类型为所述第一实体类型的实体;

5、以所述训练样本作为所述第一大语言模型的输入,以实体作为所述第一大语言模型的输出,训练所述第一大语言模型,得到训练好的实体识别模型。

6、优选地,所述获取训练样本的步骤具体包括:

7、获取所述训练长文本;

8、以第二提示词、所述训练长文本和所述第一实体类型作为第二大语言模型的输入,得到所述标签;所述第二提示词用于指示所述第二大语言模型进行实体识别。

9、优选地,所述获取训练样本的步骤具体包括:

10、根据所述第一实体类型生成所述标签;其中,所述标签为实体类型为所述第一实体类型的实体;

11、以第三提示词和所述标签作为第三大语言模型的输入,得到训练长文本;所述第三提示词用于指示所述第三大语言模型生成长文本,所述训练长文本为含有所述标签的长文本。

12、本专利技术还提供了一种实体识别方法,所述实体识别方法包括:

13、获取待识别文本;

14、将第四提示词、第二实体类型和所述待识别文本输入实体识别模型,得到对应的实体识别结果;所述实体识别模型根据前述的实体识别模型的训练方法而训练得到,所述第四提示词用于指示所述实体识别模型进行实体识别。

15、本专利技术还提供了一种实体识别模型的训练系统,所述训练系统包括:

16、获取模块,用于获取训练样本;所述训练样本包括第一提示词、训练长文本、第一实体类型和标签,所述第一提示词用于指示第一大语言模型进行实体识别,所述标签为所述训练长文本中实体类型为所述第一实体类型的实体;/

17、训练模块,用于以所述训练样本作为所述第一大语言模型的输入,以实体作为所述第一大语言模型的输出,训练所述第一大语言模型,得到训练好的实体识别模型。

18、优选地,所述获取模块具体包括:

19、第一训练长文本获取单元,用于获取所述训练长文本;

20、第一标签获取单元,用于以第二提示词、所述训练长文本和所述第一实体类型作为第二大语言模型的输入,得到所述标签;所述第二提示词用于指示所述第二大语言模型进行实体识别。

21、优选地,所述训练模块具体包括:

22、实体类型获取单元,用于获取所述第一实体类型;

23、第二标签获取单元,用于根据所述第一实体类型生成所述标签;其中,所述标签为实体类型为所述第一实体类型的实体;

24、第二训练长文本获取单元,用于以第三提示词和所述标签作为第三大语言模型的输入,得到训练长文本;所述第三提示词用于指示所述第三大语言模型生成长文本,所述训练长文本为含有所述标签的长文本。

25、本专利技术还提供了一种实体识别系统,所述实体识别系统包括:

26、待识别文本获取模块,用于获取待识别文本;

27、实体识别模块,用于将第四提示词、第二实体类型和所述待识别文本输入实体识别模型,得到对应的实体识别结果;所述实体识别模型根据前述的实体识别模型的训练系统而训练得到,所述第四提示词用于指示所述实体识别模型进行实体识别。

28、本专利技术还提供了一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现前述的实体识别模型的训练方法或前述的实体识别方法。

29、本专利技术还提供了一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现前述的实体识别模型的训练方法或前述的实体识别方法。

30、在符合本领域常识的基础上,上述各优选条件,可任意组合,即得本专利技术各较佳实例。

31、本专利技术的积极进步效果在于:本专利技术以训练好的大语言模型(largelanguagemodel,llm)作为实体识别模型,大语言模型通过大数据为基础的预训练(pre-training),能够捕捉到更丰富的语义和上下文信息,从而提高实体识别的准确率。

本文档来自技高网...

【技术保护点】

1.一种实体识别模型的训练方法,其特征在于,所述训练方法包括:

2.如权利要求1所述的实体识别模型的训练方法,其特征在于,所述获取训练样本的步骤具体包括:

3.如权利要求1所述的实体识别模型的训练方法,其特征在于,所述获取训练样本的步骤具体包括:

4.一种实体识别方法,其特征在于,所述实体识别方法包括:

5.一种实体识别模型的训练系统,其特征在于,所述训练系统包括:

6.如权利要求5所述的实体识别模型的训练系统,其特征在于,所述获取模块具体包括:

7.如权利要求5所述的实体识别模型的训练系统,其特征在于,所述训练模块具体包括:

8.一种实体识别系统,其特征在于,所述实体识别系统包括:

9.一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至3中任一项所述的实体识别模型的训练方法或权利要求4所述的实体识别方法。

10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至3中任一项所述的实体识别模型的训练方法或权利要求4所述的实体识别方法。

...

【技术特征摘要】

1.一种实体识别模型的训练方法,其特征在于,所述训练方法包括:

2.如权利要求1所述的实体识别模型的训练方法,其特征在于,所述获取训练样本的步骤具体包括:

3.如权利要求1所述的实体识别模型的训练方法,其特征在于,所述获取训练样本的步骤具体包括:

4.一种实体识别方法,其特征在于,所述实体识别方法包括:

5.一种实体识别模型的训练系统,其特征在于,所述训练系统包括:

6.如权利要求5所述的实体识别模型的训练系统,其特征在于,所述获取模块具体包括:

7.如权利要求5所述的...

【专利技术属性】
技术研发人员:张起帆
申请(专利权)人:携程旅游信息技术上海有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1