大语言模型处理大规模领域提问标注方法技术

技术编号:41759072 阅读:17 留言:0更新日期:2024-06-21 21:40
本发明专利技术涉及自然语言处理技术领域,提供一种大语言模型处理大规模领域提问标注方法,包括:获取样本提问文本;将所述样本提问文本发送至大语言模型,以使所述大语言模型对所述样本提问文本进行主题分析,并返回主题分析结果;基于所述主题分析结果,确定所述样本提问文本的主题;将所述样本提问文本的主题发送至大语言模型,以使所述大语言模型对所述主题进行标签分类,并返回标签分类结果;基于所述标签分类结果,对所述样本提问文本进行标注。本发明专利技术提供的大语言模型处理大规模领域提问标注方法,属于无监督方法,其不需要领域专家打标,也不需要特征工程,省时省力,其适用于大规模样本集合和任意特定场景问答系统的提问标注任务,泛化效果好。

【技术实现步骤摘要】

本专利技术涉及自然语言处理,尤其涉及一种大语言模型处理大规模领域提问标注方法


技术介绍

1、问答系统(question answering system,缩写qa)是人工智能和自然语言处理领域的典型应用场景之一。提问标注是问答系统最重要的模块之一,提问标注包括两个主要作用:第一,提问标注可以有效缩小答案的搜索空间;第二,提问标注输出的结果用于选择不同的答案抽取策略。这些对提高问答系统整体性能具有重要价值。

2、相关技术中,提问标注可采用基于有监督或大语言模型(large language model,缩写llm)的方法。基于有监督的提问标注方法需要样本标注和特征工程,费时费力;而基于大语言模型的方法,其效果主要取决于大模型是否能够理解设定的提问标注任务,提示词对于任务描述的不充分会影响到大语言模型处理提问标注任务的泛化效果。


技术实现思路

1、本专利技术提供一种大语言模型处理大规模领域提问标注方法,用以解决现有技术中大规模提问标注任务费时费力且泛化效果差的缺陷。

2、本专利技术提供一本文档来自技高网...

【技术保护点】

1.一种大语言模型处理大规模领域提问标注方法,其特征在于,包括:

2.根据权利要求1所述的大语言模型处理大规模领域提问标注方法,其特征在于,所述将所述样本提问文本发送至大语言模型,以使所述大语言模型对所述样本提问文本进行主题分析,并返回主题分析结果,包括:

3.根据权利要求2所述的大语言模型处理大规模领域提问标注方法,其特征在于,所述将所述主题分析提示词实例文本发送至大语言模型,以使所述大语言模型对所述样本提问文本进行主题聚类分析,并返回主题分析结果,直至结束采样,包括:

4.根据权利要求1所述的大语言模型处理大规模领域提问标注方法,其特征在于,所述将...

【技术特征摘要】

1.一种大语言模型处理大规模领域提问标注方法,其特征在于,包括:

2.根据权利要求1所述的大语言模型处理大规模领域提问标注方法,其特征在于,所述将所述样本提问文本发送至大语言模型,以使所述大语言模型对所述样本提问文本进行主题分析,并返回主题分析结果,包括:

3.根据权利要求2所述的大语言模型处理大规模领域提问标注方法,其特征在于,所述将所述主题分析提示词实例文本发送至大语言模型,以使所述大语言模型对所述样本提问文本进行主题聚类分析,并返回主题分析结果,直至结束采样,包括:

4.根据权利要求1所述的大语言模型处理大规模领域提问标注方法,其特征在于,所述将所述样本提问文本的主题发送至大语言模型,以使所述大语言模型对所述主题进行标签分类,并返回标签分类结果,包括:

5.根据权利要求4所述的大语言模型处理大规模领...

【专利技术属性】
技术研发人员:蔡明季颖生张政侯磊杨紫杰沈佳辰
申请(专利权)人:上海图灵天问智能科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1