【技术实现步骤摘要】
本专利技术涉及大模型微调，具体地，涉及一种基于大模型的用户意图半自动化标注方法、系统、介质及设备。
技术介绍
1、生成式语言大模型作为一类强大的自然语言处理(nlp)模型，已成为目前的研究热点，其能够理解人类语言的含义和语法，同时也可以生成与输入数据相关的文本。对于无监督任务，模型可以生成文本、执行自然语言理解任务，如情感分析。对于有监督任务，可以进行文本分类、命名实体识别等，因此生成式大模型也越来越多的被应用于各种专业领域中。
2、然而由于大模型背后的预训练数据大多来自日常生活场景，缺少专业领域知识的学习，模型生成的结果也差强人意，于是越来越多的研究注重于对模型微调技术的处理。
3、大多数现有对于大模型微调的研究聚焦于微调指令的设计与数据的构建，而缺少对微调后大模型的评估工作。对于结构要求较高的标注数据，微调后的大模型直接运用于数据标注存在输出标注数据不规范的缺陷。
4、专利文献(申请号:cn202311059060.6)公开了一种基于问卷和大模型的医学队列随访对话辅助方法及系统，包括：医学知识图谱模块、大语言模型模块、逻辑控制模块；构建医学知识图谱，并在其上实现智能问答；设计由系统引导的“分诊-□预问诊-□聊天”三阶段工作流程算法；构建微调语料集并微调大语言模型；设计系统，结合知识图谱、大模型和问卷模板，实现完整的轻量级医学对话辅助。
5、专利文献(申请号:cn202310681071.1)公开了一种微调语言大模型的科技政策问答方法及装置，从科技政策领域数据中收集问题和答案，构
6、现有的大模型微调技术，普遍缺少对微调数据的筛选工作，以及对于微调前后大模型输出效果的评估工作，对于结构要求较高的标注数据，大模型直接运用于数据标注领域中会存在无法得到结构化数据的缺陷，进一步的，无法实现意图的自动化标注。
技术实现思路
1、针对现有技术中的缺陷，本专利技术的目的是提供一种基于大模型的用户意图半自动化标注方法、系统、介质及设备。
2、根据本专利技术提供的基于大模型的用户意图半自动化标注方法，包括：
3、步骤1：确定目标大模型llm0，并根据原始会话数据s0生成部分原始意图数据d0；
4、步骤2：专家部分修正意图数据，得到修正后的意图数据
5、步骤3：构建专家决策器bert，并基于d0和训练bert；
6、步骤4：设初始最优大模型llm(0)＝llm0，并用微调目标大模型llm0；
7、步骤5：构建循环微调机制；
8、步骤6：判断bert性能，得到最终模型。
9、优选地，将以指定格式输入llm0，得到专家微调后的大模型llm1，表达式为：
10、
11、d0＝llm0(s0)。
12、优选地，所述步骤5包括：
13、步骤5.1：设t为微调的次数，初始值为1；
14、步骤5.2：获取t时刻会话数据st，分别输入llmt-1和llmt中，得到意图数据和表达式为：
15、
16、
17、其中，llmt表示t时刻微调后的大模型；
18、步骤5.3：bert在和中选择最优数据并确定当前最优模型llm(t)，表达式为：
19、
20、llm(t)＝bert(llmt-1,llmt)
21、步骤5.4：判断llm(t)是否等于llm(t-1)，如果不等，则用微调llmt得到llmt+1，表达式为：
22、
23、令t＝t+1，重复执行步骤5.2-步骤5.4；如果相等，则终止循环。
24、优选地，所述步骤6包括：
25、步骤6.1：获取t时刻会话数据s′t，输入llm(t)得到it，表达式为：
26、it＝llm(t)(s′t)
27、专家部分修正it后得到
28、步骤6.2：bert对it和进行选择，表达式为：
29、
30、若选择it占比多，bert无法模拟专家决策，判断为性能较差，重新用训练bert，返回步骤5.2继续执行；若选择占比多，bert能够模拟专家决策，判断为性能良好，得到最终模型。
31、根据本专利技术提供的基于大模型的用户意图半自动化标注系统，包括：
32、模块m1：确定目标大模型llm0，并根据原始会话数据s0生成部分原始意图数据d0；
33、模块m2：专家部分修正意图数据，得到修正后的意图数据
34、模块m3：构建专家决策器bert，并基于d0和训练bert；
35、模块m4：设初始最优大模型llm(0)＝llm0，并用微调目标大模型llm0；
36、模块m5：构建循环微调机制；
37、模块m6：判断bert性能，得到最终模型。
38、优选地，将以指定格式输入llm0，得到专家微调后的大模型llm1，表达式为：
39、
40、d0＝llm0(s0)。
41、优选地，所述模块m5包括：
42、模块m5.1：设t为微调的次数，初始值为1；
43、模块m5.2：获取t时刻会话数据st，分别输入llmt-1和llmt中，得到意图数据和表达式为：
44、
45、
46、其中，llmt表示t时刻微调后的大模型；
47、模块m5.3：bert在和中选择最优数据并确定当前最优模型llm(t)，表达式为：
48、
49、llm(t)＝bert(llmt-1,llmt)
50、模块m5.4：判断llm(t)是否等于llm(t-1)，如果不等，则用微调llmt得到llmt+1，表达式为：
51、
52、令t＝t+1，重复调用模块m5.2-模块m5.4；如果相等，则终止循环。
53、优选地，所述模块m6包括：
54、模块m6.1：获取t时刻会话数据s′t，输入llm(t)得到it，表达式为：
55、it＝llm(t)(s′t)
56、专家部分修正it后得到
57、模块m6.2：bert对it和进行选择，表达式为：
58、
59、若选择it占比多，bert无法模拟专家决策，判断为性能较差，重新用训练bert，触发模块m5.2；若选择占比多，b本文档来自技高网...
【技术保护点】
1.一种基于大模型的用户意图半自动化标注方法，其特征在于，包括：
2.根据权利要求1所述的基于大模型的用户意图半自动化标注方法，其特征在于，将以指定格式输入LLM0，得到专家微调后的大模型LLM1，表达式为：
3.根据权利要求2所述的基于大模型的用户意图半自动化标注方法，其特征在于，所述步骤5包括：
4.根据权利要求3所述的基于大模型的用户意图半自动化标注方法，其特征在于，所述步骤6包括：
5.一种基于大模型的用户意图半自动化标注系统，其特征在于，包括：
6.根据权利要求5所述的基于大模型的用户意图半自动化标注系统，其特征在于，将以指定格式输入LLM0，得到专家微调后的大模型LLM1，表达式为：
7.根据权利要求6所述的基于大模型的用户意图半自动化标注系统，其特征在于，所述模块M5包括：
8.根据权利要求7所述的基于大模型的用户意图半自动化标注系统，其特征在于，所述模块M6包括：
9.一种存储有计算机程序的计算机可读存储介质，其特征在于，所述计算机程序被处理器执行时实现权利要求1至4中
10.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至4中任一项所述的基于大模型的用户意图半自动化标注方法的步骤。
...【技术特征摘要】
1.一种基于大模型的用户意图半自动化标注方法，其特征在于，包括：
2.根据权利要求1所述的基于大模型的用户意图半自动化标注方法，其特征在于，将以指定格式输入llm0，得到专家微调后的大模型llm1，表达式为：
3.根据权利要求2所述的基于大模型的用户意图半自动化标注方法，其特征在于，所述步骤5包括：
4.根据权利要求3所述的基于大模型的用户意图半自动化标注方法，其特征在于，所述步骤6包括：
5.一种基于大模型的用户意图半自动化标注系统，其特征在于，包括：
6.根据权利要求5所述的基于大模型的用户意图半自动化标注系统，其特征在于，将以指定格式输入llm0，得到专家微调后的大...
【专利技术属性】
技术研发人员：朱能军，梁陈美锦，孙凌丹，陆羿勋，
申请(专利权)人：上海大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。