【技术实现步骤摘要】
本申请涉及数据处理，特别是涉及一种多轮对话评估方法及装置。
技术介绍
1、当前，随着chatgpt等生成式语言大模型(llm)技术的爆发，在知识存储、内容理解、内容生成、对话交互等多方面，均具备了比较强大的能力。在实际场景中，经常会涉及到一些相关领域业务人员培训的需求。
2、传统的做法是组织相关领域的专业培训老师，进行线上或者线下集中教学。这种传统的教学方法不仅成本巨大，例如在人员、场地等方面投入较大，不可重复，而且会受到时间、空间的限制，不利于工作的推广和普及。此外，由于业务培训老师存在差异性，对于不同受培训群体所接受的教学质量也不尽相同，这都在一定程度上影响领域业务人员的成长。
3、另一种比较常见的思路，是通过视频录制的方式，学员可以通过回看视频录像来参加知识培训，这种方法虽然解决了不可重复、高成本、时间空间的限制，但由于教学方法过于刻板，例如无法进行多样化的场景互动，属于灌输式教学，一定程度上也会影响教学质量。且这种单方向输入式教学方法，不具备学员考核评估的能力，缺乏反馈，也会限制学员能力的提升效率。
技术实现思路
1、基于此，有必要针对上述技术问题，提供一种能够快速评估用户在专业领域的多轮对话能力的多轮对话评估方法及装置。
2、一种多轮对话评估方法，所述方法包括：
3、基于大语言模型获取固定话术以及非固定话术，并将所述固定话术以及所述非固定话术存储为语料数据集，其中，所述固定话术以及所述非固定话术是基于不同角色之间的对话行为产
4、在当前业务场景中产生的多轮对话内容中提取固定话术的内容，并将提取到的所述固定话术与语料数据集中预先存储的固定话术内容进行相似度对比；
5、基于所述相似度评估所述当前业务场景中多轮对话的合格度。
6、在一些实施例中，所述语料数据集的生成方式包括：
7、基于大语言模型进行至少两个角色之间的角色扮演，通过prompt方法进行内容生成，批量生成多种业务场景下的多样化的无序语料数据集；
8、所述无序语料数据集是以固定话术为核心以非固定话术为续写的数据集，所述固定话术为对应业务场景领域内的专业话术，所述非固定话术为闲聊话术。
9、在一些实施例中，所述语料数据集分为不同业务场景下的语料数据集，且不同业务场景下的语料数据集的内容有差异；
10、所述方法还包括：
11、确定业务场景，获取与所述业务场景关联的预先基于大语言模型生成的语料数据集；
12、获取当前业务场景中产生的对话内容，并将对话内容中的固定话术与预先基于大语言模型生成的语料数据集中的固定话术进行相似性比对，其中，预先基于大语言模型生成的语料数据集中的对话内容为标准对话内容。
13、在一些实施例中，所述固定话术中包括至少一条对话语句；
14、所述将提取到的所述固定话术与语料数据集中预先存储的固定话术内容进行相似度对比，包括：
15、确定所述固定话术中每一条对话语句的权重因子；
16、基于所述权重因子以及每一条所述固定话术之间的相似性确定相似度。
17、在一些实施例中，所述基于所述权重因子以及每一条固定话术之间的相似性确定相似度，包括：
18、确定缩放系数以及每一条所述固定话术对应的权重因子；
19、基于相似性模型对每一条所述固定话术之间的相似性进行评分，得到评分数据；
20、基于每一条所述固定话术对应的所述权重因子以及对应的所述评分数据确定所有所述固定话术的相似性得分；
21、基于所述缩放因子以及所述固定话术的相似性得分得到所述固定话术的评分结果。
22、在一些实施例中，所述方法还包括：
23、基于大语言模型执行当前业务场景的多轮对话，并产生多轮对话对应的对话内容；
24、判断所述对话内容中是否包括所述固定话术；
25、若所述对话内容中包括所述固定话术，则基于相似性模型对所述对话内容中的所述固定话术与所述语料数据集中的相应所述固定话术内容进行相似性对比，以确定所述当前业务场景中多轮对话的合格度；
26、若所述对话内容中不包括所述固定话术，则不需要执行相似度评估步骤。
27、在一些实施例中，所述方法还包括：基于获取到的所述语料数据集进行大语言模型的微调训练得到微调后的大语言模型；
28、在一些实施例中，所述方法还包括：
29、基于不同的所述业务场景确定不同类型的所述大语言模型；
30、基于不同类型的所述大语言模型选择对应类型的微调算法；
31、基于确定的各所述微调算法对各对应的大语言模型进行模型微调。
32、在一些实施例中，所述方法还包括：
33、若所述相似度评分计算得到的评分低于预设阈值，则将所述分值低于预设值的所述固定话术内容进行可视化展示。
34、本申请还提供了一种多轮对话评估装置，所述装置包括：
35、语料数据集获取模块，用于基于大语言模型获取固定话术以及非固定话术，并将所述固定话术以及所述非固定话术存储为语料数据集，其中，所述固定话术以及所述非固定话术是基于不同角色之间的对话行为产生的，且所述固定话术为不同角色之间的必要对话内容，所述非固定话术为不同角色之间的非必要对话内容；
36、相似度比对模块，用于在当前业务场景中产生的多轮对话内容中提取固定话术的内容，并将提取到的所述固定话术与语料数据集中预先存储的固定话术内容进行相似度对比；
37、合格度评估模块，用于基于所述相似度评估所述当前业务场景中多轮对话的合格度。
38、本申请还提供了一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
39、基于大语言模型获取固定话术以及非固定话术，并将所述固定话术以及所述非固定话术存储为语料数据集，其中，所述固定话术以及所述非固定话术是基于不同角色之间的对话行为产生的，且所述固定话术为不同角色之间的必要对话内容，所述非固定话术为不同角色之间的非必要对话内容；
40、在当前业务场景中产生的多轮对话内容中提取固定话术的内容，并将提取到的所述固定话术与语料数据集中预先存储的固定话术内容进行相似度对比；
41、基于所述相似度评估所述当前业务场景中多轮对话的合格度。
42、本申请还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
43、基于大语言模型获取固定话术以及非固定话术，并将所述固定话术以及所述非固定话术存储为语料数据集，其中，所述固定话术以及所述非固定话术是基于不同角色之间的对话行为产生的，且所述固定话术为不同角色之间的必要对本文档来自技高网...
【技术保护点】
1.一种多轮对话评估方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述语料数据集的生成方式包括：
3.根据权利要求1所述的方法，其特征在于，所述语料数据集分为不同业务场景下的语料数据集，且不同业务场景下的语料数据集的内容有差异；
4.根据权利要求1所述的方法，其特征在于，所述固定话术中包括至少一条对话语句；
5.根据权利要求4所述的方法，其特征在于，所述基于所述权重因子以及每一条固定话术之间的相似性确定相似度，包括：
6.根据权利要求1所述的方法，其特征在于，所述方法还包括：
7.根据权利要求1至6任意一项所述的方法，其特征在于，所述方法还包括：基于获取到的所述语料数据集进行大语言模型的微调训练得到微调后的大语言模型。
8.根据权利要求7所述的方法，其特征在于，所述方法还包括：
9.根据权利要求1所述的方法，其特征在于，所述方法还包括：
10.一种多轮对话评估装置，其特征在于，所述装置包括：
【技术特征摘要】
1.一种多轮对话评估方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述语料数据集的生成方式包括：
3.根据权利要求1所述的方法，其特征在于，所述语料数据集分为不同业务场景下的语料数据集，且不同业务场景下的语料数据集的内容有差异；
4.根据权利要求1所述的方法，其特征在于，所述固定话术中包括至少一条对话语句；
5.根据权利要求4所述的方法，其特征在于，所述基于所述权重因子以及每一条固定话术之...
【专利技术属性】
技术研发人员：谢鹏，
申请(专利权)人：上海众调信息科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。