System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 生成式对话模型的控制方法、设备及存储介质技术_技高网

生成式对话模型的控制方法、设备及存储介质技术

技术编号:41295953 阅读:5 留言:0更新日期:2024-05-13 14:45
本申请提供了一种生成式对话模型的控制方法、设备及存储介质。该方法包括:采用神经网络模型对目标应用场景的对话语料库中各个对话数据进行行为识别,得到各个对话数据对应的多类一级标签和二级标签,一级标签描述服务角色在对话中的一类行为模式,二级标签描述在一级标签的行为模式下的对话行为;按照多类分级标签对对话数据进行片段截断和语句抽取,构造训练提示数据;使用训练提示数据对GPT模型进行训练,得到生成式对话模型;通过实时向生成式对话模型输入一级标签/二级标签,即可多粒度控制生成式对话模型生成的对话语句。本申请可有效优化生成式对话模型的随机漂移问题,提升模型可控性,精准控制模型按照设定的场景需求进行对话生成。

【技术实现步骤摘要】

本申请涉及人工智能,特别涉及一种生成式对话模型的控制方法、设备及存储介质


技术介绍

1、chatgpt是一款基于生成式对话的人工智能大语言模型,其证明了大模型可以近乎流畅地自主完成整个对话,弥补了过往人工智能对话系统在商业落地过程中无法端到端的缺陷。因此新一代人工智能机器人开发将基于生成式大模型展开。

2、客服产业是人工智能发展直接影响最大的领域,人工智能技术可以用于开发聊天机器人和虚拟助手,它们可以与客户进行实时交互,回答常见问题,提供产品或服务信息,处理简单的客户请求。这种全天候的自助式支持可以提供更好的客户体验和满意度。

3、由于生成式对话机器人的应用方式取决于模型提示工程设计者,但从目前的应用情况来看,生成式对话机器人的对话主题、行为模式等存在随机漂移的问题,模型可控性很差,模型难以精准贴近场景需求进行对话生成。


技术实现思路

1、本申请提供了一种生成式对话模型的控制方法、设备及存储介质,能够有效优化生成式对话模型的随机漂移问题,提升模型可控性,精准控制模型按照设定的场景需求进行对话生成。

2、为了实现上述目的,第一方面,本申请提供了生成式对话模型的控制方法,该方法包括:

3、s1、构建目标应用场景下的对话语料库,所述对话语料库中任意对话数据包括:对话角色和对话内容,所述对话角色包括服务角色和客户角色;

4、s2、采用基于所述对话语料库训练得到的神经网络模型,对所述对话语料库中的对话语句进行行为识别,得到各个所述对话数据对应的多类分级标签;

5、其中,任一类分级标签至少包括:一级标签和二级标签;所述一级标签描述所述服务角色在对话中的一类行为模式,所述二级标签描述所述一级标签的行为模式下的对话行为;

6、s3、按照所述对话数据对应的多类分级标签,对所述对话数据中的对话语句进行片段截断和语句抽取,构造得到训练提示数据,任一组所述训练提示数据的格式为:一级标签和/或二级标签作为提示词,对话语句片段作为输入,符合所述提示词的、服务角色的语句作为输出;

7、s4、使用所述训练提示数据对给定的生成式预训练gpt模型进行训练,直至所述gpt模型达到预设训练目标,得到训练好的生成式对话模型;

8、s5、在所述目标应用场景中,通过实时向所述生成式对话模型输入所述一级标签/二级标签,控制所述生成式对话模型生成的对话语句。

9、在一种可能实施方式中,所述步骤s3包括:

10、s31、按照所述对话数据对应的任意一级标签/二级标签,从所述对话数据中抽取出符合所述一级标签的行为模式/所述二级标签的对话行为的目标语句;

11、s32、从所述对话数据中符合所述一级标签的行为模式/所述二级标签的对话行为的部分中,截取出所述目标语句之前的对话语句片段;

12、s33、将对应的所述一级标签和/或二级标签作为提示词,将截取出的对话语句片段作为输入,将所述目标语句作为输出,构造得到一组所述训练提示数据。

13、在一种可能实施方式中,所述神经网络模型的训练过程包括:

14、步骤a、从所述对话语料库中抽取多个样本对话语句,用预先划分好的所述目标应用场景的一级标签和/或二级标签对所述多个样本对话语句进行标注;

15、步骤b、将所述样本对话数据输入给定的所述神经网络模型,根据所述神经网络模型输出的训练分级标签和预先标注的一级标签和/或二级标签,计算训练误差;

16、步骤c、根据所述训练误差调整所述神经网络模型的参数,直至调整后的神经网络模型的训练误差达到给定的训练完成目标。

17、在一种可能实施方式中,所述目标应用场景的一级标签和二级标签的划分过程包括:

18、按照服务角色的行为模式,对所述目标应用场景下服务角色和客户角色之间的多段历史对话内容进行聚类,每组聚类结果对应一类一级标签;

19、对每组聚类结果进行分析,确定所述聚类结果对应的一级标签下的多个二级标签。

20、在一种可能实施方式中,所述经过训练的神经网络模型为:cnn、lstm、rnn和bert中任一。

21、在一种可能实施方式中,所述步骤s1包括:

22、s11、收集所述目标应用场景下服务角色和客户角色之间的多段历史对话内容;

23、s12、对收集到的所述多段历史对话内容进行数据清洗,构建所述语料库。

24、在一种可能实施方式中,所述步骤s5包括下述至少一项:

25、s5a、按照针对所述目标应用场景的预设控制策略,在预设对话轮次内向所述生成式对话模型输入目标一级标签和/或目标二级标签,控制所述生成式对话模型在所述预设对话轮次内生成符合所述目标一级标签的行为模式/所述目标二级标签的对话行为的对话语句;

26、s5b、响应于检测到目标客户行为,向所述生成式对话模型输入所述关键词对应的一级标签和/或二级标签,控制所述生成式对话模型内生成所述目标客户行为对应的对话语句。

27、在一种可能实施方式中,所述gpt模型采用transformer模型中的编码模块堆叠构成,所述transformer模型使用自注意力机制对输入序列进行编码和表征。

28、第二方面,提供一种计算设备,该计算设备包括存储器和处理器,所述存储器存储有至少一段程序,所述至少一段程序由处理器执行以实现如第一方面提供的生成式对话模型的控制方法。

29、第三方面,提供一种计算机可读存储介质,该存储介质中存储有至少一段程序,至少一段程序由处理器执行以实现如第一方面提供的生成式对话模型的控制方法。

30、本申请提供的技术方案至少包括如下技术效果:

31、采用神经网络模型对目标应用场景的对话语料库中各个对话数据进行逐句识别,得到各个对话数据对应的多类一级标签和二级标签,一级标签描述服务角色在对话中的一类行为模式,二级标签描述在一级标签的行为模式下的对话行为;按照多类分级标签对对话数据进行片段截断和语句抽取,构造训练提示数据;使用训练提示数据对gpt模型进行训练,得到生成式对话模型;通过实时向生成式对话模型输入一级标签/二级标签,即可多粒度地控制生成式对话模型生成的对话语句。因此,本申请可有效优化生成式对话模型的随机漂移问题,提升模型可控性,精准控制模型按照设定的场景需求进行对话生成。

本文档来自技高网...

【技术保护点】

1.一种生成式对话模型的控制方法,其特征在于,所述方法包括:

2.根据权利要求1所述的生成式对话模型的控制方法,其特征在于,所述步骤S3包括:

3.根据权利要求1所述的生成式对话模型的控制方法,其特征在于,所述神经网络模型的训练过程包括:

4.根据权利要求1或3所述的生成式对话模型的控制方法,其特征在于,所述目标应用场景的一级标签和二级标签的划分过程包括:

5.根据权利要求1或3所述的生成式对话模型的控制方法,其特征在于,所述经过训练的神经网络模型为:CNN、LSTM、RNN和BERT中任一。

6.根据权利要求1所述的生成式对话模型的控制方法,其特征在于,所述步骤S1包括:

7.根据权利要求1所述的生成式对话模型的控制方法,其特征在于,所述步骤S5包括下述至少一项:

8.根据权利要求1所述的生成式对话模型的控制方法,其特征在于,所述GPT模型采用Transformer模型中的编码模块堆叠构成,所述Transformer模型使用自注意力机制对输入序列进行编码和表征。

9.一种计算设备,其特征在于,包括存储器和处理器,所述存储器存储有至少一段程序,所述至少一段程序由处理器执行以实现如权利要求1至8任一所述的生成式对话模型的控制方法。

10.一种计算机可读存储介质,其特征在于,所述存储介质中存储有至少一段程序,所述至少一段程序由处理器执行以实现如权利要求1至8任一所述的生成式对话模型的控制方法。

...

【技术特征摘要】

1.一种生成式对话模型的控制方法,其特征在于,所述方法包括:

2.根据权利要求1所述的生成式对话模型的控制方法,其特征在于,所述步骤s3包括:

3.根据权利要求1所述的生成式对话模型的控制方法,其特征在于,所述神经网络模型的训练过程包括:

4.根据权利要求1或3所述的生成式对话模型的控制方法,其特征在于,所述目标应用场景的一级标签和二级标签的划分过程包括:

5.根据权利要求1或3所述的生成式对话模型的控制方法,其特征在于,所述经过训练的神经网络模型为:cnn、lstm、rnn和bert中任一。

6.根据权利要求1所述的生成式对话模型的控制方法,其特征在于,所述步骤s1包括:

7....

【专利技术属性】
技术研发人员:吴宇肖龙源李海洲李稀敏李威
申请(专利权)人:厦门快商通科技股份有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1