System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 一种基于情感领域深度挖掘的情感咨询对话方法技术_技高网

一种基于情感领域深度挖掘的情感咨询对话方法技术

技术编号:40134055 阅读:6 留言:0更新日期:2024-01-23 22:35
本发明专利技术提供的一种基于情感领域深度挖掘的情感咨询对话方法,所述对话方法包括:描述情感专业度;描述个性化回复;描述共情能力;描述回复多样性;描述文本生成过程;描述敏感词检测。使用情感领域知识库,来提高回复的专业性,使用Lora微调大语言模型和设定虚拟人格,来提高机器人回复的共情能力和同理心。

【技术实现步骤摘要】

本专利技术涉及语言模型领域,尤其涉及一种基于情感领域深度挖掘的情感咨询对话方法


技术介绍

1、自然语言处理和对话机器人的发展历程可以追溯到早期的专家系统。最初,这些对话系统是基于规则和搜索方法构建的。它们的工作原理是通过在系统中硬编码大量规则和模式来处理用户输入,并寻找最匹配的响应。然而,这种方法在实际对话中往往表现得呆板,难以模拟自然语言的流畅性和智能性。

2、随着时间的推移,对话机器人领域取得了重大进展,特别是在电子商务和客户服务领域。传统的规则引擎被更加灵活和智能的技术所取代,其中包括了循环神经网络(rnn)、长短时记忆网络(lstm)、序列到序列(seq2seq)模型等。这些深度学习技术允许机器更好地理解和生成自然语言,从而提高了对话机器人的表现。然而,即使使用了这些技术,对话机器人仍然仅表现出有限的智能,通过图灵测试还只是奢望。

3、从2017~2018年开始,nlp领域由transformer掀起了一股浪潮,transformer在文本翻译领域内使用了全新的网络架构(attention is all you need),将文本翻译精度大幅度提升28.4bleu,由此开始了nlp领域的狂欢。基于transformer的灵感,延伸出比较出名的两派,一派以bert预训练模型为代表,关注训练效率,对下游子任务进行微调来完成大量的nlp任务,如文本分类,情感分析等。另一派则是以openai的gpt模型为代表,通过堆叠模型层数、训练语料大小的方式,造就了一个巨大的网络。

4、类chatgpt大模型的出现让生成式模型得到革命性的发展,核心原因是,类chatgpt大模型基于的instruct gpt通过使用更加优质的训练预料,通过人工筛选、反馈进行训练,用低于gpt3两个数量级的参数量,实现了实现了常规对话,知识问答,题目解析,情感聊天,代码生成,文章写作等等功能。

5、类chatgpt大模型出圈后,国内各大公司也紧随其后,百度推出“文心一言”,阿里推出“通义大模型”,智谱ai推出“chatglm”。而本专利中用到的chatglm-6b是一个开源的、支持中英双语问答的对话语言模型,并针对中文进行了优化。该模型基于generallanguage model(glm)架构,具有62亿参数。用户可以在消费级的显卡上进行本地部署(int4量化级别下最低只需6gb显存)。在收到良好的反馈之后,清华又发布了其最新的量化版本chatglm2-6b。经过对基座模型的全面升级,二代模型具有更强大的性能,能处理更长的上下文,推理速度相比初代也提升了42%。

6、综合以上技术背景可以看出,各大公司在生成式大模型的开发上群雄逐鹿,目前的大模型已基本能满足通用场景的对话需求。但是如何在通用类大模型的基础上,开发出垂直业务领域的对话机器人,仍然是非常值得探讨的问题。所以,综合以上技术背景,针对情感咨询领域情感类对话机器人的开发有以下两种技术方案。

7、现有技术方案:

8、方案一:直接调用类chatgpt大模型接口,通过让生成式模型类chatgpt大模型进行角色扮演来实现垂直领域的对话机器人。优点是:通过简单修改prompt,就能达到比较好的效果。直接调用接口,实现起来比较简单。

9、方案二:使用chatglm2-6b进行本地部署。

10、优点是:

11、1.数据和模型都在本地,可控性强。

12、2.在海量中英文文本上训练,在中文通用任务上效果还行。

13、方案一主要存在数据安全性隐患、接口调用次数计费昂贵、服务稳定性等缺点。

14、方案二的主要缺点是以下方面:

15、1、对于领域知识的深入理解和推理能力较弱,难以提供高度专业的回答。类chatgpt大模型在垂直领域仍表现出很强的通用性,而chatglm2-6b由于参数少,在垂直领域如果不经过知识注入,很难符合业务预期。

16、2、人设比较死板。chatglm2-6b会牢记它是一个机器人,它会拒绝回答与人类情感有关的问题,并且不会表现出同理心。

17、3、回复多样性比较差。同样的问题生成的回复似乎在遵循同样的模板。用户体验有待提高。

18、鉴于以上考虑,本专利技术旨在提出一种基于情感领域深度挖掘的情感咨询对话系统,通过深入挖掘情感领域的内涵,实现情感咨询的专业性、多样性、个性化以及共情能力,从而为用户提供全面而个性化的情感支持与解决方案。这一技术方案不仅在情感咨询领域具备广泛应用前景,还可以应用于择偶推荐、恋爱话术生成等多个领域,同时也适用于其他智能对话系统的开发与优化。


技术实现思路

1、鉴于上述问题,提出了本专利技术以便提供克服上述问题或者至少部分地解决上述问题的一种基于情感领域深度挖掘的情感咨询对话方法。

2、根据本专利技术的一个方面,提供了一种基于情感领域深度挖掘的情感咨询对话方法,所述对话方法包括:

3、描述情感专业度;

4、描述个性化回复;

5、描述共情能力;

6、描述回复多样性;

7、描述文本生成过程;

8、描述敏感词检测。

9、可选的,所述描述情感专业度具体包括:

10、搭建知识库;

11、将所述知识库中的问题转换成向量

12、将所述向量相似度匹配;

13、将所述知识库进行更新。

14、可选的,所述描述个性化回复具体包括:

15、记录对话历史;

16、记录实体信息;

17、个性化信息存储;

18、检索个性化信息。

19、可选的,所述描述共情能力具体包括:

20、共情问答对构建;

21、lora技术微调;

22、prompt构建虚拟人格。

23、可选的,所述描述回复多样性具体包括:

24、回复重复性检测;

25、调整温度系数。

26、可选的,所述描述文本生成过程具体包括:

27、从情感知识库中检索出来的topk相似的情感领域知识;

28、从redis中检索出的对话历史;

29、从redis中检索出的实体信息;

30、为机器人拟定的人设信息;

31、时间信息;

32、将融合后的prompt,用户当前输入,温度系数,最大生成长度输入到chatglm2-6b中,模型开始解码生成回复。

33、可选的,所述描述敏感词检测具体包括:

34、输入敏感词检测,如果用户输入句子中含有单一或者组合敏感词,则提示用户重新输入,如果阈值次数内用户输入仍含有敏感信息,则拒绝继续为该用户生成回复;

35、输出敏感词检测,如果对话系统生成的回复中含有敏感信息,则重新生成,如果阈值次数内未生成成功,则使用默认回复。

<本文档来自技高网...

【技术保护点】

1.一种基于情感领域深度挖掘的情感咨询对话方法,其特征在于,所述对话方法包括:

2.根据权利要求1所述的一种基于情感领域深度挖掘的情感咨询对话方法,其特征在于,所述描述情感专业度具体包括:

3.根据权利要求1所述的一种基于情感领域深度挖掘的情感咨询对话方法,其特征在于,所述描述个性化回复具体包括:

4.根据权利要求1所述的一种基于情感领域深度挖掘的情感咨询对话方法,其特征在于,所述描述共情能力具体包括:

5.根据权利要求1所述的一种基于情感领域深度挖掘的情感咨询对话方法,其特征在于,所述描述回复多样性具体包括:

6.根据权利要求1所述的一种基于情感领域深度挖掘的情感咨询对话方法,其特征在于,所述描述文本生成过程具体包括:

7.根据权利要求1所述的一种基于情感领域深度挖掘的情感咨询对话方法,其特征在于,所述描述敏感词检测具体包括:

【技术特征摘要】

1.一种基于情感领域深度挖掘的情感咨询对话方法,其特征在于,所述对话方法包括:

2.根据权利要求1所述的一种基于情感领域深度挖掘的情感咨询对话方法,其特征在于,所述描述情感专业度具体包括:

3.根据权利要求1所述的一种基于情感领域深度挖掘的情感咨询对话方法,其特征在于,所述描述个性化回复具体包括:

4.根据权利要求1所述的一种基于情感领域深度挖掘的情感咨询对话方法,其...

【专利技术属性】
技术研发人员:李雪冬闫新宇黄莹
申请(专利权)人:上海花千树信息科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1