一种基于大模型与知识库生成的智能客服系统技术方案

本发明专利技术涉及人工智能技术领域，更进一步地，涉及一种基于大模型与知识库生成的智能客服系统

【技术实现步骤摘要】
一种基于大模型与知识库生成的智能客服系统


[0001]本专利技术属于人工智能
，具体涉及一种基于大模型与知识库生成的智能客服系统
。

技术介绍

[0002]随着科技的不断发展，人工智能领域取得了巨大的进步
。
人工智能已经应用于各个领域，其中之一是智能客服系统
。
传统的客服系统往往依赖于人工操作，需要大量的人力资源和时间来应对用户的咨询和问题
。
而随着智能客服系统的崭露头角，用户可以享受到更加高效和便捷的客户服务体验
。
[0003]然而，目前的一些智能客服系统仍然存在一些问题和限制，这些问题需要不断的改进和创新
。
在传统的智能客服系统中，通常采用一种基于规则的方法来回答用户的问题
。
这种方法要求人工编写大量的规则和模板，以处理各种可能的用户查询
。
这样的系统在面对复杂
、
多样化的用户问题时表现出局限性，需要不断的维护和更新规则库，成本较高
。
[0004]另一个问题是传统的智能客服系统在理解用户意图和提供准确答案方面的能力有限
。
虽然一些系统使用了自然语言处理技术和机器学习算法来改善性能，但在真实世界的情况下，用户提出的问题往往多种多样，需要更加高级的方法来解决
。
传统的系统缺乏深层次的语义理解能力，导致它们无法真正理解用户的问题，只能基于表面信息提供标准答案
。
[0005]此外，传统的智能客服系统通常缺乏知识库的支持
。
知识库是一个存储大量问题和答案对的数据库，可以帮助系统更好地回答用户的问题
。
然而，许多现有系统的知识库构建和维护过程相对困难，导致知识库的质量和实用性有限
。

技术实现思路

[0006]本专利技术的主要目的在于提供一种基于大模型与知识库生成的智能客服系统提高了客户服务的质量和效率，提升了自动客服回答的准确率，同时降低了运营成本
。
[0007]为了解决上述问题，本专利技术的技术方案是这样实现的：一种基于大模型与知识库生成的智能客服系统，所述系统包括：知识库构建单元
、
问答大模型构建单元和客户端；所述知识库构建单元，用于从训练数据中获取用户问题和客服回答对，将用户问题和客服回答对中的用户问题和客服回答分别编码成词嵌入表示，基于用户问题的词嵌入表示和对应的客服回答的词嵌入表示，构建知识库；所述问答大模型构建单元，用于构建问答大模型，包括：特征提取子单元，关联捕捉子单元
、
上下文编码子单元
、
输出预测子单元
、
参数更新单元；所述特征提取子单元，用于提取知识库中的用户问题的词嵌入表示和客服回答的词嵌入表示的特征表示；所述关联捕捉子单元，用于引入注意力机制，计算知识库中的用户问题的词嵌入表示和对应的客服回答的词嵌入表示之间注意力分数矩阵；上下文编码子单元，用于根据注意力分数矩，编码用户问题的词嵌入表示和客服回答的词嵌入表示的上下文信息，根据上下文信息得到用户问题的词嵌入表示的隐藏状态和对应的客服回答的词嵌入表
示的隐藏状态；输出预测子单元，用于基于用户问题的词嵌入表示的隐藏状态和对应的客服回答的词嵌入表示的隐藏状态，预测客服回答词嵌入表示的起始位置和结束位置，生成预测的客服回答的词嵌入表示；参数更新单元，用于根据预测的客服回答的词嵌入表示的起始位置和结束位置，使用交叉熵损失来衡量预测的客服回答的词嵌入表示与知识库中的客服回答的词嵌入表示的差异，根据差异，计算总损失，以最小化总损失函数为目标，更新特征提取子单元
、
关联捕捉子单元
、
上下文编码子单元和输出预测子单元的参数，完成问答大模型的构建；所述客户端，用于提供给客户输入用户问题，提交给问答大模型，问答大模型根据输入的用户问题，生成客服回答，将客服回答返回给用户端
。
[0008]进一步的，设知识库构建单元从训练数据中获取用户问题和客服回答对为，其中表示用户问题，表示客服回答；使用预训练
Word2Vec
词嵌入表示模型将用户问题和客服回答映射到连续向量空间，以将用户问题和客服回答分别编码成词嵌入表示；其中，用户问题的词嵌入表示；其中，是用户问题中第个单词的词嵌入向量；客服回答的词嵌入表示为；其中，是客服回答中第个单词的词嵌入向量；为下标，取值为正整数，取值范围的下边界为1，取值范围的上边界为用户问题和客服回答对的个数；为下标，取值为正整数，取值范围的下边界为1，取值范围的上边界为用户问题的词嵌入表示中的单词的个数；为下标，取值为正整数，取值范围的下边界为1，取值范围的上边界为客服回答的词嵌入表示为中的单词的个数
。
[0009]进一步的，特征提取子单元使用改进的残差神经网络提取知识库中的用户问题的词嵌入表示和客服回答的词嵌入表示的特征表示，所述改进的残差神经网络使用如下公式进行表示为
[0010]；
[0011]其中，为用户问题的词嵌入表示；为改进的残差神经网络的第一个残差块的权重矩阵；为第一个残差块的偏置项；为第一个残差块的输出特征表示，为客服回答的词嵌入表示的特征表示；为修正线性函数，是是一个非线性激活函数，将每个元素的负值变为零；为第二个残差块的权重矩阵，用于线性变换；为第二个残差块的偏置项；为第二个残差块的输出特征表示，为用户问题的客服回答的词嵌入表示的特征表示；为将用户问题词嵌入表示与经过残差神经网络提取的用户问题的词嵌入表示相加，得到的更新后的用户问题的词嵌入表示
。
[0012]进一步的，关联捕捉子单元，使用如下公式计算知识库中的用户问题的词嵌入表示和对应的客服回答的词嵌入表示之间注意力分数为
[0013]；
[0014]其中，；其中，使用注意力分数矩阵
。
[0015]进一步的，编码子单元，根据注意力分数矩阵，使用如下公式，编码用户问题的词嵌入表示和客服回答的词嵌入表示的上下文信息为：
[0016]；
[0017]其中，为用户问题的词嵌入表示的上下文信息；为客服回答的词嵌入表示上下文信息
。
[0018]进一步的，所述编码子单元使用如下公式，根据上下文信息计算得到用户问题的词嵌入表示的隐藏状态：
[0019]；
[0020]其中，为问题更新门在时间步的值，是一个介于0和1之间的概率值，表示保留前一个时间步的问题记忆状态的概率；为
Sigmoid
函数；为用于计算问题记忆门的权重矩阵；为前一个时间步的用户问题的词嵌入表示的隐藏状态；为问题重置门在时间步的值，是一个介于0和1之间的概率值，表示保留前一个时间步的用户问题的词嵌入表示的隐藏状态的概率；为用于计算问题重置门的权重矩阵；为在时间步的候选的用户问题的词嵌入表示的隐藏状态；为双曲正切函数；为用于计算候选用户问题的词嵌入表示的隐藏状态的权重矩阵；为在时本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种基于大模型与知识库生成的智能客服系统，其特征在于，所述系统包括：知识库构建单元
、
问答大模型构建单元和客户端；所述知识库构建单元，用于从训练数据中获取用户问题和客服回答对，将用户问题和客服回答对中的用户问题和客服回答分别编码成词嵌入表示，基于用户问题的词嵌入表示和对应的客服回答的词嵌入表示，构建知识库；所述问答大模型构建单元，用于构建问答大模型，包括：特征提取子单元，关联捕捉子单元
、
上下文编码子单元
、
输出预测子单元
、
参数更新单元；所述特征提取子单元，用于提取知识库中的用户问题的词嵌入表示和客服回答的词嵌入表示的特征表示；所述关联捕捉子单元，用于引入注意力机制，计算知识库中的用户问题的词嵌入表示和对应的客服回答的词嵌入表示之间注意力分数矩阵；上下文编码子单元，用于根据注意力分数矩，编码用户问题的词嵌入表示和客服回答的词嵌入表示的上下文信息，根据上下文信息得到用户问题的词嵌入表示的隐藏状态和对应的客服回答的词嵌入表示的隐藏状态；输出预测子单元，用于基于用户问题的词嵌入表示的隐藏状态和对应的客服回答的词嵌入表示的隐藏状态，预测客服回答词嵌入表示的起始位置和结束位置，生成预测的客服回答的词嵌入表示；参数更新单元，用于根据预测的客服回答的词嵌入表示的起始位置和结束位置，使用交叉熵损失来衡量预测的客服回答的词嵌入表示与知识库中的客服回答的词嵌入表示的差异，根据差异，计算总损失，以最小化总损失函数为目标，更新特征提取子单元
、
关联捕捉子单元
、
上下文编码子单元和输出预测子单元的参数，完成问答大模型的构建；所述客户端，用于提供给客户输入用户问题，提交给问答大模型，问答大模型根据输入的用户问题，生成客服回答，将客服回答返回给用户端
。2.
如权利要求1所述的基于大模型与知识库生成的智能客服系统，其特征在于，设知识库构建单元从训练数据中获取用户问题和客服回答对为，其中表示用户问题，表示客服回答；使用预训练
Word2Vec
词嵌入表示模型将用户问题和客服回答映射到连续向量空间，以将用户问题和客服回答分别编码成词嵌入表示；其中，用户问题的词嵌入表示；其中，是用户问题中第个单词的词嵌入向量；客服回答的词嵌入表示为；其中，是客服回答中第个单词的词嵌入向量；为下标，取值为正整数，取值范围的下边界为1，取值范围的上边界为用户问题和客服回答对的个数；为下标，取值为正整数，取值范围的下边界为1，取值范围的上边界为用户问题的词嵌入表示中的单词的个数；为下标，取值为正整数，取值范围的下边界为1，取值范围的上边界为客服回答的词嵌入表示为中的单词的个数
。3.
如权利要求2所述的基于大模型与知识库生成的智能客服系统，其特征在于，特征提取子单元使用改进的残差神经网络提取知识库中的用户问题的词嵌入表示和客服回答的词嵌入表示的特征表示，所述改进的残差神经网络使用如下公式进行表示为；其中，为用户问题的词嵌入表示；为改进的残差神经网络的第一个残差块的
权重矩阵；为第一个残差块的偏置项；为第一个残差块的输出特征表示，为客服回答的词嵌入表示的特征表示；为修正线性函数，是一个非线性激活函数，将每个元素的负值变为零；为第二个残差块的权重矩阵，用于线性变换；为第二个残差块的偏置项；为第二个残差块的输出特征表示，为用户问题的客服回答的词嵌入表示的特征表示；为将用户问题词嵌入表示与经过残差神经网...

【专利技术属性】
技术研发人员：王海龙，姜华，王兵，
申请(专利权)人：深圳大合创智科技有限公司，
类型：发明
国别省市：