一种基于语义匹配与生成模型的会话智能生成方法技术

本申请公开的属于智能会话技术领域，具体为一种基于语义匹配与生成模型的会话智能生成方法，包括模型准备阶段、数据传输、话术库向量检索、语义匹配、话术生成、结果展示与发送等多个步骤，本发明专利技术通过AI模型辅助人工客服自动匹配到话术库中的问题，降低对人工专业能力的要求，并通过生成多种不同表达方式的答案，让人工只需要通过简单判断，就可以通过一键点击返回个性化的答案服务，同时基于一个可以同时响应中文语义匹配与生成任务的语义模型，可以大幅度降低模型训练、微调、上线部署、实时预测等这些都需要很高成本的资源消耗。等这些都需要很高成本的资源消耗。等这些都需要很高成本的资源消耗。

【技术实现步骤摘要】
一种基于语义匹配与生成模型的会话智能生成方法


[0001]本申请涉及智能会话
，具体为一种基于语义匹配与生成模型的会话智能生成方法。

技术介绍

[0002]智能会话主要是指售前、售中、售后等完整销售过程中的沟通场景，通过AI模型对整个过程进行辅助，比如话术智能匹配、AI质检、标签自动提取等功能，智能客服返回的结果，过于冰冷僵化，缺少人性化的服务，非常影响用户体验。除此之外，如果基于人工提供人性化的服务，会非常依赖人工的专业能力，且需要消耗大量的精力去个性化的回复问题。语义匹配与生成模型指的是可以同时解决中文语义匹配与生成任务的模型，支持中文文本匹配和文本生成两类任务，对于需要同时解决这两个任务的场景，可以实现一次训练即可部署响应，对于语义匹配和语义生成来说，一般需要分别基于两个模型去完成对应的功能，这样对于训练、微调、上线部署、实时预测等这些过程都需要重复消耗对应的资源，对于AI模型从训练到部署的场景，无论是对人员的要求，还是对硬件GPU的要求，所消耗的资源成本是很高的，同时已有的一些多任务模型，比如PALM模型，会存在一些缺陷，比如降噪自编码器的任务缺陷，或者不支持中文等，使得效果达不到可商用的前提。

技术实现思路

[0003]本申请的目的在于提供一种基于语义匹配与生成模型的会话智能生成方法，以解决上述
技术介绍
中提出的依赖人工的专业能力，且需要消耗大量的精力去个性化的回复问题，需要重复消耗对应的资源、存在一些缺陷的问题。
[0004]为实现上述目的，本申请提供如下技术方案：一种基于语义匹配与生成模型的会话智能生成方法，包括以下步骤：
[0005]步骤1：模型准备阶段：在PALM模型的基础上新增一个单独的浅层解码器，基于CLUE的新闻和百科数据集，在每个训练批次中，使用1/4的数据做双向优化，使用1/4的数据做Seq2Seq语言模型优化，使用1/4的数据做从右向左的单向优化，使用1/4的数据做从左向右的单向优化，用掩码掩盖掉句子中20％的词语，最终得到一个拥有语义匹配和生成任务的模型；
[0006]步骤2：数据传输：由于销售过程中沟通的手段会多种多样，所以对于客户实时发送的内容进行预处理：如果客户发送的音频，通过语音识别转化成文字，再通过语义分割把连续的文字转换成可以理解的句子；如果客户发送的是文本，通过语义分割和文字纠错的处理，将上述内容转化成步骤1中模型可以处理的文本格式；
[0007]步骤3：话术库向量检索：将已有的话术库中的问题，分批输入到步骤1中的的语义匹配和生成模型中，分别得到对应问题的语义向量，并交由对应的向量检索引擎进行建立索引管理；
[0008]步骤4：语义匹配：将步骤2模块处理后的文本问题，输入到语义匹配和生成模型
中，输出文本对应的文本向量，再将这段文本向量，通过步骤3中的向量检索引擎，找到话术库中语义相似度最高的问题；
[0009]步骤5：话术生成：将步骤4找到的问题的对应的答案话术，输入到语义匹配和生成模型中，生成多个表达同一语义但不同描述方式的答案；
[0010]步骤6：结果展示与发送：将步骤5生成的答案，实时返回给人工展示，人工基于当前场景和客户的情况，对多个答案进行判断和挑选，选择最合适的个性化描述方式，通过一键点击返回给客户。
[0011]优选的，所述步骤1中的浅层解码器由5层叠加的Transformer层构成，由共享编码器作为其输入，用于解决降噪自编码器带来的负面影响。
[0012]优选的，所述步骤1中语义匹配和生成模型的学习率是0.00002，批大小是80，共训练为14
‑
16万次。
[0013]优选的，所述步骤3中的话术库为基于互联网的销售团队业务储备知识库，话术库中的每一条话术都对应一个具体的问题以及回答问题的答案。
[0014]优选的，所述步骤1中被掩盖掉的20％的词语中有70％使用掩码替换，15％使用字典中的随机词做替换，15％保持不变。
[0015]与现有技术相比，本申请的有益效果是：
[0016]1)本专利技术提出了一个新颖的智能辅助会话方法，针对客户实时发送的问题，通过一个改进的可以同时响应中文语义匹配与生成任务的语义模型，先基于模型的语义匹配功能找到话术库中对应的问题，再把问题的答案通过模型的生成模块返回多个同一语义但不同描述方式的答案，可以让销售等客服人员根据上下文场景挑选个性化的描述答案并返回，降低对销售人员的专业程度的要求，提高答复效率，并给客户带来更好的个性化的服务体验。
[0017]2)本专利技术通过AI模型辅助人工客服自动匹配到话术库中的问题，降低对人工专业能力的要求，并通过生成多种不同表达方式的答案，让人工只需要通过简单判断，就可以通过一键点击返回个性化的答案服务，同时基于一个可以同时响应中文语义匹配与生成任务的语义模型，可以大幅度降低模型训练、微调、上线部署、实时预测等这些都需要很高成本的资源消耗。
附图说明
[0018]图1为本申请流程示意图。
具体实施方式
[0019]下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
[0020]实施例：
[0021]请参阅图1，本申请提供一种技术方案：一种基于语义匹配与生成模型的会话智能生成方法，包括以下步骤：
[0022]步骤1：模型准备阶段：由于PALM模型有一定的缺陷，因为它为了让编码器理解上下文的含义，把多语言模型任务添加到了预训练的编码器中，这样对于基于自编码器初始化的参数会有过拟合的风险，且PALM对中文也是不支持的，因此我们在PALM的基础上对其进行了改进，在PALM模型的基础上新增一个单独的浅层解码器，浅层解码器由5层叠加的Transformer层构成，由共享编码器作为其输入，用于解决降噪自编码器带来的负面影响，这样可以在文本匹配任务上具有良好的性能，基于CLUE的新闻和百科数据集，在每个训练批次中，使用1/4的数据做双向优化，使用1/4的数据做Seq2Seq语言模型优化，使用1/4的数据做从右向左的单向优化，使用1/4的数据做从左向右的单向优化，用掩码掩盖掉句子中20％的词语，被掩盖掉的20％的词语中有70％使用掩码替换，15％使用字典中的随机词做替换，15％保持不变，学习率是0.00002，批大小是80，共训练为14
‑
16万次，最终得到一个拥有语义匹配和生成任务的模型；
[0023]步骤2：数据传输：由于销售过程中沟通的手段会多种多样，所以对于客户实时发送的内容进行预处理：如果客户发送的音频，通过语音识别转化成文字，再通过语义分割把连续的文字转换成可以理解的句子；如果客户发送的是文本，通过语义分割和文字纠错的处理，将上述内容转化成步骤1中模型可以处理的文本格式；
[0024本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于语义匹配与生成模型的会话智能生成方法，其特征在于：包括以下步骤：步骤1：模型准备阶段：在PALM模型的基础上新增一个单独的浅层解码器，基于CLUE的新闻和百科数据集，在每个训练批次中，使用1/4的数据做双向优化，使用1/4的数据做Seq2Seq语言模型优化，使用1/4的数据做从右向左的单向优化，使用1/4的数据做从左向右的单向优化，用掩码掩盖掉句子中20％的词语，最终得到一个拥有语义匹配和生成任务的模型；步骤2：数据传输：由于销售过程中沟通的手段会多种多样，所以对于客户实时发送的内容进行预处理：如果客户发送的音频，通过语音识别转化成文字，再通过语义分割把连续的文字转换成可以理解的句子；如果客户发送的是文本，通过语义分割和文字纠错的处理，将上述内容转化成步骤1中模型可以处理的文本格式；步骤3：话术库向量检索：将已有的话术库中的问题，分批输入到步骤1中的的语义匹配和生成模型中，分别得到对应问题的语义向量，并交由对应的向量检索引擎进行建立索引管理；步骤4：语义匹配：将步骤2模块处理后的文本问题，输入到语义匹配和生成模型中，输出文本对应的文本向量，再将这段文本向量，通过步骤3中的向量检索引擎，找到话术库中语义相似度最高的问题；步骤5：话术生成：将步骤4找到的...

【专利技术属性】
技术研发人员：李翔，李柯辰，汪凡，曾炜，
申请(专利权)人：深圳市惟客数据科技有限公司，
类型：发明
国别省市：