自动回复对话方法、系统及存储介质技术方案

本发明专利技术公开了一种自动回复对话方法、系统及存储介质，涉及了一种新的自动回复对话模型，针对传统模型倾向于生成万能回复以及上下文无关回复的问题，TBERT首先利用BERT模型学习出问句的主题信息，然后将主题信息引入到回复生成模块中，降低万能回复以及前后矛盾回复出现的可能性，进而提高开放域对话系统的性能。

【技术实现步骤摘要】
自动回复对话方法、系统及存储介质
本专利技术涉及开放域对话系统
，特别涉及一种自动回复对话方法、系统及存储介质。
技术介绍
智能对话系统是人工智能领域的一个重要研究方向，该系统能够实现让人与机器通过自然语言进行交互。当前，根据应用场景的不同，智能对话系统可以分为以下两种：一种是任务型对话系统，另一种是开放域对话系统。任务型对话系统以特定任务为导向，用户使用这类对话系统可以解决特定领域的特定问题，例如：预定机票、预订酒店、网站客服、车载助手等。开放域对话系统则不限制用户提问的特定领域，没有明确目的的对话系统都可以归入此类中，例如：微软的聊天机器人小冰，Zo等。相比于任务型对话系统，开放域对话系统的优势在于其能够拉近用户和对话系统间的距离，可以用于情感陪伴等任务型对话系统无法完成的任务。传统的开放域对话系统主要采用基于检索的方法。这类方法首先定义问题与回复之间的索引，当用户发出询问时，对话系统利用语料库中的索引输出该问题对应的回复。然而，该类方法非常依赖对话语料库的质量，如果所使用对话语料噪声大，则无论模型优劣其回复都不尽人意。并且，这类对话系统回复内容单一，对于用户的问题，只能在语料库中搜索回复，如果语料库中没有对应的回复，系统则无法做出响应。近年来，基于生成模型的开放域对话系统取得了较大进展。这类方法首先利用序列到序列模型对对话语料库数据进行学习，然后基于深度学习模型自动生成回复内容。与基于检索的方法相比，这类方法对于用户提出的问题可以产生新的回复，具有更广泛的应用领域，已经受到了学术界和工业界的共同关注。但是，基于生成模型的开放域对话系统存在以下两个亟待解决的关键问题：(1)序列到序列模型仅能针对对话数据的局部信息进行学习，难以针对上下文进行处理，因此自动生成的回复易出现上下文无关，前后矛盾等现象。(2)标准的序列到序列模型倾向于生成高频万能回复，例如“好的”、“我不知道”等。这类回复缺乏足够的有用信息，难以给用户提供实质帮助。
技术实现思路
鉴于上述现有技术的不足之处，本专利技术的目的在于提供一种自动回复对话方法、系统及存储介质，解决现有技术中自动回复对话体系回复质量不佳的技术问题。为了达到上述目的，本专利技术采取了以下技术方案：一种自动回复对话方法，包括如下步骤：S1，提供一对话语料数据集，对所述对话语料数据集进行关键词提取，得到对话集合；S2，依据TBERT模型对所述对话集合进行编码处理，生成主题向量，所述主题向量经函数处理得到主题词；S3，将所述主题词引入到开放域对话系统模型中，生成回复信息。优选的，所述S1中所述关键词提取为剔除介词、冠词及修饰词。优选的，所述S2具体包括以下步骤：S21，依据TBERT模型对所述对话集合进行向量化处理，得到字符向量；S22，依据TBERT模型的自注意力机制及多头注意力机制对所述字符向量进行编码处理，得到所述字符向量的隐藏状态；S23，将所述字符向量的隐藏状态的第一个字符作为问句向量，所述问句向量通过主题输入矩阵和主题输出矩阵处理得到主题向量；S24，将所述主题向量通过函数处理来预测对话集合中的每个词，得到对话集合对应的主题词。优选的，所述S3中的所述开放域对话系统模型包括编码器及解码器，所述编码器与所述解码器由两个带门控循环单元的循环神经网络组成。优选的，所述S3具体包括以下步骤：S31，将所述主题词引入到开放域对话系统模型中，所述编码器通过双向GRU将所述对话集合编码呈隐藏状态；S32，所述门控单元将所述主题向量引入所述隐藏状态的对话集合中生成语料词汇表；S33，所述语料词汇表与所述主题词组成的主题词表在联合生成单元中提供回复词，所述回复词经解码器解码生成回复。优选的，所述S22中将字符向量编码为隐藏状态的公式为：MultiHead(Q，K，V)＝Concat(head1，head2，…，headh)WOheadi＝Attention(QWiQ，KWiK，VWiV)(2)其中，Q、K和V分别表示为查询、键和值，softmax表示逻辑回归函数，Concat表示连接操作，表示参数矩阵，在TBERT模型中，多头注意力层数h＝12，dk＝dv＝dmodel/h＝64。优选的，所述S23中所述问句向量转化为所述主题向量的公式为：Va＝softmax(IVq)(3)Vt＝OTVa(4)其中，Va表示为注意力分布，I表示为主题输入矩阵，Vq表示为问句向量，Vt表示为主题向量，O表示为主题输出矩阵。优选的，所述S32中所述门控单元将所述主题向量引入到隐藏状态的所述对话集合中的公式为：gi＝σ(WgtVt+Wghhi-1+Wgxxi+bg)Vti＝gi⊙Vthi＝RNN(Vti，hi-1，xi)(5)其中，Wgt、Wgh、Wgx和bg为模型的参数，σ表示sigmoid非线性激活函数，⊙表示点积操作，Vti表示隐藏状态的主题向量，gi表示门控单元，hi表示隐藏状态，hi-1表示前一隐藏状态。一种自动回复对话系统，包括处理器和存储器；所述存储器上存储有可被所述处理器执行的计算机可读程序；所述处理器执行所述计算机可读程序时实现如上所述的自动回复对话方法中的步骤。一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者多个程序，所述一个多个程序可被一个或者多个处理器执行，以实现如上所述的自动回复对话方法中的步骤。相较于现有技术，本专利技术提出了一种基于TBERT的自动回复对话方法，该方法首先利用BERT学习主题信息；然后将主题信息引入到开放域对话系统模型中，降低万能回复以及前后矛盾回复出现的可能性，进而提高开放域对话系统的性能。附图说明图1为本专利技术提供的自动回复对话方法的一较佳实施例的流程图；图2为图1中S2的步骤流程示意图；图3为图1中S3的步骤流程示意图；图4为本专利技术设计的TBERT模型的结构示意图；图5为本专利技术与基准模型的实验比较示意图。具体实施方式本专利技术提供一种自动回复对话方法、系统及存储介质，为使本专利技术的目的、技术方案及效果更加清楚、明确，以下参照附图并举实施例对本专利技术进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本专利技术，并不用于限定本专利技术。实施例1请参阅图1，图1为本专利技术提供的自动回复对话方法的一较佳实施例的流程图。本专利技术提供的自动回复对话方法的流程图，S10包括如下步骤：S1，提供一对话语料数据集，对所述对话语料数据集进行关键词提取，得到对话集合；S2，依据TBERT模型对所述对话集合进行编码处理，生成主题向量，所述主题向量经函数处理得到主题词；S3，将所述主题词引入到开放域对话系统模型中，生成回复信息。相较于现有技术，本专利技术提出了一种基于TBERT的自动回复对话方法，该方法首先利用BERT学习主题信息；然后将主题信息引入到开放域对话系统模型中，降低万能回复本文档来自技高网...

【技术保护点】
1.一种自动回复对话方法，其特征在于，包括如下步骤：/nS1，提供一对话语料数据集，对所述对话语料数据集进行关键词提取，得到对话集合；/nS2，依据TBERT模型对所述对话集合进行编码处理，生成主题向量，所述主题向量经函数处理得到主题词；/nS3，将所述主题词引入到开放域对话系统模型中，生成回复信息。/n

【技术特征摘要】
1.一种自动回复对话方法，其特征在于，包括如下步骤：
S1，提供一对话语料数据集，对所述对话语料数据集进行关键词提取，得到对话集合；
S2，依据TBERT模型对所述对话集合进行编码处理，生成主题向量，所述主题向量经函数处理得到主题词；
S3，将所述主题词引入到开放域对话系统模型中，生成回复信息。


2.根据权利要求1所述的自动回复对话方法，其特征在于，所述S1中所述关键词提取为剔除介词、冠词及修饰词。


3.根据权利要求1所述的自动回复对话方法，其特征在于，所述S2具体包括以下步骤：
S21，依据TBERT模型对所述对话集合进行向量化处理，得到字符向量；
S22，依据TBERT模型的自注意力机制及多头注意力机制对所述字符向量进行编码处理，得到所述字符向量的隐藏状态；
S23，将所述字符向量的隐藏状态的第一个字符作为问句向量，所述问句向量通过主题输入矩阵和主题输出矩阵处理得到主题向量；
S24，将所述主题向量通过函数处理来预测对话集合中的每个词，得到对话集合对应的主题词。


4.根据权利要求1所述的自动回复对话方法，其特征在于，所述S3中的所述开放域对话系统模型包括编码器及解码器，所述编码器与所述解码器由两个带门控循环单元的循环神经网络组成。


5.根据权利要求4所述的自动回复对话方法，其特征在于，所述S3具体包括以下步骤：
S31，将所述主题词引入到开放域对话系统模型中，所述编码器通过双向GRU将所述对话集合编码呈隐藏状态；
S32，所述门控单元将所述主题向量引入所述隐藏状态的对话集合中生成语料词汇表；
S33，所述语料词汇表与所述主题词组成的主题词表在联合生成单元中提供回复词，所述回复词经解码器解码生成回复。


6.根据权利要求3所述的自动回复对话方法，其特征在于，所述S22中将字符向量编码为隐藏状态的公式为：...

【专利技术属性】
技术研发人员：鲁小玲，
申请(专利权)人：孝感天创信息科技有限公司，
类型：发明
国别省市：湖北;42