一种基于多轮语音聊天模型构建方法技术

本发明专利技术提供一种基于多轮对话语音聊天模型的机器人。本发明专利技术为了解决现有的人机对话系统依赖于大规模语料，训练速度受到语料规模的影响，并且由于对话生成的回复不唯一性，Seq2Seq模型总是倾向于生成通用，无意义的回复的缺点，而提出一种基于层次化注意力机制的多轮对话模型构建方法，包括：接收句子输入，针对每一个句子，从第一个单词开始计算加密隐函数，计算第每个句子的Attention权重，并计算话题语境表示向量，最后计算解密隐函数，同时将结果进行输出，解决了现有技术中技术问题。

【技术实现步骤摘要】
一种基于多轮语音聊天模型构建方法
本专利技术涉及人机对话系统，尤其涉及一种基于多轮对话模型构建方法。属于智能软件

技术介绍
1、国外技术现状(1)基于人工模板的对话系统基于人工模板的技术通过人工设定对话场景，并对每个场景写一些针对性的对话模板，模板描述了用户可能的问题以及对应的答案模板。Weizenbaum等人(1966)开发出最早的聊天机器人ELIZA，ELIZA根据对话中可能出现的语言情况，去预先设计对应的语言模板，文本生成器会根据用户的输入将输入中的重要信息嵌入到模板中，最终得到回复。他们都将聊天限制到特定场景或者特定的话题，并且使用一组模板规则来生成响应。(2)基于检索的对话系统基于检索技术的聊天机器人则使用是类似搜索引擎的方法，事先存储好对话库并建立索引，根据用户问句，在对话库中进行模糊匹配找到最合适的应答内容。Shaikh等人(2010)构建了一个虚拟聊天机器人(VCA)，可以在聊天室中与人们进行初步的社交，他们使用一种新颖的方法来利用正在进行的对话主题来进行网络搜索，并找到可以插入对话中的相关主题来改变其流程，可以看作是基于检索和以及模板方法的融合。(3)基于深度学习的对话生成模型深度学习技术在对话生成中的应用主要是面向开放域聊天机器人，因为大规模通用语料的获取较为容易，最常用的借鉴机器翻译的SequencetoSequence模型，将对话生成的由问题到回复的整个过程视为机器翻译中从源语言到目标语言的翻译过程。Ritter等人(2011)使用了从Twitter中获取的对话语料，利用Seq2Seq模型使得效果超过了基于检索系统的对话模型。Sordoni等人(2015)提出一个对话生成系统，该系统考虑到了对话中的上下文信息，从而在回复一致性上取得提升。Serban等人(2016)提出了HierarchicalNerualNetwork模型，旨在对对话中上下文的语义和交互进行建模，从而构建一个多轮的对话系统。JiweiLi等人(2016)致力于解决传统Seq2Seq模型生成通用回复的问题，引入了互信息作为目标函数，提高了生成回复的多样性。同时JiweiLi(2016)使用改进的Seq2Seq模型对用户风格进行了建模，在解码端引入了用户embedding作为先验，从而提高了对话系统的一致性和相关性。LouisShao等人(2017)改进了Seq2Seq模型的训练方法和decode端，并且加入了beam-search，从而提高模型生成的回复长度以及一致性和相关性。2、国内技术现状国内因为起步较晚，在对话系统方面的研究也主要是基于深度学习的方法，LiHang等人(2015)提出了NeuralRespondingMachine，使用改进的Seq2Seq模型，加入Attention机制并使用多个模型进行融合从而在短文本对话系统上取得了不错的结果。MouLili(2016)着眼于解决传统Seq2Seq模型生成通用回复的问题，提出先Seq2Bf模型，通过使用互信息先预测关键词，再基于关键词进行回复句子的生成。同时ZongchengJi(2014)则使用基于检索的方法，使用最先进的信息检索技术，依靠庞大的对话语料库，创建了一个相对智能的对话系统。3、国内外文献综述的简析目前国内外对于开放域对话生成系统的研究主要包括基于模板的方法，基于检索的方法以及基于深度学习的方法。早期时的基于模板的方法没有进行真正的语言处理，生成的语言僵硬，形式化，往往存在语义和流畅度方面的问题，相对于开放域对话系统，该方法更适合任务型聊天机器人。基于检索的方法是在已有的人人对话语料库中通过排序学习技术和深度匹配技术找到适合当前输入的最佳回复。这种方法的局限是仅能以固定的语言模式进行回复，无法实现词语的多样性组合。目前最流行的方法是基于深度学习的方法，使用来自机器翻译任务的Seq2Seq模型，一般是Encoder-Decoder结构，配合较大规模的对话语料，用于实现端到端的训练，从而获得一个对话系统。该方法能够突破之前的方法对于句式词语的限制，主要是对用户输入的问题进行建模，然后根据中间结果进行逐字的生成，可以创造性地生成回复，目前绝大多数研究都是基于该模型的拓展或者改进。但是基于深度学习的方法依赖于大规模语料，Seq2Seq模型训练速度受到语料规模的影响，并且由于对话生成的回复不唯一性，Seq2Seq模型总是倾向于生成通用，无意义的回复，例如“你好”，“我也不知道”，“哈哈”等等。再者目前大多数对话系统都致力于优化单轮对话即一问一答过程的质量，聊天是一个有特定背景的连续交互过程，一句话的意义有时要结合对话上下文或者相关的背景才能确定。对于上下文建模依然是有待深入研究的问题。
技术实现思路
本专利技术的目的在于，针对上述问题，提出一种基于多轮对话模型构建方法，以实现人机多轮对话的目的。为实现上述目的，本专利技术采用的技术方案是：步骤一、接收n+1个句子输入；步骤二、针对每一个句子ci，从第一个单词开始计算加密隐函数hi,t＝f(xi,t,hi,t-1)，其中其中xi,t代表ci第t个单词；其中hi,0记为预设参数；并将最后一个计算完毕的hi,t记为句子ci的加密隐函数hi；步骤三、计算第i个句子的Attention权重其中ei＝vTtanh(Whi+Uhn)；v、W、U均为Attention机制中的预设参数；tanh为激活函数；步骤四、计算话题语境表示向量T＝∑αihi；步骤五、计算解密隐函数st＝f(yt-1,st-1,T)，yt-1表示t-1时刻的迭代输入量，y0为预设值；s0＝hn；步骤六、将s1,s2,……st……sn的值作为结果进行输出。本专利技术还提供另一种基于多轮对话模型的构建方法，包括：步骤一、接收n+1个句子输入；步骤二、针对每一个句子ci，从第一个单词开始计算加密隐函数hi,t＝f(xi,t,hi,t-1)，其中其中xi,t代表ci第t个单词；其中hi,0记为预设参数；并将最后一个计算完毕的hi,t记为句子ci的加密隐函数hi；步骤三、计算第i个句子中第t个单词的Attention权重其中eit＝vTtanh(Whi+Ust-1)；v、W、U均为Attention机制中的预设参数；st-1为t-1时刻的隐层状态；步骤四、计算动态表示向量Dt＝αithi；步骤五、计算解密隐函数st＝f(yt-1,st-1,T)，yt-1表示t-1时刻的迭代输入量，y0为预设值；s0＝hn；步骤六、将s1,s2,……st……sn的值作为结果进行输出。进一步地，本专利技术的有益效果为：1、不依赖于大规模语料，训练速度不受到语料规模的影响，不会倾向于生成通用、无意义的回复；2、本专利技术在Opensubtitles数据集和Ubuntu数据集上进行了测试。在Opensubtitles数据集上，本专利技术的EmbeddingAverage最高可达到0.565647，明显高于现有技术的0.557139；本专利技术的GreedyMatching最高可达到0.523235，明显高于现有技术的0.503273；本专利技术的Extrema最高可达到0.393724，高于现有技术的0.393189。在Ubuntu数据集上，本专利技术的EmbeddingAverage最高可达到0本文档来自技高网...

【技术保护点】
1.一种基于多轮对话语音聊天模型构建方法，包括：步骤一、接收n+1个句子输入；步骤二、针对每一个句子，从第一个单词开始计算加密隐函数，t代表ci第t个单词；其中hi，0为预设参数；并将最后一个计算完毕的hi，t作为句子ci的加密隐函数hi；步骤三、计算第i个句子的Attention权重其中ei＝vTtanh(Whi+Uhn)；v、W、U均为Attention机制中的预设参数；tanh为激活函数；步骤四、计算话题语境表示向量T＝∑αihi；步骤五、计算解密隐函数st＝f(yt‑1，st‑1，T)，yt‑1表示t‑1时刻的迭代输入量，y0为预设值；s0＝hn；步骤六、将s1，s2，…sn的值作为结果进行输出。

【技术特征摘要】
1.一种基于多轮对话语音聊天模型构建方法，包括：步骤一、接收n+1个句子输入；步骤二、针对每一个句子，从第一个单词开始计算加密隐函数，t代表ci第t个单词；其中hi，0为预设参数；并将最后一个计算完毕的hi，t作为句子ci的加密隐函数hi；步骤三、计算第i个句子的Attention权重其中ei＝vTtanh(Whi+Uhn)；v、W、U均为Attention机制中的预设参数；tanh为激活函数；步骤四、计算话题语境表示向量T＝∑αihi；步骤五、计算解密隐函数st＝f(yt-1，st-1，T)，yt-1表示t-1时刻的迭代输入量，y0为预设值；s0＝hn；步骤六、将s1，s2，…sn的值作为结果进行输出。2.根据权利要求1所述的基于多轮对话语音聊天模型构建方法，其特征在于，当步骤一中接收的句子输入为训练数据时，步骤五中yt-...

【专利技术属性】
技术研发人员：王祝，
申请(专利权)人：大连智讯科技有限公司，
类型：发明
国别省市：辽宁,21