一种基于用户个性化的对话回复生成方法及其模型技术

本发明专利技术涉及一种基于用户个性化的对话回复生成方法及其模型。本发明专利技术所述的对话回复生成方法包括：S1、获取当轮输入语句与历史输入语句中包含的个性化信息的匹配程度得分；S2、根据所述匹配程度得分，得到个性化信息选择性保存向量；S3、根据个性化信息选择性保存向量，得到用户个性化表征向量；在获得用户个性化表征向量后，根据用户个性化表征向量，在候选知识语句中选择最符合用户个性的知识语句，再利用所选择的知识语句，生成对话回复语句。本发明专利技术的方案，无须引入外部的对话者信息标注数据来获得用户的个性化信息，从而降低了对话系统的数据处理的负担，并且提高了对话系统的灵活性和应用范围。性和应用范围。性和应用范围。

【技术实现步骤摘要】
一种基于用户个性化的对话回复生成方法及其模型


[0001]本专利技术涉及自然语言处理
，特别是涉及一种基于用户个性化的对话回复生成方法及其模型。

技术介绍

[0002]近年来，以深度学习为代表的新一代人工智能技术的兴起，推动了自然语言处理技术(NLP，Natural Language Processing)的蓬勃发展。而对话系统则是在自然语言处理领域中研究机器如何以文字的形式与人进行交流的重要课题，并吸引了不少来自学术界和工业界的关注。
[0003]在现有技术中，基于序列到序列(sequence to sequence model，Seq2Seq)框架的端到端的生成式对话系统可以在训练后对输入对话序列生成相应回复序列，但是上述端到端的生成式对话系统趋向于生成呆板、无意义、不够恰当的通用重复性答复(如“好的”，“是的”，“我不知道”等)，并且缺少扩展对话内容的能力。
[0004]目前，以知识为基础的对话系统在提升回复的信息量方面有着不错的效果。其中，以知识为基础的对话系统中所涉及的基于知识的对话(Knowledge
‑
grounded Conversations，KGC)，是指在对话回复生成的过程中引入额外的知识，使得生成的回复具有更加丰富的信息量，其关键的挑战在于知识选择(Knowledge Selection，KS)，即如何从给定的知识语句中选择合适的部分引入到回复生成过程中。然而，在知识选择的过程中，一方面，现有的以知识为基础的对话系统通常仅考虑历史对话与外部知识之间的关系，而缺乏用户个性化因素的考虑，从而导致在知识选择方面没有偏向性，无法选择用户偏好的知识来构建对话回复，另一方面，对话存在一对多(即一个对话可以有多个合适的回复)的特性，因此，现有的以知识为基础的对话系统往往存在整个对话聊天过程没有吸引力、对话不够持久的问题。因此，以知识为基础的对话系统在生成回复时，仅仅考虑历史对话与外部知识的直接关系是不足够的，应该更加关注用户的偏好，选择更符合用户个性的知识并将其引入相对应的回复生成过程中，从而提高对话的质量。
[0005]在现有技术中，虽然已存在生成回复时引入用户的个性化的知识的方式，但是，现有的考虑用户个性化的方法都需要引入额外的标注有对话者信息的对话数据集，通过标注有对话者的个人信息来确定相应的知识，这种方式加大了对话系统处理数据的负担，并且，固定的数据使得对话系统的灵活性也有所下降，从而阻碍了对话系统更广泛的应用。

技术实现思路

[0006]基于此，本专利技术的目的在于，提供一种基于用户个性化的对话回复生成方法，其无需利用额外的标注有对话者信息的对话数据集进行训练，具有更好的灵活性及应用性，同时能够提高对话系统与用户聊天的持久性、简单的优点。
[0007]一种基于用户个性化的对话回复生成方法，其包括如下步骤：
[0008]S1、根据当前对话中用户的历史输入语句和当轮输入语句，得到当轮输入语句与
历史输入语句中包含的个性化信息的匹配程度得分；
[0009]S2、根据所述匹配程度得分，得到所述历史输入语句的个性化信息选择性保存向量；
[0010]S3、根据所述个性化信息选择性保存向量，得到所述当轮输入语句所对应的用户个性化表征向量；
[0011]S4、根据所述用户个性化表征向量，得到每一候选知识语句与所述用户个性化表征向量在信息上的信息关联向量；
[0012]S5、根据所述信息关联向量，得到所述候选知识语句的知识选择分布向量；
[0013]S6、根据所述知识选择分布向量，计算每个候选知识语句的注意力得分，并将注意力得分最高的候选知识语句定为当轮对话中所选择的知识语句；
[0014]S7、根据上下文语句和所选择的知识语句，初始化循环神经网络的解码隐藏状态向量；
[0015]S8、更新循环神经网络，得到更新后的解码隐藏状态向量；
[0016]S9、根据所述更新的解码隐藏状态向量和上下文语句，计算词语表中词语的第一注意力值，以及根据所述更新的解码隐藏状态向量和所选择的知识语句，计算所选择的所述知识语句中词语的第二注意力值；
[0017]S10、利用所述第一注意力值和第二注意力值，计算词语的最终概率值；
[0018]S11、选择最终概率值最高的词语作为当前时间步的生成词。
[0019]本专利技术中，利用当前对话过程中的用户的历史输入语句和当轮输入语句，来获得每一轮对话中的用户个性化信息，其中的历史输入语句和当轮输入语句均是对话系统内部的数据，其无须引入外部的对话者信息标注数据来获得用户的个性化信息，从而降低了对话系统的数据处理的负担。并且，由于在每一轮对话中，其所对应的历史输入语句和当前输入语句会有所不同，因而每一轮对话中，用于获得用户个性化信息的数据内容不是固定不变而是因用户的输入语句的不断输入而相应变化，这不仅提高了每一轮对话中所得到的用户个性化信息的准确性，还提高了对话系统的灵活性，使得对话系统能够适用于多种不同的对话情景，提高了对话系统的应用范围。
[0020]此外，本方案中，在步骤S4中，还考虑了每个候选知识语句与用户个性化表征向量之间的关联性和相似性，从而促进对话系统选择更为合适的、符合用户偏好的知识语句。在计算第一注意力值和第二注意力值时，本方案中引入上下文对话语句，以使得生成的词语更接近上下文语句，同时，还引入前述所选的知识语句从而使得所生成的对话回复语句中出现所选择的知识语句中的词语，从而，在对话回复语句的词语生成过程中，使得生成的对话回复语句更恰当以及更具有用户偏好的知识，提高了用户的对话兴趣以及对话的持久性。
[0021]进一步地，所述步骤S1包括：对所述历史输入语句和当轮输入语句分别进行编码，得到第一历史输入语句个性化信息隐藏向量和当轮输入语句个性化信息隐藏向量，并利用所述第一历史输入语句个性化信息隐藏向量和所述当轮输入语句个性化信息隐藏向量获得所述匹配程度得分；所述步骤S2包括：根据所述匹配程度得分和对所述历史输入语句编码所得的第二历史输入语句个性化信息隐藏向量，计算所述个性化信息选择性保存向量，其中，所述第二历史输入语句个性化信息隐藏向量与所述第一历史输入语句个性化信息隐
藏向量的编码方式相同但参数不同。
[0022]该方案中，采用同一编码方式对不同步骤中的历史输入语句进行编码，在实现向量长度一致的同时，多个参数的训练有利于得到更加体现用户个性化信息的所述个性化信息选择性保存向量，使得后续得到的用户个性化表征向量能够更准确、完整的体现用户的当轮输入语句中所表现出的用户偏好。
[0023]进一步地，所述步骤S3包括：计算所述个性化信息选择性保存向量与所述当轮输入语句个性化信息隐藏向量两者所含信息的直接相关度，得到所述用户个性化表征向量。
[0024]该方案中，在获取所述用户个性化表征向量时，同时考虑了用户的历史输入语句中的个性化信息和用户的当轮输入语句信息，从而使得所获得的用户个性化表征向量能够更全面的体现用户本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于用户个性化的对话回复生成方法，其特征在于：包括如下步骤：S1、根据当前对话中用户的历史输入语句和当轮输入语句，得到当轮输入语句与历史输入语句中包含的个性化信息的匹配程度得分；S2、根据所述匹配程度得分，得到所述历史输入语句的个性化信息选择性保存向量；S3、根据所述个性化信息选择性保存向量，得到所述当轮输入语句所对应的用户个性化表征向量；S4、根据所述用户个性化表征向量，得到每一候选知识语句与所述用户个性化表征向量在信息上的信息关联向量；S5、根据所述信息关联向量，得到所述候选知识语句的知识选择分布向量；S6、根据所述知识选择分布向量，计算每个候选知识语句的注意力得分，并将注意力得分最高的候选知识语句定为当轮对话中所选择的知识语句；S7、根据上下文语句和所选择的知识语句，初始化循环神经网络的解码隐藏状态向量；S8、更新循环神经网络的解码隐藏状态向量，从而得到更新后的解码隐藏状态向量；S9、根据所述更新的解码隐藏状态向量和上下文语句，计算词语表中词语的第一注意力值，以及根据所述更新的解码隐藏状态向量和所选择的知识语句，计算所选择的所述知识语句中词语的第二注意力值；S10、利用所述第一注意力值和第二注意力值，计算词语的最终概率值；S11、选择最终概率值最高的词语作为当前时间步的生成词。2.根据权利要求1所述的对话回复生成方法，其特征在于：所述步骤S1包括：对所述历史输入语句和当轮输入语句分别进行编码，得到第一历史输入语句个性化信息隐藏向量和当轮输入语句个性化信息隐藏向量，并利用所述第一历史输入语句个性化信息隐藏向量和所述当轮输入语句个性化信息隐藏向量获得所述匹配程度得分；所述步骤S2包括：根据所述匹配程度得分和对所述历史输入语句编码所得的第二历史输入语句个性化信息隐藏向量，计算所述个性化信息选择性保存向量，其中，所述第二历史输入语句个性化信息隐藏向量与所述第一历史输入语句个性化信息隐藏向量的编码方式相同但参数不同。3.根据权利要求2所述的对话回复生成方法，其特征在于：所述步骤S3包括：计算所述个性化信息选择性保存向量与所述当轮输入语句个性化信息隐藏向量两者所含信息的直接相关度，得到所述用户个性化表征向量。4.根据权利要求1或2或3所述的对话回复生成方法，其特征在于：所述步骤S4包括：根据对所述候选知识语句编码所得的候选知识语句隐藏向量与所述用户个性化表征向量，得到每一候选知识语句隐藏向量与所述用户个性化表征向量在信息上的信息关联向量。5.根据权利要求4所述的对话回复生成方法，其特征在于：所述步骤S5包括：S51、对当轮对话中的上下文语句进行编码，得到上下文语句信息隐藏向量，其中，所述上下文语句包括历史对话语句和用户的当轮输入语句；S52、根据所述信息关联向量、所述上下文语句信息隐藏向量和所述候选知识语句隐藏向量，得到所述知识选择分布向量。6.根据权利要求...

【专利技术属性】
技术研发人员：曾碧卿，曾威，冯灵聪，周斯颖，
申请(专利权)人：华南师范大学，
类型：发明
国别省市：