回复消息生成方法、系统、计算机设备及存储介质技术方案

本申请公开了一种回复消息生成方法、系统、计算机设备以及计算机可读存储介质，该方法包括：获取对话消息，所述对话消息带有情感标签；对所述对话消息进行分词和嵌入，得到输入语义特征向量；将所述输入语义特征向量和情感标签输入语义‑情感记忆模块，得到情感记忆值；利用所述输入语义特征向量和所述情感记忆值进行预测，生成回复消息。通过上述方式，本申请能够根据用户输入的对话消息的语义及其带有的情感标签生成语义连贯且情感合理的回复消息，与对话消息的适配度高。

【技术实现步骤摘要】
回复消息生成方法、系统、计算机设备及存储介质
本申请涉及自然语言处理领域，特别是涉及一种回复消息生成方法、系统、计算机设备及计算机可读存储介质。
技术介绍
对话系统是指机器人与人类进行交谈的系统，旨在让机器人拥有感知人类语言的能力，并产生智能化回复。构建一个能够表达指定情感并产生信息丰富的回复的情感对话系统是人工智能的长远目标。有研究表明，在对话系统中引入情感因素可以提升用户满意度，并有助于提升系统感知交互的能力。通过赋予机器识别用户情绪状态并产生特异性回复的能力，可以避免对话中的许多故障。传统的情感对话系统依赖手工设计的对话模板和规则。在一项研究成果中，提出了根据用户话语中的频谱，韵律和言语暗示，来设计了一个对于用户所表达的情感敏感的对话系统。该模型可以根据用户输入的话语中所表达的情感信息，结合预先设计好的对话模板产生最终的回复。近年来，随着深度学习技术的井喷式发展以及社交网络媒体的迅速普及，人类拥有了海量的对话数据，基于深度学习的对话技术也开始崭露头角，逐步超越和取代了传统的基于规则和模板的方法。数据驱动是基于深度学习的对话系统的一大特点，深度学习方法能够利用神经网络自主提取蕴含在海量对话数据中的对话特征，学习人类语言表达的能力并理解用户对话的语义。一种典型的基于神经网络的对话生成方法是序列到序列模型(seq2seq)，该模型采用了一个基于长短期记忆网络(LSTM)的编码器将历史对话记录编码为向量，然后将此历史对话的向量表示输入到另一个基于长短期记忆网络的解码器以逐个单词地生成最终的回复句子。基于编码器-解码器框架的序列到序列模型主导了情感对话的生成，因为它能够以端到端的形式训练，并扩展到非常大的训练数据集上，从而具备良好的泛化性能，达到了超越传统模型的效果。随后，部分研究工作尝试在序列到序列模型的基础上融入情感信息，以此构建情感对话生成模型。一项具有代表性的研究工作利用内部和外部情感记忆在大规模对话生成中建模情感因素。目前的对话模型尽管考虑了情感因素对于回复消息的重要性，但是仍旧依赖人工词典，生成的回复消息带有的情感信息难以匹配对话内容的情感。
技术实现思路
本申请提供一种回复消息生成方法、系统、计算机设备及存储介质，能够解决回复消息的情感与对话消息的情感适配程度低的问题。为解决上述技术问题，本申请第一方面提供了一种回复消息生成方法，该方法包括：获取对话消息，所述对话消息带有情感标签；对所述对话消息进行分词和嵌入，得到输入语义特征向量；将所述输入语义特征向量和情感标签输入语义-情感记忆模块，得到情感记忆值；利用所述输入语义特征向量和所述情感记忆值进行预测，生成回复消息进一步地，所述语义-情感记忆模块包括语义记忆层和情感记忆层；所述语义记忆层包括K个对话消息语义向量，每个所述对话消息语义向量在所述情感记忆层对应N个情感类，每个所述情感类存储一情感记忆值。进一步地，所述将所述输入语义特征向量和情感标签输入语义-情感记忆模块，得到情感记忆值，包括：在所述语义记忆层搜索与所述输入语义特征向量相似度最高的对话消息语义向量；在所述情感记忆层搜索所述对话消息语义向量对应的、与所述情感标签为相同情感类型的情感类，获取所述情感类对应的情感记忆值。进一步地，所述K个对话消息语义向量为多个对话消息语义特征向量被聚类为K个聚类簇的簇中心，每个所述对话消息语义向量对应多个回复消息语义特征向量，且每个所述对话消息语义向量对应的多个所述回复消息语义特征向量根据情感类型被分类为N个情感类，每个所述情感类以类中回复消息语义特征向量的平均向量为情感记忆值。进一步地，所述利用所述输入语义特征向量和所述情感记忆值进行预测，生成回复消息包括：将所述输入语义特征向量和所述情感记忆值进行合并；将合并结果作为解码器的初始状态，利用所述解码器逐步预测每个时间步的回复单词的概率；基于所述概率确定每个时间步的最终回复单词，所有所述最终回复单词按时间顺序组合得到所述回复消息。进一步地，所述利用所述解码器逐步预测每个时间步的回复单词的概率包括：每个时间步以所述情感标签的初始化向量作为所述解码器的额外输入，更新当前时间步的隐藏层状态，并利用全局上下文向量预测当前时间步的回复单词的概率。进一步地，在所述获取的对话消息之前，所述方法包括：利用语料库训练回复消息生成网络，所述语料库包括多组带有情感标签的对话消息及对应的真实回复，所述回复消息生成网络包括第一子网络和第二子网络，所述第一子网络用于为所述带有情感标签的对话消息生成回复消息，所述第二子网络用于对所述真实回复进行重构。进一步地，所述方法还包括：在对所述回复消息生成网络进行训练时，所述第一子网络将所述语料库中的对话消息转换为训练语料对话向量，所述第二子网络将所述语料库中的真实回复转换为训练语料回复向量，依次将每对所述训练语料对话向量和训练语料回复向量写入所述语义-情感记忆模块；将所述训练语料对话向量作为对话消息语义特征向量调整所述K个聚类簇，以更新所述对话消息语义向量；将所述训练语料回复向量作为所述回复消息语义特征向量，重新计算每个所述情感类中的回复消息语义特征向量的平均向量，以更新所述情感记忆值。为解决上述技术问题，本申请第二方面提供了一种回复消息生成系统，该系统包括获取模块、分词嵌入模块、语义-情感记忆模块、情感记忆值获取模块以及预测模块，其中，获取模块用于获取对话消息，所述对话消息带有情感标签；分词嵌入模块用于对所述对话消息进行分词和嵌入，得到输入语义特征向量；语义-情感记忆模块用于存储情感记忆值；情感记忆值获取模块用于将所述输入语义特征向量和情感标签输入语义-情感记忆模块，得到情感记忆值；预测模块用于利用所述输入语义特征向量和所述情感记忆值进行预测，生成回复消息。为解决上述技术问题，本申请第三方面提供了一种计算机设备，该计算机设备包括相互耦接的处理器和存储器，所述存储器中存储有计算机程序，所述处理器用于执行所述计算机程序，以实现上述第一方面提供的回复消息生成方法。为解决上述技术问题，本申请第四方面提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时，实现上述第一方面提供的回复消息生成方法。本申请的有益效果是：区别于现有技术的情况，本申请首先获取带有情感标签的对话消息，将对话消息进行分词嵌入处理，得到输入语义特征向量，再将输入语义特征向量和情感标签输入语义-情感记忆模块，得到情感记忆值，最后利用输入语义特征向量和情感记忆值预测生成回复消息。利用输入语义特征向量和情感标签搜索情感记忆值，情感记忆值的获取兼顾了对话消息的语义信息和情感信息，最后依靠输入语义特征向量和情感记忆值预测回复消息，由于回复消息是严格遵从对话消息的语义以及情感记忆值生成的，其语义和情感都对话消息的语义和情感高度适配。附图说明图1是本申请回复消息生成网络一实施例的结构示意图；图2是本申请回复消息生成方法一实施例的流程示意框图；图3是本申请搜索情感记忆值一实施例的流程示意本文档来自技高网...

【技术保护点】
1.一种回复消息生成方法，其特征在于，所述方法包括：/n获取对话消息，所述对话消息带有情感标签；/n对所述对话消息进行分词和嵌入，得到输入语义特征向量；/n将所述输入语义特征向量和情感标签输入语义-情感记忆模块，得到情感记忆值；/n利用所述输入语义特征向量和所述情感记忆值进行预测，生成回复消息。/n

【技术特征摘要】
1.一种回复消息生成方法，其特征在于，所述方法包括：
获取对话消息，所述对话消息带有情感标签；
对所述对话消息进行分词和嵌入，得到输入语义特征向量；
将所述输入语义特征向量和情感标签输入语义-情感记忆模块，得到情感记忆值；
利用所述输入语义特征向量和所述情感记忆值进行预测，生成回复消息。


2.根据权利要求1所述的方法，其特征在于，
所述语义-情感记忆模块包括语义记忆层和情感记忆层；
所述语义记忆层包括K个对话消息语义向量，每个所述对话消息语义向量在所述情感记忆层对应N个情感类，每个所述情感类存储一个情感记忆值。


3.根据权利要求2所述的方法，其特征在于，
所述将所述输入语义特征向量和情感标签输入语义-情感记忆模块，得到情感记忆值，包括：
在所述语义记忆层搜索与所述输入语义特征向量相似度最高的对话消息语义向量；
在所述情感记忆层搜索所述对话消息语义向量对应的、与所述情感标签为相同情感类型的情感类，获取所述情感类对应的情感记忆值。


4.根据权利要求2所述的方法，其特征在于，
所述K个对话消息语义向量为多个对话消息语义特征向量被聚类为K个聚类簇的簇中心，每个所述对话消息语义向量对应多个回复消息语义特征向量，且每个所述对话消息语义向量对应的多个所述回复消息语义特征向量根据情感类型被分类为N个情感类，每个所述情感类以类中回复消息语义特征向量的平均向量为情感记忆值。


5.根据权利要求1所述的方法，其特征在于，
所述利用所述输入语义特征向量和所述情感记忆值进行预测，生成回复消息包括：
将所述输入语义特征向量和所述情感记忆值进行合并；
将合并结果作为解码器的初始状态，利用所述解码器逐步预测每个时间步的回复单词的概率；
基于所述概率确定每个时间步的最终回复单词，所有所述最终回复单词按时间顺序组合得到所述回复消息。


6.根据权利要求5所述的方法，其特征在于，
所述利用所述解码器逐步预测每个时间步的回复单词的概率包括：
每个时间步以所述情感标签的初始化向量作为所...

【专利技术属性】
技术研发人员：王振伟，杨敏，李成明，姜青山，
申请(专利权)人：中国科学院深圳先进技术研究院，
类型：发明
国别省市：广东;44