一种融合知识图谱和情感监督的多轮对话方法及系统技术方案

一种融合知识图谱和情感监督的多轮对话方法，包括：将获取的情感序列输入到预先构建的知识图谱中，识别用户初步意图；通过情绪预测模型对所述情感序列中情感的变化进行判断，确定用户情绪状态，并基于所述情绪状态和用户初步意图确定当前用户意图；基于所述当前用户意图进行回复。本发明专利技术通过在已构建的结构化知识图谱中进行检索、匹配或推理等方法来识别用户意图，同时借助储存上下文信息的对话状态机进一步明确意图，从而进行准确回复。

【技术实现步骤摘要】
一种融合知识图谱和情感监督的多轮对话方法及系统
本专利技术涉及一种对话领域，具体讲涉及一种融合知识图谱和情感监督的多轮对话方法及系统。
技术介绍
自然语言对话系统正在覆盖越来越多的生活和服务场景，在行业智能化的实现进程中,通过知识图谱对数据进行提炼、萃取、关联、整合,形成行业知识或领域知识,让机器形成对于行业工作的认知能力,并把这些认知能力与技能理解模型进行整合,从而实现这个行业的知识型对话系统。近年来，基于知识图谱的对话系统成为学术界和工业界研究和应用的热点。知识图谱的可逻辑推理能力、高度的知识结构化组织能力和高效率的检索使其被广泛应用。然而传统的对话系统往往只致力于提升对话系统生成语句的语言质量，包括语法性、多样性以及话题相关性等等，却缺乏对用户上下文言语情感的关注和分析。
技术实现思路
为解决现有技术中存在的缺乏对用户上下文言语情感的关注和分析，本专利技术提供了一种融合知识图谱和情感监督的多轮对话方法，包括：将获取的情感序列输入到预先构建的知识图谱中，识别用户初步意图；通过情绪预测模型对所述情感序列中情感的变化进行判断，确定用户情绪状态，并基于所述情绪状态和用户初步意图确定当前用户意图；基于所述当前用户意图进行回复。优选的，所述通过情绪预测模型对所述情感序列中情感的变化进行判断，确定用户情绪状态，包括：将所述情感序列输入到预先训练好的情绪预测模型中，得到情绪不稳定值；当所述情绪不稳定值大于设定阈值时，判定用户处于情绪不稳定状态，转入人工服务，进而明确当前用户意图；否则，认为用户情绪稳定。优选的，所述情绪预测模型的构建包括：基于长短期神经网络提取连续的情感值序列的情感特征，并将所述情感特征输入到深度置信网络得到融合情感特征；将所述融合情感特征输入到分类器中进行情感识别，得到多个情感类别；基于得到多个情感类别计算各个情感类别在所有情感类别中的比重；将比重最大的值作为情绪不稳定值。优选的，所述基于长短期神经网络提取连续的情感值序列的情感特征，并将所述情感特征输入到深度置信网络得到融合情感特征包括：对所述连续的情感值序列的文本进行分词和词嵌入处理，基于词嵌入后的文本获得语义情感特征；基于连续的情感值序列中的视频片段和音频片段提取视频情感特征和音频情感特征；将所述音频情感特征、视频情感特征和语义情感特征分别拉伸为一维向量并拼接，将拼接得到的一维向量输入多模态情感识别网络模型中的深度置信网络得到融合情感特征。优选的，所述将获取的连续情感序列输入到预先构建的知识图谱中，识别用户初步意图，包括：将接收到的情感值序列中的语音信息转换成文本数据，从所述文本数据中抽取实体和关系；将抽取的实体和关系映射到预先构建的知识图谱中，通过检索所述知识图谱识别用户初步意图。优选的，所述基于情绪状态和用户初步意图确定当前用户意图，包括：基于用户初步意图匹配预先设定的业务流程模板，并根据当前时刻之前和之后的情绪状态变化确定当前用户意图。优选的，所述基于所述当前用户意图进行回复，包括：基于所述当前用户意图和匹配的预先设定的业务流程模板，在业务流程中进行推导并跳转到下一时刻，最后更新用户的对话状态，返回准确的话术。一种融合知识图谱和情感监督的多轮对话系统，包括：对话管理模块、情绪识别模块和自然语言理解模块；所述自然语言理解模块，用于将获取的情感序列输入到预先构建的领域知识图谱中，识别用户初步意图；所述情绪识别模块，用于通过情绪预测模型对所述情感序列中情感的变化进行判断，确定用户情绪状态，并基于所述情绪状态和用户初步意图确定当前用户意图；所述对话管理模块，用于基于所述当前用户意图进行回复。优选的，所述自然语言理解模块包括：实体识别与链接子模块、意图识别子模块和槽信息提取子模块；所述实体识别与链接子模块，用于通过相似度匹配法识别情感序列中音频数据转化成的文本数据中的命名性实体，并将所述实体与知识图谱中对应实体进行链接；所述意图识别子模块，用于通过检索知识图谱，采用相似度排序识别情感序列中话语的目的，识别用户初步意图；所述槽信息提取子模块，用于标识情感序列中与目标有关的语义类别。优选的，所述情绪识别模块，包括：特征提取子模块、情绪分析子模块和情绪监督子模块；所述特征提取子模块，用于基于长短期神经网络提取连续的情感值序列的情感特征，并将所述情感特征输入到深度置信网络得到融合情感特征；所述情绪分析子模块，用于将所述融合情感特征输入到分类器中进行情感识别，得到情感类别；所述情绪监督子模块，用于实时记录并监督情绪分析子模块的输出的情感类别，并基于所述用户初步意图确定当前用户意图。优选的，所述对话管理模块包括：对话状态维护子模块和问答子模块；所述对话状态维护子模块，用于通过有限状态机维护和更新对话的状态；所述问答子模块，用于基于当前的对话状态和知识图谱生成回复决策，根据情绪监督子模块确定的当前用户意图进行回复。优选的，还包括输入模块，用于接收用户对话，并将所述用户对话转换为情感序列。与现有技术相比，本专利技术的有益效果为：1、本专利技术提供的一种融合知识图谱和情感监督的多轮对话方法，包括：将获取的情感序列输入到预先构建的知识图谱中，识别用户初步意图；通过情绪预测模型对所述情感序列中情感的变化进行判断，确定用户情绪状态；并基于所述情绪状态和用户初步意图确定当前用户意图，基于所述当前用户意图进行回复。通过在已构建的结构化知识图谱中进行检索、匹配或推理等方法来识别用户意图，同时借助储存上下文信息的对话状态机进一步明确意图，从而进行准确回复。2、本专利技术实时监督用户的情绪状态，记录时序情感信息并进行情绪预测，对于情绪波动较大的用户保证其及时得到人工介入服务。附图说明图1为本专利技术的融合知识图谱和情感监督的多轮对话方法流程图；图2为本专利技术的实施例中多轮对话方法结构示意图；图3为本专利技术的融合知识图谱和情感监督的多轮对话系统示意图；图4为本专利技术中DST模块结构示意图；图5为本专利技术中问答流程模块交互示意示意图；图6为本专利技术中时序情感分析流程示意图。具体实施方式本专利技术中提出的融合知识图谱的多轮对话管理充分利用知识图谱中的关系和属性知识，将输入的内容与情绪的动态变化进行连接，发挥上下文情感序列的重要作用，通过神经网络模型对情感序列中情感的变化进行判断，通过多任务和多目标优化的方法生成多种有效的解决方案，以保证识别的准确性和有效性，利用优化后的算法降低时延和等待时间，以提高原有方法的实用性。实施例1：一种融合知识图谱和情感监督的多轮对话方法，如图1所示：步骤1：将获取的情感序列输入到预先构建的知识图谱中，识别用户初步意图；步骤2：通过情绪预测模型对所述情感序本文档来自技高网...

【技术保护点】
1.一种融合知识图谱和情感监督的多轮对话方法，其特征在于，包括：/n将获取的情感序列输入到预先构建的知识图谱中，识别用户初步意图；/n通过情绪预测模型对所述情感序列中情感的变化进行判断，确定用户情绪状态，并基于所述情绪状态和用户初步意图确定当前用户意图；/n基于所述当前用户意图进行回复。/n

【技术特征摘要】
1.一种融合知识图谱和情感监督的多轮对话方法，其特征在于，包括：
将获取的情感序列输入到预先构建的知识图谱中，识别用户初步意图；
通过情绪预测模型对所述情感序列中情感的变化进行判断，确定用户情绪状态，并基于所述情绪状态和用户初步意图确定当前用户意图；
基于所述当前用户意图进行回复。


2.如权利要求1所述的多轮对话方法，其特征在于，所述通过情绪预测模型对所述情感序列中情感的变化进行判断，确定用户情绪状态，包括：
将所述情感序列输入到预先训练好的情绪预测模型中，得到情绪不稳定值；
当所述情绪不稳定值大于设定阈值时，判定用户处于情绪不稳定状态，转入人工服务，进而明确当前用户意图；
否则，认为用户情绪稳定。


3.如权利要求2所述的多轮对话方法，其特征在于，所述情绪预测模型的构建包括：
基于长短期神经网络提取连续的情感值序列的情感特征，并将所述情感特征输入到深度置信网络得到融合情感特征；
将所述融合情感特征输入到分类器中进行情感识别，得到多个情感类别；
基于得到多个情感类别计算各个情感类别在所有情感类别中的比重；
将比重最大的值作为情绪不稳定值。


4.如权利要求3所述的多轮对话方法，其特征在于，所述基于长短期神经网络提取连续的情感值序列的情感特征，并将所述情感特征输入到深度置信网络得到融合情感特征包括：
对所述连续的情感值序列的文本进行分词和词嵌入处理，基于词嵌入后的文本获得语义情感特征；
基于连续的情感值序列中的视频片段和音频片段提取视频情感特征和音频情感特征；
将所述音频情感特征、视频情感特征和语义情感特征分别拉伸为一维向量并拼接，将拼接得到的一维向量输入多模态情感识别网络模型中的深度置信网络得到融合情感特征。


5.如权利要求4所述的多轮对话方法，其特征在于，所述将获取的连续情感序列输入到预先构建的知识图谱中，识别用户初步意图，包括：
将接收到的情感值序列中的语音信息转换成文本数据，从所述文本数据中抽取实体和关系；
将抽取的实体和关系映射到预先构建的知识图谱中，通过检索所述知识图谱识别用户初步意图。


6.如权利要求4所述的多轮对话方法，其特征在于，所述基于情绪状态和用户初步意图确定当前用户意图，包括：
基于用户初步意图匹配预先设定的业务流程模板，并根据当前时刻之前和之后的情绪状态变化确定当前用户...

【专利技术属性】
技术研发人员：潘明明，田世明，李德智，龚桃荣，陈宋宋，宫飞翔，石坤，董明宇，
申请(专利权)人：中国电力科学研究院有限公司，国网江苏省电力有限公司，国家电网有限公司，
类型：发明
国别省市：北京;11