基于情感图谱的多模态情感引导方法和系统、存储介质技术方案

本发明专利技术提供一种基于情感图谱的多模态情感引导方法和系统、存储介质，涉及情感引导技术领域。本发明专利技术实施例采用多种情感判别方式，更加精准的识别出被引导者的实时情感，及时反馈信息，极大程度的减少了噪声和个人特征对情感判别的影响；本发明专利技术实施例中还将目标情感输入多模态情感图谱中，得到目标情感实体，并得到所述目标情感实体对应的多模态属性，所述多模态属性包括文本关键词信息、图像信息、视频信息；即利用多模态情感图谱进行情感引导，情感实体之间有强关联，不断地进行搜索找到相关刺激，比网络随机链接更精准。

【技术实现步骤摘要】
基于情感图谱的多模态情感引导方法和系统、存储介质
本专利技术涉及情感引导
，具体涉及一种基于情感图谱的多模态情感引导方法和系统、存储介质。
技术介绍
随着社会的飞速发展,人们的压力也日渐增加。正因如此，人们的身心健康备受关注。在面对不良情感时，如何及时化解，成为了科研人员日益关注的话题。目前，现有技术中的情感引导方法主要包括两类。第一，获取被引导者的对话集，进行对话干预。具体的，提取被引导者的对话集，分析被引导者的情绪序列，根据被引导者的不同情绪反应，选择最优的情绪引导策略，进行对话干预。第二，通过获取面部表情图像和生理信号等生理参数。具体的，采集被引导者的生理信号和面部表情图像，根据被引导者产生的情绪，匹配预设的情感调节策略，如视频，图片等进行情绪转移的调整。并且基于生理的情感引导方法的效果明显优于基于对话干预的引导方法。然而，上述基于生理的多模态情感引导方法，噪声和个人特征的影响对于情感的判别相对较大，容易得到误判的情感反馈。
技术实现思路
(一)解决的技术问题针对现有技术的不足，本专利技术提供了一种基于情感图谱的多模态情感引导方法和系统、存储介质，解决了现有的基于生理的多模态情感引导方法，噪声和个人特征的影响对于情感的判别相对较大，容易得到误判的情感反馈的技术问题。(二)技术方案为实现以上目的，本专利技术通过以下技术方案予以实现：一种基于情感图谱的多模态情感引导方法，包括：S1、设定被引导者的目标情感，所述目标情感包括类型和程度两部分；S2、将所述目标情感输入多模态情感图谱中，得到目标情感实体，并得到所述目标情感实体对应的多模态属性，所述多模态属性包括文本关键词信息、图像信息、视频信息；S3、依据所述文本关键词信息，针对所述被引导者进行关键词对话干预，采用不同的情感识别方式，综合判断被引导者的第一实时情感；若所述第一实时情感未达到所述目标情感的类型或程度的要求，那么执行S4，若所述第一实时情感达到所述目标情感的类型和程度的要求，那么结束本次引导过程；S4、依据所述图像信息，针对所述被引导者进行图像引导，采用所述情感识别方式，综合判断被引导者的第二实时情感；若所述第二实时情感未达到所述目标情感的类型或程度的要求，那么执行S5，若所述第二实时情感达到所述目标情感的类型和程度的要求，那么结束本次引导过程；S5、依据所述视频信息，针对所述被引导者进行视频引导，采用所述情感识别方式，综合判断被引导者的第三实时情感；若所述第三实时情感未达到所述目标情感的类型或程度的要求，那么结束本次引导过程；若所述第三实时情感达到所述目标情感的类型和程度的要求，那么结束本次引导过程。优选的，所述步骤S2中的多模态情感图谱的构建过程包括：获取带有情感词的语料集，并对所述语料集进行预处理；将预处理后的语料集输入情感实体识别模型中，得到情感实体；将所述情感实体输入开源框架OpenNRE模型，得到所述情感实体之间的关系；按照一定的规则，依次对网络中与所述情感实体相关的文本关键词信息、图像信息、视频信息进行提取，并将所述文本关键词信息、图像信息、视频信息以属性的方式链接到对应的情感实体上，得到所述情感实体的多模态属性；依据所述情感实体，所述情感实体之间的关系和所述情感实体的多模态属性，构建多模态情感图谱。优选的，所述对所述语料集进行预处理，具体包括：基于公开语料集，构建情感实体语料库；将所述情感实体语料库添加到现代汉语标注语料库中，得到新的分词模型；依据所述新的分词模型对所述带有情感词的语料集进行分词。优选的，所述将预处理后的语料集输入情感实体识别模型中，得到情感实体，具体包括：将分词后的带有情感词的语料集输入预先训练好的Skip-gram词向量模型，得到词向量；将所述词向量输入BiLSTM-CRF命名实体识别模型，得到带有情感倾向的情感实体。优选的，所述规则包括：只将网络中搜索点击率最高的与所述情感实体相关的文本关键词信息、图像信息、视频信息的链接内容提取出来。优选的，所述步骤S3中的情感识别方式包括：主观情感问答采集，面部表情情感判别，实时热成像情感判别。优选的，所述目标情感的类型包括高兴、惊奇、厌恶、悲伤、愤怒、恐惧；和/或所述目标情感的程度包括有点、比较、相当。一种基于情感图谱的多模态情感引导系统，包括：设定目标情感模块，用于设定被引导者的目标情感，所述目标情感包括类型和程度两部分；获取多模态属性模块，用于将所述目标情感输入多模态情感图谱中，得到目标情感实体，并得到所述目标情感实体对应的多模态属性，所述多模态属性包括文本关键词信息、图像信息、视频信息；关键词对话干预模块，用于依据所述文本关键词信息，针对所述被引导者进行关键词对话干预，采用不同的情感识别方式，综合判断被引导者的第一实时情感；若所述第一实时情感未达到所述目标情感的类型或程度的要求，那么执行图像引导模块，若所述第一实时情感达到所述目标情感的类型和程度的要求，那么结束本次引导过程；图像引导模块，用于依据所述图像信息，针对所述被引导者进行图像引导，采用所述情感识别方式，综合判断被引导者的第二实时情感；若所述第二实时情感未达到所述目标情感的类型或程度的要求，那么执行视频引导模块，若所述第二实时情感达到所述目标情感的类型和程度的要求，那么结束本次引导过程；视频引导模块，用于依据所述视频信息，针对所述被引导者进行视频引导，采用所述情感识别方式，综合判断被引导者的第三实时情感；若所述第三实时情感未达到所述目标情感的类型或程度的要求，那么结束本次引导过程；若所述第三实时情感达到所述目标情感的类型和程度的要求，那么结束本次引导过程。一种计算机可读存储介质，其上存储有计算机程序，其特征在于，在处理器执行所述计算机程序时可实现上述任一项所述的方法。(三)有益效果本专利技术提供了一种基于情感图谱的多模态情感引导方法和系统、存储介质。与现有技术相比，具备以下有益效果：本专利技术实施例采用多种情感判别方式，更加精准的识别出被引导者的实时情感，及时反馈信息，极大程度的减少了噪声和个人特征对情感判别的影响；本专利技术实施例中还将目标情感输入多模态情感图谱中，得到目标情感实体，并得到所述目标情感实体对应的多模态属性，所述多模态属性包括文本关键词信息、图像信息、视频信息；即利用多模态情感图谱进行情感引导，情感实体之间有强关联，不断地进行搜索找到相关刺激，比网络随机链接更精准。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。本文档来自技高网...

【技术保护点】
1.一种基于情感图谱的多模态情感引导方法，其特征在于，包括：/nS1、设定被引导者的目标情感，所述目标情感包括类型和程度两部分；/nS2、将所述目标情感输入多模态情感图谱中，得到目标情感实体，并得到所述目标情感实体对应的多模态属性，所述多模态属性包括文本关键词信息、图像信息、视频信息；/nS3、依据所述文本关键词信息，针对所述被引导者进行关键词对话干预，采用不同的情感识别方式，综合判断被引导者的第一实时情感；/n若所述第一实时情感未达到所述目标情感的类型或程度的要求，那么执行S4，/n若所述第一实时情感达到所述目标情感的类型和程度的要求，那么结束本次引导过程；/nS4、依据所述图像信息，针对所述被引导者进行图像引导，采用所述情感识别方式，综合判断被引导者的第二实时情感；/n若所述第二实时情感未达到所述目标情感的类型或程度的要求，那么执行S5，/n若所述第二实时情感达到所述目标情感的类型和程度的要求，那么结束本次引导过程；/nS5、依据所述视频信息，针对所述被引导者进行视频引导，采用所述情感识别方式，综合判断被引导者的第三实时情感；/n若所述第三实时情感未达到所述目标情感的类型或程度的要求，那么结束本次引导过程；/n若所述第三实时情感达到所述目标情感的类型和程度的要求，那么结束本次引导过程。/n...

【技术特征摘要】
1.一种基于情感图谱的多模态情感引导方法，其特征在于，包括：
S1、设定被引导者的目标情感，所述目标情感包括类型和程度两部分；
S2、将所述目标情感输入多模态情感图谱中，得到目标情感实体，并得到所述目标情感实体对应的多模态属性，所述多模态属性包括文本关键词信息、图像信息、视频信息；
S3、依据所述文本关键词信息，针对所述被引导者进行关键词对话干预，采用不同的情感识别方式，综合判断被引导者的第一实时情感；
若所述第一实时情感未达到所述目标情感的类型或程度的要求，那么执行S4，
若所述第一实时情感达到所述目标情感的类型和程度的要求，那么结束本次引导过程；
S4、依据所述图像信息，针对所述被引导者进行图像引导，采用所述情感识别方式，综合判断被引导者的第二实时情感；
若所述第二实时情感未达到所述目标情感的类型或程度的要求，那么执行S5，
若所述第二实时情感达到所述目标情感的类型和程度的要求，那么结束本次引导过程；
S5、依据所述视频信息，针对所述被引导者进行视频引导，采用所述情感识别方式，综合判断被引导者的第三实时情感；
若所述第三实时情感未达到所述目标情感的类型或程度的要求，那么结束本次引导过程；
若所述第三实时情感达到所述目标情感的类型和程度的要求，那么结束本次引导过程。


2.如权利要求1所述的多模态情感引导方法，其特征在于，所述步骤S2中的多模态情感图谱的构建过程包括：
获取带有情感词的语料集，并对所述语料集进行预处理；
将预处理后的语料集输入情感实体识别模型中，得到情感实体；
将所述情感实体输入开源框架OpenNRE模型，得到所述情感实体之间的关系；
按照一定的规则，依次对网络中与所述情感实体相关的文本关键词信息、图像信息、视频信息进行提取，并将所述文本关键词信息、图像信息、视频信息以属性的方式链接到对应的情感实体上，得到所述情感实体的多模态属性；
依据所述情感实体，所述情感实体之间的关系和所述情感实体的多模态属性，构建多模态情感图谱。


3.如权利要求2所述的多模态情感引导方法，其特征在于，所述对所述语料集进行预处理，具体包括：
基于公开语料集，构建情感实体语料库；
将所述情感实体语料库添加到现代汉语标注语料库中，得到新的分词模型；
依据所述新的分词模型对所述带有情感词的语料集进行分词。


4.如权利要求3所述的多模态情感引导方法，其特征在于，所述将预处理后的语料集输入情...

【专利技术属性】
技术研发人员：孙晓，李园林，王晓华，汪萌，
申请(专利权)人：合肥工业大学，
类型：发明
国别省市：安徽;34