【技术实现步骤摘要】
本申请涉及多模态数据挖掘，尤其涉及一种基于超图网络的长对话情感动态识别方法及系统。
技术介绍
1、近年来，我国在人机交互领域发展迅速，各类智能系统对社会生活逐渐产生重要影响。共情服务是智能系统了解用户需求的关键所在，其需要了解用户情感动态变化过程。在长对话过程中，情感不仅依赖于说话人本身性格特点，还需要考虑对话的上下文信息。长对话情感动态识别方法通过捕捉上下文依赖和说话人信息，判断说话人的情感状态，从而引导智能系统了解用户需求，提供更加智能化、个性化的服务。
2、目前的情感动态识别方法从上下文信息、说话人信息等角度出发，采用循环神经网络、图神经网络等方法处理对话过程中产生的文本模态数据、语音模态数据和视觉模态数据，实现情感动态监测。虽然上述方法取得一定识别效果，但是在处理长对话过程中，对暗含在远距离上下文中的情感线索的捕捉还存在一定的困难。同时也缺乏对说话人自身在对话过程中的情感动态的考虑。因此，一种能够利用长对话过程中的远距离上下文关系以实现情感动态识别的方法十分必要。
技术实现思路
1、本申请提供了一种基于超图网络的长对话情感动态识别方法及系统，其技术目的是探索会话过程中的远距离上下文关系，实现情感动态识别。
2、本申请的上述技术目的是通过以下技术方案得以实现的：
3、一种基于超图网络的长对话情感动态识别方法，包括：
4、步骤s1：对对话产生的多模态数据中文本模态、语音模态和视觉模态的数据特征分别进行提取，分别得到文本数据特征、语
5、步骤s2：对文本数据特征、语音数据特征和视觉数据特征进行拼接，得到拼接后的多模态特征；
6、步骤s3：对对话过程中的时序关系和说话人关系进行构建，根据时序关系对多模态特征进行学习得到由时序关系引导的第一上下文特征，根据说话人关系对多模态特征进行学习得到由说话人关系引导的第二上下文特征；
7、步骤s4：对第一上下文特征和第二上下文特征进行学习得到更远距离的第三上下文特征，通过该第三上下文特征实现长对话情感动态识别。
8、进一步地，所述步骤s3包括：
9、步骤s31：对对话的超图进行构建，得到基于时序级超边集eseq的时序关系和基于说话人级超边集espk的说话人关系；其中，一段对话包含n个话语和m个说话人，则每个话语对应一个话语节点，共n个话语节点；每个话语节点产生一个时序级超边，构成时序级超边集eseq；每个说话人的所有说话产生一个说话人级超边，构成说话人级超边集espk；
10、步骤s32：对多模态特征进行节点-超边层面的传播，包括：
11、s321：根据时序级超边对多模态特征进行学习得到由时序关系引导的第一上下文特征，则第一上下文特征表示为：
12、
13、其中，ei表示话语i的时序级超边，ei包括话语i以及i前后的k个话语，ei∈eseq；xi是x的第i行，表示话语i的多模态特征，x表示话语节点的特征矩阵；表示时序级超边ei的特征，即由时序关系引导的第一上下文特征；
14、步骤s322：根据说话人级超边对多模态特征进行学习得到由说话人关系引导的第二上下文特征，则第二上下文特征表示为：
15、
16、其中，ej表示说话人j的说话人级超边，ej包括说话人j以及j说过的话语数量|s|，ej∈espk；表示说话人级超边ej的特征，即由说话人关系引导的第二上下文特征。
17、进一步地，所述步骤s4包括：
18、步骤s41：对第一上下文特征和第二上下文特征进行超边-超边之间的传播，得到：
19、
20、其中，ωk表示超边特征传播系数；表示超边-超边之间传播后的超边ek的特征；
21、步骤s42：对进行超边-节点层面的特征传播，得到第三上下文特征，表示为：
22、
23、其中，表示第三上下文特征，即话语t对应的话语节点vt经过传播后的上下文特征；et表示所有包含话语t对应的话语节点vt的超边组成的超边集。
24、一种基于超图网络的长对话情感动态识别系统，其特征在于，该长对话情感动态识别系统用于长对话情感动态识别方法，该长对话情感动态识别系统包括：
25、特征编码器，对对话产生的多模态数据中文本模态、语音模态和视觉模态的数据特征分别进行提取，分别得到文本数据特征、语音数据特征和视觉数据特征；
26、拼接模块，对文本数据特征、语音数据特征和视觉数据特征进行拼接，得到拼接后的多模态特征；
27、超图网络，包括第一超边特征学习模块和第二超边特征学习模块；
28、第一超边特征学习模块用于对对话过程中的时序关系和说话人关系进行构建，根据时序关系对多模态特征进行学习得到由时序关系引导的第一上下文特征，根据说话人关系对多模态特征进行学习得到由说话人关系引导的第二上下文特征；
29、第二超边特征学习模块用于对第一上下文特征和第二上下文特征进行学习得到更远距离的第三上下文特征，通过该第三上下文特征实现长对话情感动态识别。
30、一种设备，包括存储器和处理器，所述存储器用于存储计算机程序，所述处理器用于所述计算机程序实现长对话情感动态识别方法。
31、一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现长对话情感动态识别方法。
32、本申请的有益效果在于：本申请所述的基于超图网络的长对话情感动态识别方法及系统，通过特征编码器从对话过程中产生的文本数据、语音数据和视觉数据中提取模态特征，将各模态特征级联从而得到每个话语的多模态特征表示。构造对话超图，利用时序级超边和说话人级超边建立上下文话语节点之间的两种关联关系，学习超边表示的上下文特征表示。聚合超边的特征，实现上下文层面的特征能包含更远距离的上下文信息，并将超边的特征表示传播给包含在超边之内的话语节点的特征表示，从而每个话语节点都具有远距离的上下文信息，实现长对话过程的情感动态识别。
33、综上，本申请基于超图网络探索长对话过程中的远距离上下文关系，并结合多模态特征表示，从而实现长对话情感动态识别。
本文档来自技高网...【技术保护点】
1.一种基于超图网络的长对话情感动态识别方法，其特征在于，包括：
2.如权利要求1所述的长对话情感动态识别方法，其特征在于，所述步骤S3包括：
3.如权利要求1所述的长对话情感动态识别方法，其特征在于，所述步骤S4包括：
4.一种基于超图网络的长对话情感动态识别系统，其特征在于，该长对话情感动态识别系统用于权利要求1-3任一所述的长对话情感动态识别方法，该长对话情感动态识别系统包括：
5.一种设备，其特征在于，包括存储器和处理器，所述存储器用于存储计算机程序，所述处理器用于所述计算机程序实现如权利要求1-3任一所述的长对话情感动态识别方法。
6.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1-3任一所述的长对话情感动态识别方法。
【技术特征摘要】
1.一种基于超图网络的长对话情感动态识别方法，其特征在于，包括：
2.如权利要求1所述的长对话情感动态识别方法，其特征在于，所述步骤s3包括：
3.如权利要求1所述的长对话情感动态识别方法，其特征在于，所述步骤s4包括：
4.一种基于超图网络的长对话情感动态识别系统，其特征在于，该长对话情感动态识别系统用于权利要求1-3任一所述的长对话情感动态识别...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。