一种认知和情感的联合识别方法、系统及电子设备技术方案

本发明专利技术提供一种认知和情感的联合识别方法、系统及电子设备，获取学习者关于课程讨论的文本；利用BERT模型提取文本的隐藏特征表示，基于隐藏特征表示获得多类认知临场感类别特征表示，并将文本第一个token作为情感极性特征表示；根据每类认知类别的样本数获取多类认知类别之间的初始内部关系矩阵；根据认知类别的样本数和给定的认知类别与其他不同认知临场感类别的情感极性对应的二元组的样本数获取认知与情感极性之间的关系矩阵；将多类认知类别特征表示、情感极性特征表示及上述两个关系矩阵输入到训练好的联合图卷积网络模型，预测文本对应的认知和情感极性。本发明专利技术利用认知与情感之间交互信息，实现对学习者认知与情感状态的准确识别。感状态的准确识别。感状态的准确识别。

【技术实现步骤摘要】
一种认知和情感的联合识别方法、系统及电子设备


[0001]本专利技术属于自然语言处理领域，更具体地，涉及一种认知和情感的联合识别方法、系统及电子设备。

技术介绍

[0002]随着在线学习形式的普及，越来越多的学习者会在在线课程论坛中发表与课程和学习相关的讨论。这些论坛交流互动诱发了学习者的认知和情感状态，进而会影响最终的学习效果。通过识别学习者的认知和情感状态，有助于教师、平台管理人员、智能对话系统、学习同伴等利益相关方准确了解学习者的学习过程，并为其提供更加个性化的教学干预措施，进而提升学生的学习成效。
[0003]认知和情感作为影响在线学习成效的两个关键因素，他们之间存在着复杂的交互作用。然而，目前面向异步论坛文本的识别模型通过管道的方式依次识别文本中的认知或情感标签，这种简单的单任务组合方式无法利用认知与情感之间丰富的共现交互信息，导致了多任务过程中的错误传递，降低了模型识别精度。
[0004]因此，需要一种多任务的认知与情感联合识别方法，以利用任务之间的交互信息，实现学习者认知与情感状态的准确识别。该方法可作为学习分析和本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种认知和情感的联合识别方法，其特征在于，包括以下步骤：获取学习者关于课程讨论的文本；将所述文本输入到基于变换器的双向编码器表示BERT模型，提取文本的隐藏特征表示，并将所述隐藏表示输入到多个自注意力子层，以获得所述文本对应的多类认知临场感类别特征表示，并将所述文本中第一个令牌token作为文本总体的情感极性特征表示；根据每类认知临场感类别的样本数获取多类认知临场感类别之间的初始内部关系矩阵；根据认知临场感类别的样本数和给定的认知临场感类别与其他不同认知临场感类别的情感极性对应的二元组的样本数获取认知临场感与情感极性之间的关系矩阵；将所述多类认知临场感类别特征表示、文本总体的情感极性特征表示、多类认知临场感类别之间的初始内部关系矩阵及认知临场感与情感极性之间的关系矩阵输入到训练好的联合图卷积网络模型，预测所述文本对应的认知临场感和情感极性；其中，所述联合图卷积网络模型包括第一图卷积网络、第二图卷积网络及层次预测模块，所述第一图卷积网络用于基于所述初始内部关系矩阵进行图卷积操作，预测得到多个认知临场感类别表示，所述第二图卷积网络用于根据所述第一图卷积网络预测的多个认知临场感类别表示和文本总体的情感极性特征表示将认知临场感和情感极性特征连接，并基于认知临场感与情感极性之间的关系矩阵对前述连接后的特征进行图卷积操作，得到面向认知临场感类别的情感极性表示，所述层次预测模块用于根据第一图卷积网络预测的多个认知临场感类别表示和第二图卷积网络预测的面向认知临场感类别的情感极性表示确定各类认知临场感类别的概率和认知临场感类别对应的情感极性概率，将概率最大的认知临场感类别和情感极性作为最终输出结果。2.根据权利要求1所述的方法，其特征在于，BERT模型提取文本的隐藏特征表示，具体为：将所述文本中的每个单词转换为向量表示，并为每个单词分配一个相位向量和位置向量；将所述向量表示、相位向量及位置向量拼接，作为输入向量；将所述输入向量输入到多层变换编码器获取每个单词的隐藏特征表示；将每个单词的隐藏特征表示组合得到文本的隐藏特征表示。3.根据权利要求1或2所述的方法，其特征在于，根据每类认知临场感类别的样本数获取多类认知临场感类别之间的初始内部关系矩阵G
c
，具体为：其中，表示认知临场感类别之间关系矩阵G
c
的第i行第j列的元素，N(c
i
)表示第i类认知临场感类别的样本数，N(c
i
,c
j
)表示第i类认知临场感类别c
i
和第j类认知临场感类别c
j
对应二元组的样本数。4.根据权利要求3所述的方法，其特征在于，根据文本中认知临场感类别的样本数和给定认知临场感类别与其他不同认知临场感类别的情感极性对应的二元组的样本数获取认
知临场感与情感极性之间的关系矩阵G
c,s
，具体为：其中，表示认知临场感与情感极性之间的关系矩阵G
c,s
的第i行第j列的元素，(s|c
j
)表示文本中第j类认知临场感类别的情感极性，s表示情感极性，N(c
i
,(s|c
j
))表示第i类认知临场感类别c
i
与第j类认知临场感类别c
j
的情感极性对应二元组的样本数。5.根据权利要求1或2所述的方法，其特征在于，所述第一图卷积网络用于基于所述初始内部关系矩阵进行图卷积操作，预测得到多个认知临场感类别表示，具体为：所述第一图卷积网络通过如下方式计算第l+1层的认知临场感类别表示节点C
l+1
：其中，GELU表示非线性激活函数，和表示第l层的线性变换权重和偏置，H
c
表示认知临场感类别的特征表示，是第一图卷积网络的初始值；所述第二图卷积网络通过如下步骤得到面向认知临场感类别的情感极性表示：将认知临场感类别与情感极性特征进行连接，形成第二图卷积网络第l层的输入节点表示Q
l
，其计算公式如下：其中，Tanh表示双曲正切函数，H
s
表示情感极性的特征表示，表示按位异或操作，和分别表示权重和偏置；对所述输入节点表示Q
l
进行图卷积操作，得到面向认知类别的情感特征表示S，其计算公式如下：公式如下：其中，表示第l层图卷积操作，max pooling表示池化操作，dense表示全连接层；ReLU表示非线性激活函数，表示第二图卷积网络的参数。6.根据权利要求5所述的方法，其特征在于，所述层次预测模块确定各类认知临场感类别的概率和认知临场感类别对应的情感极性概率，具体为：通过如下公式确定第m类认知临场感类别的概率表示以及第m类认知临场感类别...

【专利技术属性】
技术研发人员：刘智，段会敏，刘石奇，刘三女牙，
申请(专利权)人：华中师范大学，
类型：发明
国别省市：