一种学习参与度识别方法、装置、设备及可读存储介质制造方法及图纸

本申请提供了一种学习参与度识别方法、装置、设备及可读存储介质，涉及多模态情感识别技术领域，包括：对获取的视频样本进行预处理，提取出多个模态下的单模态特征；将多个模态下的单模态特征进行特征融合，得到多模态融合特征；多模态融合特征经过全连接层降低维度并进行预测，得到多模态输出值；单模态特征映射到低维空间中，再运用线性回归得到单模态输出值；将单模态输出值和多模态输出值按照预设权重加权求和，得到融合输出值；基于多模态输出值、单模态输出值和融合输出值，确定用户的学习参与度，这样，通过联合多模态信息和单模态信息，将提取出的单模态特征映射到低维空间，再单独训练模型，可以提高学习参与度的识别准确率。确率。确率。

【技术实现步骤摘要】
一种学习参与度识别方法、装置、设备及可读存储介质


[0001]本申请涉及多模态情感识别
，特别涉及一种学习参与度识别方法、装置、设备及可读存储介质。

技术介绍

[0002]本部分的陈述仅仅是提供了与本申请相关的
技术介绍
，并不必然构成现有技术。
[0003]多模态情感识别是近年来模式识别的重要研究领域，情感表达的模态包括面部表情、行为、文字、语音、生理信号等，多模态情感分析在处理各种数据上会将更加全面，因而随着基于深度学习的情感分析技术的发展，融合多个模态信息来预测情感状态成为现阶段的研究热点。多模态学习应用涉及许多方面，在教育、医疗、自动驾驶等领域引起了研究人员的广泛关注。
[0004]会议在实际生活中起到重要作用，学习参与度是衡量参会人员的活动积极程度以及会议参与情况的重要指标。现有的学习参与度的识别方法，通常是采用图片识别技术，从会议现场图片中识别参会者的行为特征，如面部表情、行为动作等，并输入到预先训练的情绪识别模型，从而根据参会者的个体情绪识别结果确定参会人员的学习参与度，但是，仅通过参会者的行为特征进行参与度的识本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种学习参与度识别方法，其特征在于，所述识别方法包括：对获取的视频样本进行预处理，提取出多个模态下的单模态特征；将多个模态下的单模态特征进行特征融合，得到多模态融合特征；多模态融合特征经过全连接层降低维度并进行预测，得到多模态输出值；单模态特征映射到低维空间中，再运用线性回归得到单模态输出值；将单模态输出值和多模态输出值按照预设权重加权求和，得到融合输出值；基于所述多模态输出值、单模态输出值和融合输出值，确定用户的学习参与度。2.如权利要求1所述的识别方法，其特征在于，多个模态下的单模态特征包括文本特征、视频特征和音频特征；对于文本特征，特征提取过程包括：采用预设层数的BERT预训练模型进行编码，选取最后一层中的第一个词向量作为整句表示；对于视频特征和语音特征，特征提取过程包括：经过新增加的网络层进行预训练后，再经过单向长短期记忆网络提取时序特征，将最后一个隐藏向量作为输出，通过一层卷积层提取出的初始特征与全连接层相连，输出低维向量进入单向长短期记忆网络，得到相应的特征表示。3.如权利要求1所述的识别方法，其特征在于，将提取出的单模态特征进行拼接，得到多模态融合特征。4.如权利要求1所述的识别方法，其特征在于，所述单模态特征映射到低维空间中，再运用线性回归得到单模态输出值，包括：将提取出的单模态特征映射到低维度空间之后，得到单模态特征向量；将所述单模态特征向量输入至训练好的单模态分类模型，得到单模态输出值。5.如权利要求4所述的识别方法，其特征在于，所述单模态分类模型的训练方法包括：确定不同模态表示类的类中心；基于不同模态到类中心之间的距离，以及距离与预测值之间...

【专利技术属性】
技术研发人员：潘杰，栾春，谢德仁，杜伟，张雨辰，
申请(专利权)人：山东师范大学，
类型：发明
国别省市：