一种基于多源信息融合的学习情感状态识别方法技术

本发明专利技术公开了一种基于多源信息融合的学习情感状态识别方法，改方法包括：从在线学习平台收集学习者的面部表情图像和交互行为数据，根据表情识别算法获取一定时间段的系列表情图像，进行特征提取并分类；从Web日志文件中提取有用的交互行为数据，利用主观贝叶斯方法进行不确定性推理和数据的深层次分析。在判断学习者对当前学习内容的关注程度的基础上，结合表情识别结果，判断学习者的在线学习情感状态，并分为“满意”和“困惑”等情感状态。本发明专利技术适用于实施混合式学习的学科教学，可以通过表情识别，实时掌握学习者的在线学习情感状态，从而更有针对性的提供人工干预。根据情感识别的结果，也可判断学习者对当前学习内容的掌握情况和兴趣。

A learning emotion state recognition method based on multi-source information fusion

The invention discloses a learning emotion state recognition method based on multi-source information fusion. The improved method includes: collecting learners'facial expression images and interactive behavior data from online learning platform, acquiring a series of expression images for a certain period of time according to expression recognition algorithm, extracting and classifying features from Web log text; Useful interactive behavior data are extracted from the component, and the uncertainty reasoning and deep-level analysis of the data are carried out by using subjective Bayesian method. On the basis of judging learners'attention to the current learning content, and combining with the results of expression recognition, learners' online learning emotional state is judged and divided into \satisfied\ and \confused\ emotional state. The invention is suitable for the subject teaching of hybrid learning, and can grasp the learner's online learning emotional state in real time through expression recognition, thereby providing more targeted manual intervention. According to the result of emotion recognition, we can also judge learners' mastery of current learning content and interest.

【技术实现步骤摘要】
一种基于多源信息融合的学习情感状态识别方法
本专利技术涉及智能人机交互领域，尤其涉及一种基于多源信息融合的学习情感状态识别方法。
技术介绍
情感是人类智能的重要组成部分,对人类情感的正确识别,有助于计算机更好的掌握人类心理状态、更好的为人类服务。人脸表情识别作为情感计算的一个研究方向，构成了情感理解的基础，是实现人机智能交互的前提。人脸表情的极度细腻化消耗了大量的计算时间，影响了人机交互的时效性和体验感，所以人脸表情特征提取成为人脸表情识别的重要研究课题。在线学习为学习者提供了一种全新的学习方式，打破了传统教学过程中时间和空间的限制，使得学习者在任何时间、任何地点都可以进行任何内容的学习。但是这种时空分离的教育学形式拉大了人与人之间的距离，导致教学者与学习者之间缺乏互动交流，“情感缺失”现象严重。而情感是认知主体结构中一个不可或缺的重要因素，学习活动中的合理的情感交互，能引起学生积极的情感体验,激发学生的学习主动性,转化为学生内部的学习动机和认知的共鸣，从而提高学习效率。因此，在线学习中应当关注学习者的情感状态，如图1所示，立足于学习者的交互行为和面部表情特点，在学习过程中发挥学习者本文档来自技高网...

【技术保护点】
1.一种基于多源信息融合的学习情感状态识别方法，其特征在于：包括以下步骤：1)建立在线表情识别和在线学习交互情感识别两类模式的情感认知架构，所述在线表情识别是通过在线学习平台采集在线学习者的表情图像序列得到，所述在线学习交互情感识别是通过在线学习平台的Web日志文件收集交互行为数据获得交互操作行为序列；2)采用大量图像的脱机训练建立对应表情特征分类的情感规则库；将在线学习平台采集的学习者的表情图像序列输入情感规则库进行对比，输出表情特征分类结果，即高兴、专注、厌烦和生气；3)提取在线交互操作行为序列中的点击流数据，利用主观贝叶斯方法对点击流数据进行不确定性推理，然后进行深层次的分析，把握学习者...

【技术特征摘要】
2017.05.12 CN 20171033548531.一种基于多源信息融合的学习情感状态识别方法，其特征在于：包括以下步骤：1)建立在线表情识别和在线学习交互情感识别两类模式的情感认知架构，所述在线表情识别是通过在线学习平台采集在线学习者的表情图像序列得到，所述在线学习交互情感识别是通过在线学习平台的Web日志文件收集交互行为数据获得交互操作行为序列；2)采用大量图像的脱机训练建立对应表情特征分类的情感规则库；将在线学习平台采集的学习者的表情图像序列输入情感规则库进行对比，输出表情特征分类结果，即高兴、专注、厌烦和生气；3)提取在线交互操作行为序列中的点击流数据，利用主观贝叶斯方法对点击流数据进行不确定性推理，然后进行深层次的分析，把握学习者行为特点和行为路径，从而判断学习者对学习内容的操作行为倾向，分为感兴趣或不关注两种；4)以步骤3)获取的学习者在线交互操作行为倾向为基础，融合从步骤2)获取的表情特征识别结果，其中将学习者人脸表情特征中的高兴、专注划分为感兴趣，将学习者人脸表情特征中的厌烦、生气划分为不关注；若二者融合的结果是感兴趣与感兴趣，则判断学习者情感状态为满意情绪，二者融合的结果是不关注与不关注，则判断学习者情感状态为困惑情绪，二者融合的结果是感兴趣与不关注，判断学习者情感状态为不确定情绪，将其作为学习者情感状态的最终识别结果并输出；5)依据学习者情感状态的最终识别结果，提取典型的情感状态，进行规则扩展，存储到情感规则库中。2.根据权利要求1所述的基于多源信息融合的学习情感状态识别方法，其特征在于，所述步骤1)中通过在线学习平台采集在线学习者的表情图像序列和交互操作行为序列，是以课程章节为单位通过在线学习平台采集。3.根据权利要求1所述的基于多源信息融合的学习情感状态识别方法，其特征在于，所述步骤2)中情感规则库的建立，包含两个部分，一方面融合专业的表情识别库，另一方面对学习者在线情感状态...

【专利技术属性】
技术研发人员：刘海，杨宗凯，刘三女牙，张昭理，舒江波，陈莹莹，刘婷婷，
申请(专利权)人：华中师范大学，
类型：发明
国别省市：湖北,42