一种基于面部表情识别的学习疲劳识别干预方法技术

基于面部表情识别的学习疲劳识别干预方法，步骤包括人脸区域检测；面部特征提取，包括建立人脸表情面部模型；表情分类识别，即基于人脸表情面部模型进行分类识别；当识别出疲劳表情或心理疲劳时，进行疲劳干预，并在预设较短时间后返回继续捕捉网络学习者照片图像进行下一次识别；当判定网络学习者呈现中性或专注表情或无心理疲劳时，系统进入暂停，暂停预设较长时间后返回继续捕捉网络学习者照片图像进行下一次识别；当返回错误消息时，返回继续捕捉网络学习者照片图像进行下一次识别。本发明专利技术所提供技术方案能够快速识别网络学习者表情，实现实时学习疲劳干预。

【技术实现步骤摘要】

本专利技术属于网络学习
，特别是涉及一种基于面部表情识别的学习 疲劳识别干预方法。
技术介绍
网络学习和人的其他活动一样，都会导致体力和脑力的消耗，从而表现出 身体和心理上的紧张或疲惫情绪状态。"学习疲劳"是心理学及教育学中的重要 概念。 一般地讲，学习疲劳是指由于长时间的持续学习，在生理和心理等方面 产生了怠倦，致使学习效率下降，甚至到达不能继续学习的状况。学习疲劳有多种表现形式。学习疲劳主要可以区分为生理疲劳即身体的疲 劳和心理疲劳即大脑的疲劳。有些疲劳现象可以被主体感知，也有些学习疲劳 现象未被主体感知而由他人感知。他人通过对学习者学习的外在行为的观察，得出"学习者进入学习疲劳"的结论。通常情况下，身体疲劳易被发觉；但心 理疲劳往往不易被发觉，造成学习者记忆力和理解力的减弱，注意力难以集中， 反应减慢等等。目前，在疲劳驾驶检测领域， 一些学者尝试运用传感技术、信号检测和采 集技术或者面部表情识别技术，进行驾驶员疲劳状态的识别、预测和疲劳干预， 主要为生理疲劳的检测。在网络学习领域， 一些学者企图从完善网络课程教学设计的角度，来促进 网络学习环境下的情感交流，在一定程度上可以降低学习者进入学习疲劳的可 能性； 一些学者利用多媒体技术、BBS甚至QQ等聊天工具来促进网络学习环境中的情感交流，起到了一定的防止学习疲劳作用。这些研究主要集中于生理疲 劳的识别或检测，没有关注学习疲劳的复杂性，它包含生理疲劳和心理疲劳两 种层次的疲劳，对于学习疲劳状态进行主动识别和干预的研究也不多见。 现有的驾驶员疲劳识别和干预方法以及网络课程设计主要的缺点有(1) 现有的驾驶员或者学习者疲劳识别和干预方法存在一些不足 一些驾 驶员疲劳识别方法需要驾驶员的主动参与以采集疲劳特征信号，从而需要驾驶 员主动配合或身体接触，会影响驾驶员的驾驶状态； 一些基于数字图像处理技 术的方法，单纯以眼睛闭合状态和眨眼频率为特征，影响识别系统的实效性；由于图像采集受各种外界条件影响很大，不同的光照条件、视角、距离变化等 都会影响人脸图像采集的质量，以及表情程度和表情之间的相似度等因素的影 响，导致大部分面部表情识别系统准确率不高，性能不够稳定。并且只关注驾 驶员的生理疲劳，对驾驶员的心理疲劳关注不够。(2) 现有的从网络课程教学设计、利用多媒体技术、BBS甚至QQ等聊天工 具来促进网络学习环境中情感交流的方法，只是从单方面加强情感交流来防止 学习疲劳，仍然不能主动识别学习者是否进入疲劳状态，没有区分讨论生理疲 劳和心理疲劳，也没有干预措施。因此，提供相应技术解决方案是网络学习
亟待解决的问题。
技术实现思路
本专利技术目的在于克服现有技术缺点，提供一种基于面部表情识别的学习疲 劳识别干预方法。本专利技术所提供基于面部表情识别的学习疲劳识别干预方法，包含以下步骤:步骤l，人脸区域检测，即从捕捉的网络学习者照片图像中定位出人脸区域；步骤2，面部特征提取，包括建立人脸表情面部模型，即定义一维数组X来表示人脸表情面部模型，X= (xl， x2， x3)，其中xl表示眼高，x2表示嘴高，x3 表示嘴宽；然后从图像的人脸区域中提取眼睛特征和嘴巴特征，得到xl、 x2和 x3的值；步骤3，表情分类识别，即基于人脸表情面部模型X进行分类识别，具体方式 为，当xl不变时，如果x2变化或者x2不变且x3变化，则返回错误消息；如果x2 不变且x3不变，则判定网络学习者呈现中性表情；当xl变大时，如果x2变化或者x2不变且x3变化，则返回错误消息；如果x2 不变且x3不变，则判定网络学习者呈现专注表情；当xl变小时，如果x2不变或者x2变大且x3不变，则返回错误消息；如果x2 变大且x3变大，则判定网络学习者呈现疲劳表情；步骤4，当识别出疲劳表情时，进行疲劳干预，并在预设较短时间后返回步骤1 继续捕捉网络学习者照片图像进行下一次识别；当判定网络学习者呈现中性或专注表情时，进入心理疲劳测试，即要求学习者 回答问题，若回答没有达到预设正确率阀值，则认为学习者进入心理疲劳，进 行疲劳干预并在预设较短时间后返回步骤1继续捕捉网络学习者照片图像进行 下一次识别；若回答达到预设正确率阀值，则认为学习者没有进入心理疲劳， 系统进入暂停，暂停预设较长时间后返回步骤1继续捕捉网络学习者照片图像 进行下一次识别；当返回错误消息时，返回步骤1继续捕捉网络学习者照片图像进行下一次识别。 而且，所述疲劳干预的具体实现方式为，在网络课程学习界面中弹出对话框，同时向网络学习者发出干预，所述干预为播放音乐、发送笑话或要求回答 小问题；若网络学习者回应对话框则停止干预，如果网络学习者对对话框无回 应则暂停网络课程。本专利技术在改进面部表情识别方法的基础上，通过针对网络学习者定义三种 基本学习情绪专注、中性和疲劳，针对网络学习者建立专用于学习的人脸表 情面部模型，通过严谨地判断过程识别网络学习者是否处于学习疲劳状态，然 后进行学习疲劳干预。因此本专利技术所提供技术方案能够快速识别网络学习者表 情，实现实时学习疲劳干预，在网络学习领域具有重大实用价值。并且，本发 明对比现有技术，有明确的识别和干预目的；也不需要学习者主动参与，人机交互友好。 附图说明图1为本专利技术实施例的使用流程图。图2为本专利技术所建立人脸表情面部模型示意图。 图3为图像4邻域示意图。 图4为本专利技术的学习情绪分类识别示意图。 具体实施例方式以下结合实施例和附图说明本专利技术技术方案，包括以下步骤 步骤l，人脸区域检测，即从捕捉的网络学习者照片图像中定位出人脸区域。人脸区域检测可参考现有技术实现，为便于本领域技术人员实施参考，现 提供实施例的步骤具体实施方式如下 (1)图像预处理为使原始图像有利于后续工作中的分析提取，在正式人脸区域检测前对人脸图像进行预处理。主要预处理步骤如下① 光线补偿为了抵消输入图像中存在的色彩偏差而进行光线补偿，将整 个图像中所有像素点的亮度按照从高到低的顺序排列，取亮度值前5%的像素点，如果这些像素的数目足够多，我们将它们的亮度值调整为最大值255，光线补偿 系数通过前5%像素亮度的平均值与255相除获得，图像中的其他像素点也依据 这一系数进行相应的调整和变换，因而整幅待测图像中像素点的RGB值进行了 线性放大。② 灰度直方图均衡化为了减少光照强度和阴影等不利因素对检测图像的 干扰，需要对整体图像的灰度分布进行标准化，即均衡直方图。直方图均衡化 的基本思想是拓宽图像中像素个数偏多的灰度，缩减像素个数偏少的灰度，使 图像的轮廓变得清晰，减少其灰度等级，增加对比度。③ 滤波去噪采用低通滤波的方法可以去除图像中的噪声。采用BOX模板对图像进行低通滤波，先提取出图像的R、 G、 B分量分别采用灰度图的处理方式进行处理，然后进行图像的重构。(2)肤色分割为了把人脸区域从非人脸区域分割出来，需要使用适合不同肤色和不同光照条件的可靠的肤色模型。由于YCbCr空间具有将色度与亮度分离的特点，在 YCbCr色彩空间中肤色的聚类特性比较好，受亮度变化的影响较小，而且是两维 独立分布，能较好地限制肤色分布区域，因此本专利技术实施例选择YCbCr色彩空 间进行肤色区域分割。对输入的彩色图像进行颜色空间转换，将其从相关性较 高的RGB空间转本文档来自技高网...

【技术保护点】
一种基于面部表情识别的学习疲劳识别干预方法，其特征在于：包括以下步骤，　步骤１，人脸区域检测，即从捕捉的网络学习者照片图像中定位出人脸区域；　步骤２，面部特征提取，包括建立人脸表情面部模型，即定义一维数组Ｘ来表示人脸表情面部模型 ，Ｘ＝（ｘ１，ｘ２，ｘ３），其中ｘ１表示眼高，ｘ２表示嘴高，ｘ３表示嘴宽；然后从图像的人脸区域中提取眼睛特征和嘴巴特征，得到ｘ１、ｘ２和ｘ３的值；　步骤３，表情分类识别，即基于人脸表情面部模型Ｘ进行分类识别，具体方式为，　当ｘ１ 不变时，如果ｘ２变化或者ｘ２不变且ｘ３变化，则返回错误消息；如果ｘ２不变且ｘ３不变，则判定网络学习者呈现中性表情；　当ｘ１变大时，如果ｘ２变化或者ｘ２不变且ｘ３变化，则返回错误消息；如果ｘ２不变且ｘ３不变，则判定网络学习者呈现专注表情 ；　当ｘ１变小时，如果ｘ２不变或者ｘ２变大且ｘ３不变，则返回错误消息；如果ｘ２变大且ｘ３变大，则判定网络学习者呈现疲劳表情；　步骤４，当识别出疲劳表情时，进行疲劳干预，并在预设较短时间后返回步骤１继续捕捉网络学习者照片图像进行下 一次识别；　当判定网络学习者呈现中性或专注表情时，进入心理疲劳测试，即要求学习者回答问题，若回答没有达到预设正确率阀值，则认为学习者进入心理疲劳，进行疲劳干预并在预设较短时间后返回步骤１继续捕捉网络学习者照片图像进行下一次识别；若回答 达到预设正确率阀值，则认为学习者没有进入心理疲劳，系统进入暂停，暂停预设较长时间后返回步骤１继续捕捉网络学习者照片图像进行下一次识别；　当返回错误消息时，返回步骤１继续捕捉网络学习者照片图像进行下一次识别。...

【技术特征摘要】

【专利技术属性】
技术研发人员：吴彦文，汪亭亭，艾学轶，
申请(专利权)人：华中师范大学，
类型：发明
国别省市：83[中国|武汉]