基于目标掩膜的在线课堂监督方法、装置、设备及介质，其方法包括：通过用户的移动终端动态捕捉用户的面部图片；对捕捉到的面部图片进行预处理，得到人脸特征；将人脸特征输入已训练好的人脸表情识别模型进行微表情识别，得到识别结果；根据识别结果进行情绪判断，并根据判断结果做出相应反馈；本申请利用移动终端动态捕捉使用者面部图片，通过机器视觉和图像处理技术，最终生成结果并进行判断，并及时给予用户警示，可以起到监督作用，同时教学者可以收到教学反馈，方便下一次教学的工作进行。方便下一次教学的工作进行。方便下一次教学的工作进行。
【技术实现步骤摘要】
基于目标掩膜的在线课堂监督方法、装置、设备及介质
[0001]本专利技术涉及机器视觉和图形处理
，特别涉及基于目标掩膜的在线课堂监督方法、装置、设备及介质。
技术介绍
[0002]随着计算机技术的发展，互联网广泛应用于人们的生活。在教育事业方面，互联网影响了教学方式，线上教学方式的应用更加普遍。与此同时，在无人监督的情况下，如何判断用户的学习状态、保证线上教学的效率性又成为了热门研究。
[0003]与常规表情不同，微表情是一种特殊的面部微小动作，是能够反映人内心最真实情感状态的一种自发式表情，因此可以作为一种判断人内心情感状态的重要依据。目前利用机器视觉进行微表情识别的技术越来越成熟，但是传统的微表情识别技术，不能有效的减弱非微表情区域对微表情特征提取所造成的干扰，例如眨眼和头部整体的运动等等，这些非微表情区域会对微表情识别结果造成影响，使得识别结果的准确性降低。
[0004]因此，如何提供一种准确率高的微表情识别方法，是本领域技术人员亟待解决的问题。
技术实现思路
[0005]本申请实施例提供了基于目标掩膜的在线课堂监督方法、装置、设备及介质，旨在解决现有微表情识别技术不能有效减弱非微表情区域干扰，导致识别结果准确率低的问题。
[0006]第一方面，本申请提供了基于目标掩膜的在线课堂监督方法，包括：
[0007]通过用户的移动终端动态捕捉用户的面部图片；
[0008]对捕捉到的面部图片进行预处理，得到人脸特征；
[0009]将人脸特征输入已训练好的人脸表情识别模型进行微表情识别，得到识别结果；
[0010]根据识别结果进行情绪判断，并根据判断的结果做出相应反馈。
[0011]第二方面，本申请还提供了基于目标掩膜的在线课堂监督装置，该装置包括：
[0012]面部图片捕捉模块，用于通过用户的移动终端动态捕捉用户的面部图片；
[0013]图片预处理模块，用于对捕捉到的面部图片进行预处理，得到人脸特征；
[0014]微表情识别模块，用于将人脸特征输入已训练好的人脸表情识别模型进行微表情识别，得到识别结果；
[0015]判断与反馈模块，用于根据识别结果进行情绪判断，并根据判断的结果做出相应反馈。
[0016]第三方面，本申请还提供了一种计算机设备，其包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，处理器执行计算机程序时，实现上述第一方面的基于目标掩膜的在线课堂监督方法。
[0017]第四方面，本申请还提供了一种计算机可读存储介质，计算机可读存储介质存储
有计算机程序，计算机程序被处理器执行时使处理器执行上述第一方面的基于目标掩膜的在线课堂监督方法。
[0018]本申请提出的基于目标掩膜的在线课堂监督方法、装置、设备及介质，其有益效果包括：
[0019]通过机器视觉和图像处理技术，对使用者的学习状态进行有效判断，并及时给予教学者教学反馈，有利于在线课堂的顺利进行。本申请利用目标掩膜进行图像处理，增强了微表情识别应用在线上课堂的准确性与可行性。
附图说明
[0020]为了更清楚的说明本申请实施例技术方案，下面将对实施例描述中所需要使用的附图作简单的介绍，显而易见的，下面的描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。
[0021]图1为本申请实施例提供的基于目标掩膜的在线课堂监督方法流程图。
具体实施方式
[0022]下面结合附图对本专利技术的具体实施方式作进一步说明。在此需要说明的是，对于这些实施方式的说明用于帮助理解本专利技术，但并不构成对本专利技术的限定。此外，下面所描述的本专利技术各个实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互组合。
[0023]参见图1实施例所示基于目标掩膜的在线课堂监督方法流程图，包括：
[0024]S101、通过用户的移动终端动态捕捉用户的面部图片。
[0025]通过用户的移动终端的前置相机动态捕捉使用者面部图片；具体地，前置相机间隔1min动态捕捉使用者面部图片。移动终端为电脑。
[0026]S102、对捕捉到的面部图片进行预处理，得到人脸特征。
[0027]在一实施例中，预处理包括：依次对面部图像进行人脸检测、归一化、关键点定位和FACS面部编码处理。
[0028]具体包括：对面部图片进行归一化处理，增强图像中的人脸信息；使用基于精细化神经网络(Coarse to Fine CNN)的关键点定位算法进行面部图片的关键点定位；使用FACS面部编码对人眼区域进行图像掩膜处理，得到人脸特征。
[0029]S103、将人脸特征输入已训练好的人脸表情识别模型进行微表情识别，得到识别结果。
[0030]在一实施例中，人脸表情识别模型的训练包括：采用Keras的图片生成器(Image Data Generator)完成数据的预处理，创建人脸表情识别模型；调用Keras库的函数，修改训练参数，对人脸表情识别模型进行训练，最后输出训练结果；将输出情绪结果与设定的情绪对照。
[0031]分别对测试集、验证集人脸图片归一化处理，设定rescale＝1/255；Coarse to Fine CNN算法定位51个内点(眉毛、眼睛、鼻子、嘴)和17个轮廓点，根据51个内点的位置信息将人的面部划分为6个人独立的区域(左眉、右眉、左眼、右眼、嘴巴、鼻子)；FACS面部编码根据人眼周围标定信息对人眼区域进行图像掩膜；调用Keras生成器对象的derectory函数提取处理后的图片，调用Sequential的fit_generator()函数，配置训练集、验证集生成器
返回次数分别为800、2000，即可训练模型。
[0032]在完成模型的训练之后，即可对人脸特征进行处理，识别其中的微表情，得到识别结果。
[0033]S104、根据识别结果进行情绪判断，并根据判断结果做出相应反馈。
[0034]可通过将识别的情绪与预先设定的情绪进行对比，判断其属于哪一种情绪，预先设定的情绪包括积极情绪和消极情绪，使用价态
‑
唤醒度理论进行情绪分类，对应用户的在线课堂状态，然后根据用户的情绪，采取对应的方案或策略。
[0035]本专利技术使得微表情识别技术与线上课堂教学方式相结合，通过大量图像处理技术提升微表情识别技术的准确性，可以有效监督线上学习的使用者，及时反馈教学情况给教学者，在维护课堂良好环境、推动教育事业稳步进行方面具有重大意义。
[0036]在一实施例中，本申请还提供了基于目标掩膜的在线课堂监督装置，该装置包括：
[0037]面部图片捕捉模块，用于通过用户的移动终端动态捕捉用户的面部图片；
[0038]图片预处理模块，用于对捕捉到的面部图片进行预处理，得到人脸特征；
[0039]微表情识别模块，用于将人脸特征输入已训练本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.基于目标掩膜的在线课堂监督方法，其特征在于，包括：通过用户的移动终端动态捕捉用户的面部图片；对捕捉到的面部图片进行预处理，得到人脸特征；将人脸特征输入已训练好的人脸表情识别模型进行微表情识别，得到识别结果；根据识别结果进行情绪判断，并根据判断的结果做出相应反馈。2.如权利要求1所述的基于目标掩膜的在线课堂监督方法，其特征在于，所述已训练好的人脸表情识别模型通过下列训练方法训练得到：采用Keras的图片生成器完成数据的预处理，创建人脸表情识别模型；调用Keras库的函数，修改训练参数，对人脸表情识别模型进行训练，得到已训练好的人脸表情识别模型。3.如权利要求1所述的基于目标掩膜的在线课堂监督方法，其特征在于，所述对捕捉到的面部图片进行预处理，包括：依次对捕捉到的面部图片进行人脸检测、归一化、关键点定位和FACS面部编码处理。4.如权利要求1所述的基于目标掩膜的在线课堂监督方法，其特征在于，所述根据识别结果进行情绪判断，包括：将识别结果与预先设定的情绪进行比较，所述预先设定的情绪包括积极情绪和消极情绪。5.如权利要求1所述的基于目标掩膜的在线课堂监督方法，其特征在于，所述移动终端为电脑或手机。6.如权利要求5所述的基于目标掩膜的在线课堂监督方法，其特征在于，所述通过用...
【专利技术属性】
技术研发人员：朱静，孙淑颖，杜晓楠，张颂研，梁顺棠，林伟照，牛子晗，麦钦，尹邦政，
申请(专利权)人：广州大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。