System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 一种基于WLLE和RAN的在线学习情感图像识别方法技术_技高网

一种基于WLLE和RAN的在线学习情感图像识别方法技术

技术编号:40548150 阅读:6 留言:0更新日期:2024-03-05 19:06
本发明专利技术涉及在线教育技术领域,公开了一种基于WLLE和RAN的在线学习情感图像识别方法,通过对在线学习者人脸图像进行预处理,包括人脸区域检测、人脸表情区域提取等,并将预处理后的人脸图像固定裁剪为5个部分重叠的子区域;然后,利用加权局部线性嵌入算法(WLLE)对各子区域高维数据进行降维;最后,利用区域注意网络(RAN)分别提取降维后各子区域图像特征,通过自注意力机制学习每个图像区域的重要性权值,利用关系注意力模块进一步捕获重要图像区域的注意权值,进而获得目标图像的预测表示,通过softmax分类器实现在线学习情感图像识别。

【技术实现步骤摘要】

本专利技术涉及在线教育,具体为一种基于wlle和ran的在线学习情感图像识别方法。


技术介绍

1、目前,在线学习虽具有可跨越时空授课、一对一指导、点对点沟通、课程内容可反复学习等优点,但是由于教师无法直观的通过学生的姿态、面部表情等方式感知学生的学习情感,不能及时做出正向反馈,保证线上教学效果;

2、针对在线学习“情感缺失”这一问题,被大多数研究者认可、接近实用的是基于人脸表情的卷积神经网络(cnn)情感识别方法;

3、但在实际环境中,在线学习者情感识别率会随着脸部遮挡或姿态的变化等影响而降低,从而不能正确识别在线学习情感;

4、同时,以人脸表情区域图像的像素值作为图像特征会造成维度灾难,进而增加识别模型的运算量及训练时间;

5、并且如何使教师有效识别在线学习者情感是线上教学领域内的一个研究热点和亟待解决的问题。


技术实现思路

1、本专利技术的目的在于提供一种基于wlle和ran的在线学习情感图像识别方法,通过在智慧学习环境中实现学习者情感分析,有利于教师直观感知学生的学习情感,能够使教师有效识别在线学习者情感,判断学习者学习状态,及时对学生进行正向反馈,从而提高课堂质量,解决了
技术介绍
中所提出的问题。

2、为实现上述目的,本专利技术提供如下技术方案:一种基于wlle和ran的在线学习情感图像识别方法,包括以下步骤:

3、步骤一:在在线学习环境中获取学员的面部图像,构建在线学习者面部图像库;

4、步骤二:通过学员反馈或情感传感器等方式获取情感数据,标记在线学习者的情感状态;

5、步骤三:对每个情感状态下的面部图像进行面部区域的分割、特征提取,并获取情感状态相关的面部特征点数据;

6、步骤四:利用wlle算法对情感状态特征进行降维处理,将标记了情感状态的面部图像以及每个情感状态的面部特征点信息数据作为输入;

7、步骤五:通过区域注意网络(ran)提取不同情感状态下的面部图像特征,使用自注意力机制学习每个图像区域的权重,结合关系注意力模块获取情感状态的预测表示,最后通过分类器实现在线学习情感图像识别;

8、步骤六:学员进入在线学习平台,图像采集设备采集学员面部图像,在线学习平台使用构建的在线学习情感识别模型,通过情感数据进行学习者的情感分类,从而判断学习者的学习情感状态。

9、作为本专利技术的一种优选实施方式,所述步骤六中的图像采集设备为摄像机。

10、作为本专利技术的一种优选实施方式,所述步骤二中在线学习者的情感描述类别包括中立、高兴、惊讶、悲伤、愤怒、厌恶、恐惧、轻蔑八种情绪类别。

11、作为本专利技术的一种优选实施方式,所述在线学习平台可预先采集在线学习者人脸图像录入人脸图像库,在登录过程中识别人脸图像中人脸特征点的数据信息,与人脸图像库中图像进行比对,确认在线学习者身份,进行身份认证登录、签到。

12、作为本专利技术的一种优选实施方式,所述摄像头的数量为多组,用于实时捕获学员的多个角度的人脸图像。

13、作为本专利技术的一种优选实施方式,所述步骤四中的wlle算法进一步包括在降维过程中考虑数据样本的权重,以更好地处理不平衡的情感类别分布。

14、作为本专利技术的一种优选实施方式,步骤五中的区域注意网络采用卷积神经网络作为特征提取器,并具有可调整的深度和宽度,以适应不同的学员情感特征。

15、作为本专利技术的一种优选实施方式,所述步骤六中的身份认证过程包括人脸图像的三维深度检测,以提高识别准确性和安全性。

16、作为本专利技术的一种优选实施方式,进一步包括在学员的学习情感状态发生较大变化时,在学员的学习情感状态发生较大变化时,自动触发图像采集和情感识别,以实现更精确的情感监测。

17、与现有技术相比,本专利技术的有益效果如下:

18、本专利技术的一种基于wlle和ran的在线学习情感图像识别方法,通过wlle算法对提取的表情图像高维数据集进行降维,降维以后的数据集作为ran区域注意网络模型的输入,进而实现在智慧学习环境中实现学习者情感分析,能够使教师有效识别在线学习者情感,判断学习者学习状态,及时对学生进行正向反馈,从而提高课堂质量。

本文档来自技高网...

【技术保护点】

1.一种基于WLLE和RAN的在线学习情感图像识别方法,其特征在于,包括以下步骤:

2.根据权利要求1所述的一种基于WLLE和RAN的在线学习情感图像识别方法,其特征在于:所述步骤六中的图像采集设备包括摄像机、生理传感器以及声音传感器。

3.根据权利要求1所述的一种基于WLLE和RAN的在线学习情感图像识别方法,其特征在于:所述步骤二中获取情感数据的方式包括学员自主反馈、面部表情识别和生理传感器数据。

4.根据权利要求1所述的一种基于WLLE和RAN的在线学习情感图像识别方法,其特征在于:所述在线学习平台可预先采集在线学习者人脸图像录入人脸图像库,在登录过程中识别人脸图像中人脸特征点的数据信息,与人脸图像库中图像进行比对,确认在线学习者身份,进行身份认证登录、签到。

5.根据权利要求2所述的一种基于WLLE和RAN的在线学习情感图像识别方法,其特征在于:所述摄像头的数量为多组,用于实时捕获学员的多个角度的人脸图像。

6.根据权利要求1所述的一种基于WLLE和RAN的在线学习情感图像识别方法,其特征在于:所述步骤四中的WLLE算法进一步包括在降维过程中考虑数据样本的权重,以更好地处理不平衡的情感类别分布。

7.根据权利要求1所述的一种基于WLLE和RAN的在线学习情感图像识别方法,其特征在于:步骤五中的区域注意网络采用卷积神经网络作为特征提取器,并具有可调整的深度和宽度,以适应不同的学员情感特征。

8.根据权利要求1所述的一种基于WLLE和RAN的在线学习情感图像识别方法,其特征在于:所述步骤六中的身份认证过程包括人脸图像的三维深度检测,以提高识别准确性和安全性。

9.根据权利要求1所述的一种基于WLLE和RAN的在线学习情感图像识别方法,其特征在于:进一步包括在学员的学习情感状态发生较大变化时,在学员的学习情感状态发生较大变化时,自动触发图像采集和情感识别,以实现更精确的情感监测。

...

【技术特征摘要】

1.一种基于wlle和ran的在线学习情感图像识别方法,其特征在于,包括以下步骤:

2.根据权利要求1所述的一种基于wlle和ran的在线学习情感图像识别方法,其特征在于:所述步骤六中的图像采集设备包括摄像机、生理传感器以及声音传感器。

3.根据权利要求1所述的一种基于wlle和ran的在线学习情感图像识别方法,其特征在于:所述步骤二中获取情感数据的方式包括学员自主反馈、面部表情识别和生理传感器数据。

4.根据权利要求1所述的一种基于wlle和ran的在线学习情感图像识别方法,其特征在于:所述在线学习平台可预先采集在线学习者人脸图像录入人脸图像库,在登录过程中识别人脸图像中人脸特征点的数据信息,与人脸图像库中图像进行比对,确认在线学习者身份,进行身份认证登录、签到。

5.根据权利要求2所述的一种基于wlle和ran的在线学习情感图像识别方法,其特征在于:所述摄像头的数量为多组,用于实时捕获学员...

【专利技术属性】
技术研发人员:丁娇
申请(专利权)人:安徽信息工程学院
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1