基于多模态学习状态分析系统技术方案

本发明专利技术涉及数字数据处理领域，具体涉及一种基于多模态学习状态分析系统，包括图像获取模块，用于收集教室内部的图像数据并进行预处理得到处理图像；老师位置信息获取模块，用于基于处理图像和Faster R

【技术实现步骤摘要】
基于多模态学习状态分析系统


[0001]本专利技术涉及数字数据处理领域，尤其涉及一种基于多模态学习状态分析系统。

技术介绍

[0002]在传统课堂教育中，老师通过对学生的面部表情和头部姿态，判断学生对学习状态，但由于老师的精力有限，无法及时观察到每位学生的课堂学习状态情况，进而无法根据每位学生的学习情况调整教学策略。
[0003]智慧教学是当前我国教育信息化研究的热词，有学者将其称之为教育信息化发展的新形态、新境界、新阶段，将智慧教学研究提到了相当高的高度。现如今关于学生课堂的学情分析的检测方面，可将检测分为基于人脸识别的方法、基于微表情的识别方法和基于脑电波的检测方法。
[0004]采用上述方法由于只有一个变量，使得检测精度较低。

技术实现思路

[0005]本专利技术的目的在于提供一种基于多模态学习状态分析系统，旨在结合学生的面部表情、老师的位置以及老师的上课语音的数据进行分析，给出可视化的分析结果。可以给出学生专注度的分析，有利于教师制定合适的教学计划，促进老师和学生的课堂交互。
[0006]为实现上述目的，本专利技术提供了一种基于多模态学习状态分析系统，包括图像获取模块、老师位置信息获取模块、老师姿态信息获取模块、学生面部信息获取模块和分析模块，
[0007]所述图像获取模块，用于收集教室内部的图像数据并进行预处理得到处理图像；
[0008]所述老师位置信息获取模块，用于基于处理图像和Faster R
‑
CNN目标检测模型获得老师的位置信息；
[0009]所述老师姿态信息获取模块，用于基于处理图像和Faster R
‑
CNN目标检测模型获得老师的姿态信息；
[0010]所述学生面部信息获取模块，用于基于处理图像和ERT人脸特征点检测方法获取学生面部信息；
[0011]所述分析模块，用于基于位置信息、姿态信息和学生面部信息分析学习状态。
[0012]其中，所述图像获取模块包括获取单元和处理单元，所述获取单元用于收集摄像头的图像数据；
[0013]所述处理单元，用于将图像数据的尺寸标准化，并进行归一化处理，得到处理图像。
[0014]其中，所述收集摄像头的图像数据的具体方式是，每隔5秒为一帧获取图像。
[0015]其中，所述老师位置信息获取模块包括特征图提取单元、候选单元、区域特征图生成单元和老师位置获取单元，
[0016]所述特征图提取单元，用于基于处理图像提取原始特征图；
[0017]所述候选单元，用于将原始特征图输入到候选框提取网络，生成区域候选框；
[0018]所述区域特征图生成单元，用于将区域候选框映射到所述原始特征图中，并池化为区域特征图；
[0019]所述老师位置获取单元，用于将区域特征图输入Faster R
‑
CNN目标检测模型中获取老师位置信息。
[0020]其中，所述老师姿态信息获取模块包括关键点获取单元和归一化单元，所述关键点获取单元，用于基于Faster R
‑
CNN目标检测模型，获取人体姿态关键点信息；
[0021]所述归一化单元，用于基于人体姿态关键点信息进行姿态归一化模块处理。
[0022]其中，所述基于位置信息、姿态信息和学生面部信息分析学习状态的具体步骤是：
[0023]构建并训练基于全连接层的多模态特征融合网络结构；
[0024]将位置信息、姿态信息和学生面部信息映射到特征融合空间进行学习状态分析。
[0025]其中，所述基于位置信息、姿态信息和学生面部信息分析学习状态的具体步骤是：
[0026]采用加权融合方法融合位置信息、姿态信息和学生面部信息得到加权融合特征；
[0027]将加权融合特征输入全连接层；
[0028]获得加权融合特征的分类概率分布。
[0029]本专利技术的一种基于多模态学习状态分析系统，可以在教室的前后分别放置摄像头，然后通过所述图像获取模块获取图像数据，之后通过Faster R
‑
CNN目标检测模型分别对图像进行处理以得到老师的位置信息和面部信息，然后通过ERT人脸特征点检测方法提取图像数据中的学生面部信息，之后可以综合对学生的学习状态进行评估，从而可以更好地对学生的上课情况进行监管，以提高学生的学习效率。
附图说明
[0030]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0031]图1是本专利技术的池化流程图。
[0032]图2是本专利技术的老师姿态信息计算流程图。
[0033]图3是本专利技术的多模态融合分析学生课堂学习状态图。
[0034]图4是本专利技术的通过三模态卷积神经网络的联合学习可以得到三种基于不同模态的三维模型特征到的流程图。
[0035]图5是本专利技术的一种基于多模态学习状态分析系统的结构图。
[0036]图6是本专利技术的图像获取模块的结构图。
[0037]图7是本专利技术的老师位置信息获取模块的结构图。
[0038]图8是本专利技术的老师姿态信息获取模块的结构图。
[0039]1‑
图像获取模块、2
‑
老师位置信息获取模块、3
‑
老师姿态信息获取模块、4
‑
学生面部信息获取模块、5
‑
分析模块、11
‑
获取单元、12
‑
处理单元、21
‑
特征图提取单元、22
‑
候选单元、23
‑
区域特征图生成单元、24
‑
老师位置获取单元、31
‑
关键点获取单元、32
‑
归一化单元。
具体实施方式
[0040]下面详细描述本专利技术的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本专利技术，而不能理解为对本专利技术的限制。
[0041]实施例1
[0042]请参阅图1～图8，本专利技术提供一种基于多模态学习状态分析系统：
[0043]包括图像获取模块1、老师位置信息获取模块2、老师姿态信息获取模块3、学生面部信息获取模块4和分析模块5，
[0044]所述图像获取模块1，用于收集教室内部的图像数据并进行预处理得到处理图像；
[0045]所述老师位置信息获取模块2，用于基于处理图像和Faster R
‑
CNN目标检测模型获得老师的位置信息；
[0046]所述老师姿态信息获取模块3，用于基于处理图像和Faster R...

【技术保护点】

【技术特征摘要】
1.一种基于多模态学习状态分析系统，其特征在于，包括图像获取模块、老师位置信息获取模块、老师姿态信息获取模块、学生面部信息获取模块和分析模块，所述图像获取模块，用于收集教室内部的图像数据并进行预处理得到处理图像；所述老师位置信息获取模块，用于基于处理图像和Faster R
‑
CNN目标检测模型获得老师的位置信息；所述老师姿态信息获取模块，用于基于处理图像和Faster R
‑
CNN目标检测模型获得老师的姿态信息；所述学生面部信息获取模块，用于基于处理图像和ERT人脸特征点检测方法获取学生面部信息；所述分析模块，用于基于位置信息、姿态信息和学生面部信息分析学习状态。2.如权利要求1所述的一种基于多模态学习状态分析系统，其特征在于，所述图像获取模块包括获取单元和处理单元，所述获取单元用于收集摄像头的图像数据；所述处理单元，用于将图像数据的尺寸标准化，并进行归一化处理，得到处理图像。3.如权利要求2所述的一种基于多模态学习状态分析系统，其特征在于，所述收集摄像头的图像数据的具体方式是，每隔5秒为一帧获取图像。4.如权利要求1所述的一种基于多模态学习状态分析系统，其特征在于，所述老师位置信息获取模块包括特征图提取单元、候选单元、区域特征图生成单元和老师位置获取单元，所述特征图提取单元...

【专利技术属性】
技术研发人员：朱世宇，孙令翠，杨红艳，何桢，田菊艳，余玉清，卢政旭，冉程好，
申请(专利权)人：重庆工程学院，
类型：发明
国别省市：