一种学员课堂学习状态在线评估方法及系统技术方案

本发明专利技术涉及在线教育技术领域，用于进行学员在线学习中的行为分析，通过提供一种学员课堂学习状态在线评估方法及系统，基于学员建模、状态识别建模、状态时间计算、课程建模、状态评估等五个步骤，对于学员学习时间内的肢体动作、微表情、学习课程的难易程度和学员所述环境场景作为学习状态评估的数据，对于学员的学习状态进行评估，具体结合学员的学习课程重要度情况、行为情况和表情情况，进行综合分析，从而实现对学员在线学习的全面评估。从而实现对学员在线学习的全面评估。从而实现对学员在线学习的全面评估。

【技术实现步骤摘要】
一种学员课堂学习状态在线评估方法及系统


[0001]本专利技术涉及在线学习
，特别涉及一种学员课堂学习状态在线评估方法及系统。

技术介绍

[0002]目前，随着“互联网+教育”的深入发展，在线教育越来越深入我们的生活内，通过将课堂教学全过程进行信息化，实现在线的线上线下同步的学习，同时，线上的学习更加适用于无法实现线下教育的各种场景。
[0003]在线教育学习平台在近几年大量出现，也是基于通信技术的提升，学员可以通过在线观看教学视频，或者教师就进行在线教学，帮助学员进行学习。
[0004]然而，市面上绝大部分在线教育的评估体系中，对于学员学习状态的评估，主要是基于学员的表情状态评估，评估学员发呆、玩耍，不在在线学习的设备镜头前等情况，以此判断学员的具体的学习状态。
[0005]但是：
[0006](1)无法根据课程重要度情况实现学习状态评估，因为，不同课程的重要程度，往往影响这未来学习其它关联课程时候，学员专注度和学习状态；
[0007](2)无法结合表情和行为，判断学员的学习状态，往往学员在肢体行为异常的时候，但是，表情正常情况下，现有技术无法判断学员的专注度，只能判断误判学员处于正常状态。
[0008](3)由于在线评估的数据较大，会存在数据传输响应慢，评估系统不稳定，传输效率低的情况存在。

技术实现思路

[0009]本专利技术提供一种学员课堂学习状态在线评估方法及系统，用以解决无法根据课程重要度情况实现学习状态评估，无法结合表情和行为，判断学员的学习状态的情况。
[0010]本专利技术提出了一种学员课堂学习状态在线评估方法，包括：
[0011]步骤1：学员建模；
[0012]获取学员的学习图像，构建学员在学习时的行为动作模型；其中，
[0013]行为动作模型包括学员的行为模型和表情模型；
[0014]步骤2：状态识别建模；
[0015]根据行为动作模型，进行学员行为表情识别，构建不同行为表情相对于学习的状态评估体系，确定学员学习状态识别结果；
[0016]步骤3：状态时间计算；
[0017]根据学员学习状态识别结果，记录不同学习状态对应的持续时间，生成时间状态模型；
[0018]步骤4：课程建模；
[0019]记录学员在不同时间对应的学习课程，生成时间课程模型；
[0020]步骤5：状态评估；
[0021]根据时间状态模型和时间课程模型，计算学员在不同课程学习时的状态参数和持续时间，并基于状态参数和持续时间确定学员学习状态的评估结果。
[0022]步骤6：数据传输；
[0023]获取当前状态评估后的评估结果，并根据所述评估结果对应的数据量，确定数据传输模式。
[0024]优选的，所述学员建模包括：
[0025]根据学员的学习图像，分别进行行为识别和表情识别；
[0026]根据行为识别，构建肢体行为识别机制；
[0027]肢体行为识别机制包括构建基于学习图像中第一肢体图像的人体骨架模型，人体骨架模型用于追踪肢体行为；
[0028]根据表情识别，构建注意力识别机制；其中，
[0029]注意力识别机制包括构建基于预设基准面部表情图像的脸部区域网格模型，脸部区域网格模型用于拟真脸部表情；
[0030]根据肢体行为识别机制，捕捉学员在线学习时的肢体动作；
[0031]根据注意力识别机制，捕捉学员在线学习时的表情动作；其中，
[0032]表情动作包括微表情和常态化表情；
[0033]根据肢体动作和表情动作，模拟每一时刻的学员行为动作，生成行为动作模型。
[0034]优选的，所述肢体动作包括如下捕捉步骤：
[0035]将学员的学习图像按照时间轴排序，并通过人体骨架模型的追踪肢体行为，生成基于时间轴的肢体序列；
[0036]对肢体序列中每个图像通过特征识别进行肢体捕捉；
[0037]根据肢体捕捉，将相同肢体的坐标映射到虚拟二维图像中；
[0038]基于时间轴将虚拟二维图像进行重叠，生成肢体动作在三维空间的动作数据；
[0039]根据动作数据，确定肢体动作。
[0040]优选的，所述微表情包括如下捕捉步骤：
[0041]根据学员图像，确定学员的面部区域，进行面部区域的裁剪，获取裁剪图像；
[0042]根据裁剪图像，将人脸划分为多个识别区域；
[0043]建立脸部的全局坐标系和每个识别区域的局部坐标系；其中，
[0044]全局坐标系包括深度坐标系和平面坐标系；
[0045]根据全局坐标系和局部坐标系，确定不同时刻学员图像上不同识别区域的局部坐标系在全局坐标系上的位置迁移矢量；
[0046]根据位置迁移矢量，进行微表情建模，捕捉学员的微表情。
[0047]优选的，所述常态化表情包括如下捕捉步骤：
[0048]基于行为动作模型，对学员图像进行脸部分割，确定学员脸部图像；
[0049]基于学员脸部图像，确定每个识别区域；其中，
[0050]根据识别区域，对学员脸部进行网格化投影，确定面部表情网格点；
[0051]根据面部表情的网格点，确定学员面部的变换动作；
[0052]根据变换动作，捕捉学员面部的常态化表情。
[0053]优选的，所述构建不同行为表情相对于学习的状态评估体系，包括：
[0054]分别构建行为专注度指标和表情专注度指标，生成双层状态评估模型；其中，
[0055]双层状态评估模型包括：行为判定层和表情判定层；
[0056]根据行为判定层，生成时间行为判定矩阵；其中，
[0057]时间行为判定矩阵由每个肢体行为的发生时间、行为特征参数和行为评估系数构成；
[0058]根据表情判定层，生成时间表情判定矩阵；其中，
[0059]时间表情判定矩阵由每个表情的发生时间、表情特征参数和表情持续时间构成；
[0060]在双层状态评估模型上配置同步状态评估机制，生成状态评估体系。
[0061]优选的，所述时间状态模型包括：
[0062]收集不同时间点的学习状态数据，通过时空同步得到对应各时间点的记录数据；
[0063]将记录数据设置不同的记录标签，并将记录数据的一部分划分为测试集，其余记录数据划分为训练集；
[0064]使用K
‑
交叉验证方法，根据训练集进行交叉验证，计算出记录数据被识别为不良学习状态的频率，以此频率作为记录数据被识别为不良学习状态的识别概率；
[0065]根据识别概率，通过拟合函数，将概率映射为对应记录数据进行模型训练时的样本权重；
[0066]根据样本权重，搭建第一人工神经网络模型，将学习状态数据输入人工神经网络模型进行训练，生成时间状态模型。
[0067]优选的，所述时间课程模型包括：
[0068]基于时间状态本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种学员课堂学习状态在线评估方法，其特征在于，包括：步骤1：学员建模；获取学员的学习图像，构建学员在学习时的行为动作模型；其中，所述行为动作模型包括学员的行为模型和表情模型；步骤2：状态识别建模；根据所述行为动作模型，进行学员行为表情识别，构建不同行为表情相对于学习的状态评估体系，确定学员学习状态识别结果；步骤3：状态时间计算；根据学员学习状态识别结果，记录不同学习状态对应的持续时间，生成时间状态模型；步骤4：课程建模；记录学员在不同时间对应的学习课程，生成时间课程模型；步骤5：状态评估；根据时间状态模型和时间课程模型，计算学员在不同课程学习时的状态参数和持续时间，并基于状态参数和持续时间确定学员学习状态的评估结果；步骤6：数据传输；获取当前状态评估后的评估结果，并根据所述评估结果对应的数据量，确定数据传输模式。2.如权利要求1所述的一种学员课堂学习状态在线评估方法，其特征在于，所述学员建模包括：根据学员的学习图像，分别进行行为识别和表情识别；根据行为识别，构建肢体行为识别机制；其中，肢体行为识别机制包括构建基于学习图像中第一肢体图像的人体骨架模型，人体骨架模型用于追踪肢体行为；根据表情识别，构建注意力识别机制；其中，注意力识别机制包括构建基于预设基准面部表情图像的脸部区域网格模型，脸部区域网格模型用于拟真脸部表情；根据肢体行为识别机制，捕捉学员在线学习时的肢体动作；根据注意力识别机制，捕捉学员在线学习时的表情动作；其中，表情动作包括微表情和常态化表情；根据肢体动作和表情动作，模拟每一时刻的学员行为动作，生成行为动作模型。3.如权利要求2所述的一种学员课堂学习状态在线评估方法，其特征在于，所述肢体动作包括如下捕捉步骤：将学员的学习图像按照时间轴排序，并通过人体骨架模型的追踪肢体行为，生成基于时间轴的肢体序列；对肢体序列中每个图像通过特征识别进行肢体捕捉；根据肢体捕捉，将相同肢体的坐标映射到虚拟二维图像中；基于时间轴将虚拟二维图像进行重叠，生成肢体动作在三维空间的动作数据；根据动作数据，确定肢体动作。4.如权利要求2所述的一种学员课堂学习状态在线评估方法，其特征在于，所述微表情包括如下捕捉步骤：根据学员图像，确定学员的面部区域，进行面部区域的裁剪，获取裁剪图像；
根据裁剪图像，将人脸划分为多个识别区域；建立脸部的全局坐标系和每个识别区域的局部坐标系；其中，全局坐标系包括深度坐标系和平面坐标系；根据全局坐标系和局部坐标系，确定不同时刻学员图像上不同识别区域的局部坐标系在全局坐标系上的位置迁移矢量；根据位置迁移矢量，进行微表情建模，捕捉学员的微表情；所述常态化表情包括如下捕捉步骤：基于行为动作模型，对学员图像进行脸部分割，确定学员脸部图像；基于学员脸部图像，确定每个识别区域；其中，根据识别区域，对学员脸部进行网格化投影，确定面部表情网格点；根据面部表情的网格点，确定学员面部的变换动作；根据变换动作，捕捉学员面部的常态化表情。5.如权利要求1所述的一种学员课堂学习状态在线评估方法，其特征在于，所述构建不同行为表情相对于学习的状态评估体系，包括：分别构建行为专注度指标和表情专注度指标，生成双层状态评估模型；其中，双层状态评估模型包括：行为判定层和表情判定层；根据行为判定层，生成时间行为判定矩阵；其中，时间行为判定矩阵由每个肢体行为的发生时间、行为特征参数和行为评估系数构成；根据表情判定层，生成时间表情判定矩阵；其中，时间表情判定矩阵由每个表情的发生时间、表情特征参数和表情持续时间构成；在双层状态评估模型上配置同步状态评估机制，生成状态评估体系。6.如权利要求1所述的一种学员课堂学习状态在线评估方法，其特征在于，所述时间状态模型包括：收集不同时间点的学习状态数据，通过时空同步得到对应各时间点的记录数据；将记录数据设置不同的记录标签，并将记录数据的一部分划分为测试集，其余记录数据划分为训练集；使用K
‑
交叉验证方法，根据训练集进行交叉验证，计算出记录数据被识别为不良学习状态的频率，...

【专利技术属性】
技术研发人员：张仁凤，唐鑫程，
申请(专利权)人：国信蓝桥教育科技股份有限公司，
类型：发明
国别省市：