一种基于姿态识别的学习效率监测与作业审查方法技术

本发明专利技术公开了一种基于姿态识别的学习效率监测与作业审查方法，包括以下步骤：第一步、收集学生做作业时的面部表情以及肢体动作的数据；第二步、进行手部、脸部等人体各个姿态的关键点识别检测；第三步、进行模型训练，将学生的一些肢体动作、面部表情等具体的动作训练到模型里；第四步、在线实时监测，通过视频数据分析的结果与训练出来的模型进行对比，判断学生的学习状态以及坐姿是否标准等并给出相应的语音提示；第五步、学生写完作业后，通过与题库的数据库连接，对学生所作作业的正确率、学习状态等做出一个判断，并根据学生的学习规律以及经常犯错的题型，为孩子定制个性化的学习计划。本发明专利技术通过利用姿态识别技术来对学生的学习效率进行实时监测，该方法能够让家长更便捷地了解学生在做作业时的学习状态，提高了教育信息化管理程度。信息化管理程度。信息化管理程度。

【技术实现步骤摘要】
一种基于姿态识别的学习效率监测与作业审查方法


[0001]本专利技术属于人工智能机器人
，尤其涉及一种基于姿态识别的学习 效率监测与作业审查方法。

技术介绍

[0002]目前，随着移动互联网的发展和智能终端的普及，传统的在普通教室教学 的方式已经满足不了老师与家长的需求，家长希望能了解子女在课堂的学习效 率，但是如果每个家长都通过与老师沟通的方式来获取学生信息，这就会浪费 大量的时间。随着计算机视觉与人工智能技术的发展与进步，越来越多的事件 可以通过视频监控来进行监测与分析，例如人脸识别，身份认证等。同样的可 以使用智能终端产品对学生上课时的姿态动作进行监测与分析，通过获取学生 的肩膀、手指、手腕、脖子、头、眼睛、嘴巴等动作，来分析学生的心理、精 神、学习状态，对当前学生的学习效率做一个评估，判断学生是否专注学习时 间过长，是否产生疲劳等。而且现代社会父母工作压力大，回家后还需要辅导 孩子的作业，这无疑会更加加重父母的压力，有些家长由于没有受过良好的教 育，在辅导孩子作业方面会存在非常大的困难。

技术实现思路

[0003]本专利技术的目的在于提出一种基于姿态识别的学习效率监测与作业审查方法。 该方法能够让家长更快更便捷的了解学生在做作业时的学习状态，提高了教育 信息化管理程度。主要包括：
[0004]1)通过终端设备上的摄像头装置实时采集学生在做作业时的面部表情以及 相关的肢体动作等数据。
[0005]2)采集的数据主要包括肩膀、脖子、头、肘关节、手腕、手指以及眼睛、 鼻子、嘴巴等面部表情。
[0006]3)利用分析机对采集到的图像数据进行分析，获取学生位置以及各种数据 信息，使用OpenPose对学生的姿态动作进行识别，进而使用CNN来进行模型 的训练与分析。
[0007]4)同时实时检测学生做作业时的坐姿，对于检测到的不健康的姿势及时提 醒，还可以提示学生专注学习时间太长，提示学生进行适当休息，保证健康。
[0008]5)通过采集到的各类数据分析当前学生的学习状态，是否走神、精神是否 集中等，进行学习状态检测和情感行为识别，最终形成学生在整个作业过程中 的行为数据报告。
[0009]6)通过与学生所作测试题的数据库相连，判断学生答题效果并给出错题详 解，进一步提高学习效率。
[0010]7)通过综合分析学生每日的学习情况，为学生规划下一次的学习知识与学 习强度，制订适合学生的个性化学习计划。
[0011][0012][0013]本方案主要采用OpenPose来进行学生的姿态监测，OpenPose采用自下而 上的人体骨骼关键点检测方法，能够对面部关键点、人体骨骼关键点、手部关 键点等进行识别估计，是首个基于深度学习的实时性姿态识别模型，OpenPose 模型通过VGG-19卷积神经网络架构训练图像获取图像特征，然后将图像特征 分为两个分支进行两个阶段的迭代训练。主要模块包括数据获取模块、数据训 练模块、行为识别模块、数据分析模块。
[0014]为了实现上述目的，本专利技术采用如下技术方案：
[0015]基于姿态识别的学习效率监测与作业审查方法，包括如下步骤：
[0016]第一步、收集学生做作业时的面部表情以及肢体动作的数据。
[0017]第二步、进行手部、脸部等人体各个姿态的关键点识别检测。
[0018]第三步、进行模型训练，将学生的一些肢体动作、面部表情等具体的动作 训练到模型里，采用机器学习的第三方模块sklearn，可以采用的算法有线性模 型，knn，GBDT。
[0019]第四步、在线实时监测，通过视频数据分析的结果与训练出来的模型进行 对比，判断学生的学习状态以及坐姿是否标准等并给出相应的语音提示。
[0020]第五步、学生写完作业后，通过与题库的数据库连接，对学生所作作业的 正确率、学习状态等做出一个判断，并根据学生的学习规律以及经常犯错的题 型，为孩子定制个性化的学习计划。
[0021]进一步的，第一步具体包括：
[0022]步骤S101：接通电源，打开终端设备。
[0023]步骤S102：通过设备上的摄像头等传感器捕捉2D图像，收集学生做作业 时的面部表情以及肢体动作的数据。
[0024]进一步的，第二步具体包括：
[0025]步骤S201：读取视频数据，OpenPose的关键点检测器会识别并标记出身体 特点的部位。
[0026]步骤S202：帮助身体跟踪算法了解不同角度下每个姿势的表现，识别各个 关键点，比如手部关键点识别、脸部关键点识别。
[0027]步骤S203：利用OpenPose命令获取节点信息。
[0028]步骤S204：用python进行过滤分析，过滤掉平均置信度小的节点,置信度 表示的是训练集图片中一点为关键点的概率，之后保存为json文件(读到python 里面就是字典)。
[0029]进一步的，第三步具体包括：
[0030]步骤S301：下载训练OpenPose模型的相关项目代码。
[0031]步骤S302：将学生的一些肢体动作、面部表情等具体的动作作为数据集输 入(数据集尽可能多一点)。
[0032]步骤S303：编译训练OpenPose模型所使用的caffe。
[0033]步骤S304：在training目录下运行genANNO.m将数据集中的原始图片信息 由json转化为mat格式；运行genCOCOMask.m得到未标注的人的mask图片； 运行genJSON.m文件得到存储了用于训练的信息的json文件；运行 genLMDB.py文件得到训练用的lmdb格式数据集。
[0034]步骤S305：准备训练用的prototxt模型文件，进行模型训练。
[0035]进一步的，第四步具体包括：
[0036]步骤S401：终端设备实时获取学生做作业时的面部表情及体态动作。
[0037]步骤S402：将实时数据与训练好的模型相对比，分析学生此刻的姿态动作。
[0038]步骤S403：根据对学生做作业时的动作分析，判断学生的学习状态，并给 出相应的语音提示。
[0039]进一步的，第五步具体包括：
[0040]步骤S501：收集学生的手写作业数据，通过点阵数码笔来实现。
[0041]步骤S502：获取到学生手写数据后，先通过图像处理技术将手写数据拆解 成文本行，然后通过联机手写识别技术(CNN+BLSTM+CTC)来识别出每一行的 文字。
[0042]步骤S503：识别出标准答案后，通过数学符号语言处理等算法，自动生成 所有的同义表达式。将学生笔迹的最终答案，与标准答案的所有同义表达式进 行匹配比较，找到结果一致的表达式。
具体实施方式
[0043]本专利技术基于姿态识别的学习效率监测与作业审查方法，包括以下步骤：
[0044]第一步、收集学生做作业时的面部表情以及肢体动作的数据：
[00本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于姿态识别的学习效率监测与作业审查方法，其特征在于，包括如下步骤：第一步、收集学生做作业时的面部表情以及肢体动作的数据。第二步、进行手部、脸部等人体各个姿态的关键点识别检测。第三步、进行模型训练，将学生的一些肢体动作、面部表情等具体的动作训练到模型里，采用机器学习的第三方模块sklearn，可以采用的算法有线性模型，knn，GBDT。第四步、在线实时监测，通过视频数据分析的结果与训练出来的模型进行对比，判断学生的学习状态以及坐姿是否标准等并给出相应的语音提示。第五步、学生写完作业后，通过与题库的数据库连接，对学生所作作业的正确率、学习状态等做出一个判断，并根据学生的学习规律以及经常犯错的题型，为孩子定制个性化的学习计划。2.根据权利要求1所述的一种基于姿态识别的学习效率监测与作业审查方法，其特征在于，第一步具体包括：步骤S101：接通电源，打开终端设备。步骤S102：通过设备上的摄像头等传感器捕捉2D图像，收集学生做作业时的面部表情以及肢体动作的数据。3.根据权利要求1所述的一种基于姿态识别的学习效率监测与作业审查方法，其特征在于，第二步具体包括：步骤S201：读取视频数据，OpenPose的关键点检测器会识别并标记出身体特点的部位。步骤S202：帮助身体跟踪算法了解不同角度下每个姿势的表现，识别各个关键点，比如手部关键点识别、脸部关键点识别。步骤S203：利用OpenPose命令获取节点信息。步骤S204：用python进行过滤分析，过滤掉平均置信度小的节点,置信度表示的是训练集图片中一点为关键点的概率，之后保存为json文件(读到python里面就是字典)。4.根据权利要求1所述的一种基于姿态识别的学习效率监测与作业审查方法，其特征在于，第三步具体包括：步骤S301：下载训...

【专利技术属性】
技术研发人员：高聪，王赓，陈煜喆，
申请(专利权)人：西安邮电大学，
类型：发明
国别省市：