一种教学行为的分析方法、装置、系统及设备制造方法及图纸

本申请公开了一种教学行为的分析方法、装置、系统和设备，应用于教学行为分析，该方法包括：获取待处理图像，所述待处理图像中携带有用户的肢体信息和面部信息；将所述待处理图像输入到行为特征分析模型，得到所述用户的行为特征的分析结果；其中，所述行为特征分析模型是基于训练数据和所述训练数据对应的分析结果进行训练得到的；所述训练数据为携带有肢体信息和面部信息的历史图像，所述训练数据对应的分析结果为所述历史图像的预设分析结果。通过预先建立的模型，对图像进行处理，避免了现有技术中识别人物的教学行为特征人为主观因素的影响，获取的行为特征、行为分析结果更具有客观性。

【技术实现步骤摘要】
一种教学行为的分析方法、装置、系统及设备
本申请涉及数据处理领域，特别是涉及一种教学行为的分析方法、装置、系统及设备。
技术介绍
课堂上，对学生的行为进行分析，是信息化教学发展到近几年的一个重要需求。在现有技术中，通过捕捉课堂上学生的图像，然后由教研人员观察图像中学生的举手动作和面部表情等信息，来对该学生的行为进行分析，并为该学生在课堂上的表现进行打分。然而，通过教研人员对学生在课堂上的表现进行打分的过程中，难免会掺杂教研人员的主观情绪，导致打分不准确。缺乏客观性的分数对以后的教研工作进行改进的参考意义较小。
技术实现思路
为了解决上述技术问题，本申请提供了一种教学行为的分析方法、装置、系统及设备。通过预先建立的模型，对图像进行处理，避免了现有技术中识别人物的教学行为特征人为主观因素的影响，获取的行为特征、行为分析结果更具有客观性。本申请公开了如下技术方案：第一方面，本申请提供了一种教学行为的分析方法，应用于教学行为分析，所述方法包括：获取待处理图像，所述待处理图像中携带有用户的肢体信本文档来自技高网...

【技术保护点】
1.一种教学行为的分析方法，其特征在于，应用于教学行为分析，所述方法包括：/n获取待处理图像，所述待处理图像中携带有用户的肢体信息和面部信息；/n将所述待处理图像输入到行为特征分析模型，得到所述用户的行为特征的分析结果；/n其中，所述行为特征分析模型是基于训练数据和所述训练数据对应的分析结果进行训练得到的；所述训练数据为携带有肢体信息和面部信息的历史图像，所述训练数据对应的分析结果为所述历史图像的预设分析结果。/n

【技术特征摘要】
1.一种教学行为的分析方法，其特征在于，应用于教学行为分析，所述方法包括：
获取待处理图像，所述待处理图像中携带有用户的肢体信息和面部信息；
将所述待处理图像输入到行为特征分析模型，得到所述用户的行为特征的分析结果；
其中，所述行为特征分析模型是基于训练数据和所述训练数据对应的分析结果进行训练得到的；所述训练数据为携带有肢体信息和面部信息的历史图像，所述训练数据对应的分析结果为所述历史图像的预设分析结果。


2.根据权利要求1所述的方法，其特征在于，所述行为特征分析模型包括：第一特征提取层、第二特征提取层、特征融合层和输出层；
将所述待处理图像输入到行为特征分析模型，得到所述用户的行为特征得分具体包括：
将所述待处理图像输入到所述第一特征提取层，获得肢体特征向量；将所述待处理图像输入到所述第二特征提取层，获得面部特征向量；
将所述肢体特征向量和所述面部特征向量输入到特征融合层，获得融合特征向量；
将所述融合特征向量输入到输出层，输出所述待处理图像的行为特征的分析结果。


3.根据权利要求2所述的方法，其特征在于，所述行为特征分析模型还包括：特征匹配层；在将所述肢体特征向量和所述面部特征向量输入到特征融合层之前，所述方法还包括：
将所述肢体特征向量和所述面部特征向量输入到所述特征匹配层，输出所述肢体特征向量与所述面部特征向量匹配。


4.根据权利要求3所述的方法，其特征在于，所述特征匹配层包括第一神经网络、第二神经网络和第三神经网络；将所述肢体特征向量和所述面部特征向量输入到所述特征匹配层，输出所述肢体特征向量与所述面部特征向量匹配具体包括：
将所述肢体特征向量输入到所述第一神经网络，输出所述肢体特征向量的位置；将所述面部特征向量输入到所述第二神经网络，输出所述面部特征向量的位置；
将所述第一神经网络和所述第二神经网络的输出，输入到所述第三神经网络，当所述肢体特征向量的位置与所述面部特征向量的位置低于预设阈值时，输出所述肢体特征向量与所述面部特征向量匹配。


5.根据权利要求2-4任一项所述的方法，其特征在于，所述肢体特征向量的位置至少包括以下一种：手的位置坐标、肘的位置坐标和肩的位置坐标；所述面部特征向量的位置包括：五官的位置坐标。


6.根据权利要求1所述的方法，其特征在于，所述行为特征的分析结果至少包括以下一种：参与度、专注度和疑惑度，当所述行为特征的分析结果包括参与度时，所述参与度与所述肢体特征向量正相关；当所述行为特征的分析结果包括专注度时，所述专注度与所述面部特征向量正相关；当所述行为特征的分析结果包括疑惑度时，所述疑惑度与所述肢体特征向量和所述面部特征向量的加权结果正相关。


7.根据权利要求6所述的方法，其特征在于，所述方法还包括：将所述疑惑度大于预设值的图像进行标记。


8.一种教学行为的分析装置，其特征在于，应用于教学行为分析，所述装置包括：获取单元和输入单元；
所述获取单元，用于获取待处理图像，所述待处理图像中携带有用户的肢体信息和面部信息；
所述输入单元，用于将所述待处理图像输入到行为特征分析模型，得到所述用户的行为特征的分析结果；
其中，所述行为特征分析模型是基于训练数据和所述训练数据对应的分析结果进行训练得到的；所述训练数据为携带有肢体信息和面部信息的历史图像，所述训练...

【专利技术属性】
技术研发人员：张轶君，朱玉荣，
申请(专利权)人：北京文香信息技术有限公司，
类型：发明
国别省市：北京;11