基于课堂视频的师生行为分析系统技术方案

本发明专利技术公开一种基于课堂视频的师生行为分析系统，综合评估师生课堂互动状况，分为教师课堂教学行为分析模块、教师课堂授课声音节律分析模块、学生课堂举手行为分析模块和师生言语行为互动分析模块；本发明专利技术对课堂教学视频进行指标计算，得到课堂师生行为的数据结果，生成课堂师生行为数据报表，为师生课堂互动效果的评价提供参考。

【技术实现步骤摘要】
基于课堂视频的师生行为分析系统
本专利技术涉及一种基于课堂视频的师生行为分析系统，特别涉及一种多维度多模态融合的师生课堂行为评估方式，属于教育教学课堂评估的

技术介绍
随着计算机技术的发展，教育信息化在课堂教学领域上的应用越来越广泛。教育信息化的提出要求突破传统的教学模式，使用数字化、媒体化的智能信息技术改变教育的内容和方法。信息技术一般以计算机技术作为基础，计算机数字化会为教学过程提供便捷的设备，可靠的性能以及统一的标准。随着技术手段的不断提升，教育信息化的范围已经不仅局限于在教学过程中使用多媒体设备、通过网络共享优质教学资源等多媒化、数字化的应用。在此基础上，为进一步实现教育信息化，需要挖掘多媒体数据中隐藏的深层信息，而课堂教学视频就是一个探索性强，内容丰富的信息载体。当下教育信息化的表现和应用形式主要还是“互联网+教育”的模式，通过引入信息化、智能化系统搭建基于网络基础的平台。如科大讯飞提出的智慧课堂系统，核心是将教材多媒体化，以平板电脑等设备为载体对教学内容进行呈现和传播；百度提出的智能教育涉及教师教学和学习评测环节，包括人脸识别课堂教师和学生，识别手写和印刷的文字，以及教师智能阅卷等功能；海康威视提出了“无卡校园”，主要包含“精品式”录播、师生人脸的无感知考勤、课堂大数据分析等内容；此外，虚拟现实、微课堂、创客教育等新技术及互联网教育平台也开始在全国各地的多个学校课堂内进行试点。当前，视频和语音信号分析技术在课堂行为分析领域的研究较多。视频分析技术是在计算机图像领域的分析技术，通过数字图像处理等方法对视频图像中的内容进行相关的解析。视频分析技术主要涉及目标识别目标追踪以及行为分析，其中包括运动检测、目标跟踪、视频分割、行为识别等方面。近年来，随着机器学习技术和深度学习技术的不断发展，人脸识别技术、姿态识别技术、车辆结构化识别技术等图像分析技术日渐成熟，并应用于不同的领域。视频分析技术在教学领域中的应用也越来越广泛，随着科技的进步和教学条件的提高，越来越多的学校在教室中安装了高清视频监控设备。例如韩丽、李洋针针对课堂学生表情识别研究提出了课堂环境中基于面部表情的教学效果分析，利用课堂学生情绪识别系统对课堂视频中的学生人脸进行检测，使用深度学习方法构建分类器，对学生听课面部表情进行分类，来反馈学生的听课情况。但是真实课堂中的学生数量会对摄像头提出更高的要求，必须获取每个学生的高像素人脸图片。从检测识别结果来看，微笑表情对应的开心情绪的识别准确率较高，但其他情绪的识别精度却很低。当学生出现微笑表情时，系统只能识别出该学生此时的情绪是开心的，却不能关联到课堂中学生或教师的其他行为，如该生是因为和其他同学交流而感到开心，又或是由于教师的表扬而高兴。同时，学生在听课时存在大量复杂情绪和微表情，这些表情的面部表现不明显且变化速度很快，因此识别存在困难。此类研究的技术手段相对单一，尽管取得了一些初步分析结果，却缺乏对于视频内容的深度挖掘。语音识别技术在医疗服务、交互式、智能家居、通信系统、车载语音系统等领域已经有了广泛的应用。同时，在智能多媒体课堂的教学系统中，语音识别技术也有着广泛的应用，如语音识别教学模式的应用、智能阅读教学方式的应用等等。例如基于语音信号分析的S-T方法，通过在一定的时间间隔上对师生课堂行为采样，并分别用S(students)和T(Teachers)代表学生和老师在课堂上产生的各类声音，其中包括教师的讲演、提问、板书(可能夹杂着教师的讲解)以及学生的发言、思考、讨论、沉默等因素。S-T方法通过分析S行为和T行为的占有率并进行对比，将课堂教学模式划分为不同的类型。刘立新、王萍将S-T分析法应用于高中化学教学分析中，对高中化学优质课进行定量分析，并针对分析过程中所遇到的问题，对S-T分析法中关于教学模式的判断提出了新的标准。但是目前此类方法仍然是以人工记录的方法为主，需要耗费大量的人力劳动，且存在主观性。HuahuaQi等提出了一种结合语音分析的课堂教学评价新方法通过设定一些评价标准来判断节奏、音调波动和激情的丰富程度。但此类研究更偏重于应用新奇的技术方法，以提高计算机识别模型的准确率为目的，忽略了这些指标在课堂教学领域的实际应用。基于上述分析，本专利技术基于课堂视频的师生行为分析系统，从教师和学生两个角度，构建师生行为量化指标，多角度多模态融合分析课堂授课视频，为每节课堂生成分析报表，作为教师教学的参考。
技术实现思路
专利技术目的：本专利技术目的在于基于课堂视频的师生行为分析系统，研究一种多维度多模态融合的师生行为分析方法，基于相关的教育教学理论基础，制定课堂教学行为编码，关联与课堂视频中教师和学生相关的行为指标，使用合适的技术方法对指标数据进行采集和分析，得到课堂师生行为的数据结果，生成报表，为师生课堂互动效果的评价提供参考。技术方案：一种基于课堂视频的学生课堂参与度分析系统，包括教师课堂教学行为分析模块、教师课堂授课声音节律分析模块、学生课堂举手行为分析模块和师生言语行为互动分析模块；所述的教师课堂教学行为分析模块定义教师授课中的板书行为动作，计算板书行为的时长，根据教师的课堂运动轨迹划分运动区域，分析教师在不同区域的运动时长；教师课堂授课声音节律分析模块对语音信号进行特征分析，计算平均音频的节律个数以及有明显节律波动的节律数，判断教师授课的音频是否存在节律波动；学生课堂举手行为分析模块选用目标识别算法构建举手动作的模型进行，将生成的模型用于识别学生在课堂中的举手动作并统计频次；师生言语行为互动分析模块分别计算课堂音频的静默时长、教师和学生说话时长，建立教师的课堂言语教学行为编码，使用文本分类算法对不同类别进行分类，统计不同言语行为的文本数量；所述的一种基于课堂视频的学生课堂参与度分析系统，基于弗兰德斯等师生互动分析方法，结合和整改出一套新的课堂教学行为编码，作为系统的教育教学理论基础。根据课堂教学行为编码，关联与课堂视频中教师和学生相关的行为指标，使用合适的技术方法对指标数据进行采集和分析。所述的教师课堂教学行为分析模块使用OpenPose算法进行教师人体关键点坐标的定位，提取教师授课的典型授课动作骨架，定义教师板书行为。给定板书区域为黑板区域，设定黑板区域的坐标位置，判断教师关节点右肩、右肘、右手腕三个关节点的坐标是否均在黑板区域中，如果至少有两个点在黑板区域中，并且右手腕坐标保证在右肘之上，则识别为板书动作。进一步地，根据教师的运动轨迹集中点将教师运行区域划分为两部分，分别是讲台黑板区域和左右两边学生位置区域，统计教师在两块区域运动的时长判断教师的课堂轨迹运动差异。所述的教师课堂授课声音节律分析模块通过判断信号的短时能量将信号分为语音段和非语音段。获得每10000帧的平均短时能量，判断是否有短时能量来划分节律段落数r，如公式所示：En(b)＝0&&En(b+1)＞O其中E(i)是第i个10000帧平均短时能量，n表示一共有n个10000帧。进一步地，通过计算相邻两个节律段落的短时能量平均值的比值，判本文档来自技高网...

【技术保护点】
1.一种基于课堂视频的师生行为分析系统，其特征在于，包括教师课堂教学行为分析模块、教师课堂授课声音节律分析模块、学生课堂举手行为分析模块和师生言语行为互动分析模块；/n所述的教师课堂教学行为分析模块通过OpenPose姿态识别算法确定教师骨架关键点位置，定义教师的板书动作，统计教师板书时长，将教师运动区域划分为两个部分，绘制教师在课堂中不同时间点所站立的位置，识别教师的运动轨迹并统计其在不同区域位置的时长；/n所述的教师课堂授课声音节律分析模块对获取的教师语音信号进行预处理，对语音信号进行特征分析，通过计算平均短时能量获取音频的节律个数，计算出有明显节律波动的节律数，判断教师授课的音频是否存在节律波动；/n所述的学生课堂举手行为分析模块建立课堂举手动作图片集，划分训练集和测试集，选用目标识别算法模型进行训练的测试，将生成的模型用于识别学生在课堂中的举手动作并统计频次；/n所述的师生言语行为互动分析模块从教师和学生的语音出发，分别对静默时长、教师学生说话时长进行标记，使用支持向量机模型进行静默时长的计算，通过隐马尔可夫监督算法训练模型用于统计教师和学生分别说话的语音时长，根据教师的课堂言语教学制定教师课堂言语教学行为的互动编码，将教师的授课语音进行语音识别生成文本文件，使用TextCNN文本分类算法进行分类，统计不同言语行为的文本数量。/n...

【技术特征摘要】
1.一种基于课堂视频的师生行为分析系统，其特征在于，包括教师课堂教学行为分析模块、教师课堂授课声音节律分析模块、学生课堂举手行为分析模块和师生言语行为互动分析模块；
所述的教师课堂教学行为分析模块通过OpenPose姿态识别算法确定教师骨架关键点位置，定义教师的板书动作，统计教师板书时长，将教师运动区域划分为两个部分，绘制教师在课堂中不同时间点所站立的位置，识别教师的运动轨迹并统计其在不同区域位置的时长；
所述的教师课堂授课声音节律分析模块对获取的教师语音信号进行预处理，对语音信号进行特征分析，通过计算平均短时能量获取音频的节律个数，计算出有明显节律波动的节律数，判断教师授课的音频是否存在节律波动；
所述的学生课堂举手行为分析模块建立课堂举手动作图片集，划分训练集和测试集，选用目标识别算法模型进行训练的测试，将生成的模型用于识别学生在课堂中的举手动作并统计频次；
所述的师生言语行为互动分析模块从教师和学生的语音出发，分别对静默时长、教师学生说话时长进行标记，使用支持向量机模型进行静默时长的计算，通过隐马尔可夫监督算法训练模型用于统计教师和学生分别说话的语音时长，根据教师的课堂言语教学制定教师课堂言语教学行为的互动编码，将教师的授课语音进行语音识别生成文本文件，使用TextCNN文本分类算法进行分类，统计不同言语行为的文本数量。


2.根据权利要求1所述的一种基于课堂视频的师生行为分析系统，其特征在于，基于弗兰德斯等师生互动分析方法，结合和整改出一套新的课堂教学行为编码。该课堂教学行为编码主要分为教师行为、学生行为和无教学意义行为三大部分。其中教师行为分为讲授、提问、指令、声音节律、传统媒体演示和课堂监督；学生行为包括提问、回答；无教学意义行为包括无助于教学的沉静。根据所述的课堂教学行为编码，关联与课堂视频中教师和学生相关的行为指标。一共提出8个指标：教师板书行为；教师位置轨迹；教师声音节律；教师说话时长；教师言语分类；学生举手行为；学生说话时长；课堂静默时长。


3.根据权利要求1所述的一种基于课堂视频的师生行为分析系统，其特征在于，所述的教师课堂教学行为分析模块使用OpenPose算法进行教师人体关键点坐标的定位，提取教师授课的典型授课动作骨架，定义教师板书行为；给定板书区域为黑板区域，设定黑板区域的坐标位置，判断教师关节点右肩、右肘、右手腕三个关节点的坐标是否均在黑板区域中，如果至少有两个点在黑板区域中，并且右手腕坐标保证在右肘之上，则识别为板书动作。


4.根据权利要求1所述的一种基于课堂视频的师生行为分析系统，其特征在于，所述的教师课堂教学行为分析模块根据教师的运动轨迹集中点将教师运行区域划分为两部分，分别是讲台黑板区域和左右两边学生位置区域，统计教师在两块区域...

【专利技术属性】
技术研发人员：禹东川，缪佳，
申请(专利权)人：东南大学，
类型：发明
国别省市：江苏;32