一种课堂实时监测与评估系统及其工作方法、创建方法技术方案

本发明专利技术提供一种课堂实时监测与评估系统，包括依次连接的视频采集模块、数据调度模块、图像分析模块、结果统计模块；数据调度模块包括第一存储器和一先入先出队列子模块；图像分析模块包括一基于YOLO网络的行为表情分析网络模型，该行为表情分析网络模型包括若干个流水设置的网络层、用以存储每个网络层输出结果的两个第二存储器、以及YOLO输出层；YOLO输出层分别与最后一级网络层、结果统计模块连接，用以将输出结果传输至结果统计模块；结果统计模块对其中的异常行为进行统计分析。本发明专利技术能够实时显示学生的听课表现，能帮助教师随时掌握学生的情况，及时提醒听课走神的学生、更改教学方式、调整教学方案，切实提高教学质量。

【技术实现步骤摘要】
一种课堂实时监测与评估系统及其工作方法、创建方法
本专利技术涉及智慧教育领域，具体而言涉及一种课堂实时监测与评估系统及其工作方法、创建方法。
技术介绍
课堂教学是人才培养过程中进行理论知识传授最基本、最重要的环节，其质量的优劣对人才培养的质量有着直接的影响。实践表明，课堂效果监测与评估对于提高课堂教学质量，评价教师课堂教学，辅助教师了解学生学习情况、更新教学内容、调整教学方案、改进教学方法有着积极的促进作用。传统教学模式里，常见的课堂效果评价分为现场观察评价、监视监听评价、录像评价、量表评价等，一般用于对教师的评价；而教师了解学生的方式则主要通过作业或者测验，滞后性比较大。
技术实现思路
本专利技术目的在于提供一种课堂实时检测和评估系统，能够实时显示学生的听课表现，能帮助教师随时掌握学生的情况，及时提醒听课走神的学生、更改教学方式、调整教学方案，切实提高教学质量。为达成上述目的，本专利技术提出一种课堂实时监测与评估系统，所述课堂实时监测与评估系统为一FPGA系统，包括依次连接的视频采集模块、数据调度模块、图像分析模块、结果统计模块；所述视频采集模块用以实时采集教室内的视频图像，将采集的视频图像解析成若干帧后依次发送至数据调度模块；所述数据调度模块包括至少一个第一存储器和一先入先出队列子模块，数据调度模块将接收到的图像帧发送至第一存储器，经过先入先出队列依次进入图像分析模块进行图像分析；所述图像分析模块包括一基于YOLO网络的行为表情分析网络模型，该行为表情分析网络模型包括若干个流水设置的网络层、用以存储每个网络层输出结果的两个第二存储器、以及用以输出分析结果的YOLO输出层；每个所述网络层包括对应设置的卷积层与池化层，卷积层和池化层的输出结果交替写入两个第二存储器中，以实现乒乓操作；所述行为表情分析网络模型隔层之间的启动切换由握手信号决定，即：由握手信号启动的卷积层和池化层交替地从两个第二存储器中读取数据，进行处理后发送至下一级网络层；所述YOLO输出层分别与最后一级网络层、结果统计模块连接，用以将输出结果传输至结果统计模块；所述结果统计模块接收图像分析模块发送的分析结果，对其中的异常行为进行统计分析。进一步的实施例中，所述第一存储器为同步动态随机存储器；所述第二存储器为静态随机存取存储器。进一步的实施例中，所述池化层为最大池化层。进一步的实施例中，所述数据调度模块与图像分析模块之间设置有一图像调整模块，用以接收数据调度模块输出的图像，缩放后发送至两个第二存储器中供网络层调用。进一步的实施例中，所述行为表情分析网络模型还具有一权重设置模块，用以设置网络层的卷积核权重。基于前述课堂实时监测与评估系统，本专利技术还提及一种课堂实时监测与评估系统的工作方法，所述工作方法包括：实时采集课堂上学生的行为和表情图像，将之导入课堂实时监测与评估系统进行课堂表现分析和统计，课堂表现包括异常行为和正常行为两种，以及响应于同一时刻的异常行为的学生数量大于一设定数量阈值，发出警告。进一步的实施例中，所述方法还包括：对采集的每帧图像中的学生行为表情进行课堂表现评分，低于设定分值的课堂表现被定义成异常行为。进一步的实施例中，所述方法还包括：将一次课堂过程划分成若干个时间段ti，统计每个时间段中采集的所有图像中的学生行为表情的课堂表现的评分ai，i＝{1,2,…,n}，根据下述公式计算本次课堂的教学结果总评分S：其中，ωi是每个时间段评分在计算教学结果总评分时所占据的权重，进一步的实施例中，所述方法还包括：将所述结果统计模块的统计分析结果在课堂结束后发送至一指定客户端。本专利技术还提及一种课堂实时监测与评估系统的创建方法，所述课堂实时监测与评估系统的创建方法包括：S1：采集学生的行为和表情图像，叠加标准的人脸表情数据库以创建课堂学生行为表情数据库；S2：对课堂学生行为表情数据库中的数据进行深度网络训练，经多次循环以获取最佳的网络参数；S3：根据步骤S2中获取的网络参数以建立课堂实时监测与评估系统。以上本专利技术的技术方案，与现有相比，其显著的有益效果在于：1)建立课堂学生行为和表情数据库，为课堂效果评估提供依据。2)实时显示课堂学生的学习状况，通过捕捉学生的面部表情和行为举止，统计分析学生课堂表现，当出现异常行为时提醒教师。3)系统的FPGA设计与实现，系统采集的数据无需上传云端，最大限度地保护学生和教师的隐私。应当理解，前述构思以及在下面更加详细地描述的额外构思的所有组合只要在这样的构思不相互矛盾的情况下都可以被视为本公开的专利技术主题的一部分。另外，所要求保护的主题的所有组合都被视为本公开的专利技术主题的一部分。结合附图从下面的描述中可以更加全面地理解本专利技术教导的前述和其他方面、实施例和特征。本专利技术的其他附加方面例如示例性实施方式的特征和/或有益效果将在下面的描述中显见，或通过根据本专利技术教导的具体实施方式的实践中得知。附图说明附图不意在按比例绘制。在附图中，在各个图中示出的每个相同或近似相同的组成部分可以用相同的标号表示。为了清晰起见，在每个图中，并非每个组成部分均被标记。现在，将通过例子并参考附图来描述本专利技术的各个方面的实施例，其中：图1是本专利技术的课堂实时监测与评估系统的结构示意图。图2是本专利技术的YOLOV3_tiny网络结构的示意图。图3是本专利技术的目标检测网络的FPGA设计与实现的架构图。图4是本专利技术的课堂实时监测与评估系统的工作方法示意图。图5是本专利技术的课堂实时监测与评估系统的创建方法示意图。具体实施方式为了更了解本专利技术的
技术实现思路
，特举具体实施例并配合所附图式说明如下。在本公开中参照附图来描述本专利技术的各方面，附图中示出了许多说明的实施例。本公开的实施例不必定义在包括本专利技术的所有方面。应当理解，上面介绍的多种构思和实施例，以及下面更加详细地描述的那些构思和实施方式可以以很多方式中任意一种来实施，这是因为本专利技术所公开的构思和实施例并不限于任何实施方式。另外，本专利技术公开的一些方面可以单独使用，或者与本专利技术公开的其他方面的任何适当组合来使用。结合图1，本专利技术提出一种课堂实时监测与评估系统，所述课堂实时监测与评估系统为一FPGA系统，包括依次连接的视频采集模块10、数据调度模块20、图像分析模块30、结果统计模块40和一协调所有模块正常运行的处理器模块(图中未标识)。所述视频采集模块10用以实时采集教室内的视频图像，将采集的视频图像解析成若干帧后依次发送至数据调度模块20。结合图3，所述数据调度模块20包括至少一个第一存储器和一先入先出队列子模块，数据调度模块20将接收到的图像帧发送至第一存储器，经过先入先出队列依次进入图像分析模块30进行图像分析。优选的，所述第一存储器为同步动态随机存储器。所述图像分析模块30包括一基于YOLO网络的行为表情分析网络模型，该行为表情分析网络模型包括若干个流水设置的网络层、用以存储每个网络层输出结果的两个第二存储器、以及用以输出分析结果的YOLO输出层。优选的，所述第二存储器为静态随机存取存储器。此处的YOLO网络选用的是YOLOV3_tiny网络，对比常用的V1网络、V2网络，V3网络具有响应速度快、性能更优的特性，适合在课堂分析这种人群密集度较高、行为表情特征值较多的场合应用。结合图2，每个所述网络层包括对应设置本文档来自技高网...

【技术保护点】
1.一种课堂实时监测与评估系统，其特征在于，所述课堂实时监测与评估系统为一FPGA系统，包括依次连接的视频采集模块、数据调度模块、图像分析模块、结果统计模块；所述视频采集模块用以实时采集教室内的视频图像，将采集的视频图像解析成若干帧后依次发送至数据调度模块；所述数据调度模块包括至少一个第一存储器和一先入先出队列子模块，数据调度模块将接收到的图像帧发送至第一存储器，经过先入先出队列依次进入图像分析模块进行图像分析；所述图像分析模块包括一基于YOLO网络的行为表情分析网络模型，该行为表情分析网络模型包括若干个流水设置的网络层、用以存储每个网络层输出结果的两个第二存储器、以及用以输出分析结果的YOLO输出层；每个所述网络层包括对应设置的卷积层与池化层，卷积层和池化层的输出结果交替写入两个第二存储器中，以实现乒乓操作；所述行为表情分析网络模型隔层之间的启动切换由握手信号决定，即：由握手信号启动的卷积层和池化层交替地从两个第二存储器中读取数据，进行处理后发送至下一级网络层；所述YOLO输出层分别与最后一级网络层、结果统计模块连接，用以将输出结果传输至结果统计模块；所述结果统计模块接收图像分析模块发送的分析结果，对其中的异常行为进行统计分析。...

【技术特征摘要】
1.一种课堂实时监测与评估系统，其特征在于，所述课堂实时监测与评估系统为一FPGA系统，包括依次连接的视频采集模块、数据调度模块、图像分析模块、结果统计模块；所述视频采集模块用以实时采集教室内的视频图像，将采集的视频图像解析成若干帧后依次发送至数据调度模块；所述数据调度模块包括至少一个第一存储器和一先入先出队列子模块，数据调度模块将接收到的图像帧发送至第一存储器，经过先入先出队列依次进入图像分析模块进行图像分析；所述图像分析模块包括一基于YOLO网络的行为表情分析网络模型，该行为表情分析网络模型包括若干个流水设置的网络层、用以存储每个网络层输出结果的两个第二存储器、以及用以输出分析结果的YOLO输出层；每个所述网络层包括对应设置的卷积层与池化层，卷积层和池化层的输出结果交替写入两个第二存储器中，以实现乒乓操作；所述行为表情分析网络模型隔层之间的启动切换由握手信号决定，即：由握手信号启动的卷积层和池化层交替地从两个第二存储器中读取数据，进行处理后发送至下一级网络层；所述YOLO输出层分别与最后一级网络层、结果统计模块连接，用以将输出结果传输至结果统计模块；所述结果统计模块接收图像分析模块发送的分析结果，对其中的异常行为进行统计分析。2.根据权利要求1所述的课堂实时监测与评估系统，其特征在于，所述第一存储器为同步动态随机存储器；所述第二存储器为静态随机存取存储器。3.根据权利要求1所述的课堂实时监测与评估系统，其特征在于，所述池化层为最大池化层。4.根据权利要求1所述的课堂实时监测与评估系统，其特征在于，所述数据调度模块与图像分析模块之间设置有一图像调整模块，用以接收数据调度模块输出的图像，缩放后发送...

【专利技术属性】
技术研发人员：顾晓东，王仕昭，
申请(专利权)人：江苏君英天达人工智能研究院有限公司，
类型：发明
国别省市：江苏,32