【技术实现步骤摘要】
一种基于行为和语音智能识别的实时课堂学生状态分析与指示提醒系统和方法
本专利技术涉及一种基于行为和语音智能识别的实时课堂学生状态分析与指示提醒系统和方法，属于人工智能和教学新技术应用
技术介绍
目前，现有的学生课堂学习质量评价系统多通过统计分析学生上课的某些参数来进行学生的学习质量评价，但该评价方法基本都是单一的基于学生的行为或表情，没有综合考虑课堂的各种其他因素，也不能进行实时的反馈和调整，对课堂教学的评价不够全面。如何利用信息技术手段来实现学生课堂状态的实时指示与分析，已经成为当前提升课堂教学质量的迫切需求。在教育信息化的背景下，基于教室监控系统和各种人工智能开展课堂教学实时监测，并在此技术上实现教师纠正和学生改正的目标是实现课堂教学质量提升的有效手段，其将被广泛地应用于教育改革和教学实践中。
技术实现思路
针对当前在校学生课堂学习中普遍存在的听讲不认真等问题，本专利技术提供了一种基于行为和语音智能识别的实时课堂学生状态分析与指示提醒系统；本专利技术还提供了一种基于行...
【技术保护点】
1.一种基于行为和语音智能识别的实时课堂学生状态分析与指示提醒系统，其特征在于，包括多模态信息感知与采集模块、多模态数据智能识别模块、课堂上下文知识库模块、多模态数据分析模块、学生课堂状态报告输出模块、学生课堂状态判断模块、学生课堂状态指示模块和学生课堂状态调整模块；/n所述多模态信息感知与采集模块、多模态数据智能识别模块、课堂上下文知识库模块、多模态数据分析模块、学生课堂状态报告输出模块依次连接；所述多模态数据智能识别模块、学生课堂状态判断模块、学生课堂状态指示模块和学生课堂状态调整模块依次相连；所述学生课堂状态报告输出模块、课堂上下文知识库模块、学生课堂状态判断模块依次...
【技术特征摘要】
1.一种基于行为和语音智能识别的实时课堂学生状态分析与指示提醒系统，其特征在于，包括多模态信息感知与采集模块、多模态数据智能识别模块、课堂上下文知识库模块、多模态数据分析模块、学生课堂状态报告输出模块、学生课堂状态判断模块、学生课堂状态指示模块和学生课堂状态调整模块；
所述多模态信息感知与采集模块、多模态数据智能识别模块、课堂上下文知识库模块、多模态数据分析模块、学生课堂状态报告输出模块依次连接；所述多模态数据智能识别模块、学生课堂状态判断模块、学生课堂状态指示模块和学生课堂状态调整模块依次相连；所述学生课堂状态报告输出模块、课堂上下文知识库模块、学生课堂状态判断模块依次相连；
所述多模态信息感知与采集模块用于对教学过程中学生原始图像和语音数据的感知和采集，并将采集到的学生原始图像和语音数据发送至所述多模态数据智能识别模块；所述学生原始图像是指学生以及课堂环境的图像，所述语音数据是指课堂教学时师生互动时产生的语音数据；
所述多模态数据智能识别模块用于将采集到的学生原始图像和语音数据进行分类识别；
所述学生课堂状态判断模块用于从学生行为方面判断学生的课堂状态，即通过学生课堂行为的智能识别来判断学生处于何种学习状态；
所述学生课堂状态指示模块用于基于已判定的学生课堂状态实现学生课堂状态的指示；
所述学生课堂状态调整模块用于让教师根据学生状态的指示，进行干预调整；
所述课堂上下文知识库模块为所述多模态数据智能识别模块提供特征参数及具体识别算法的指导，同时为所述多模态数据分析模块和所述学生课堂状态指示模块提供历史课堂上下文及各种既定指标要求；另一方面，所述多模态数据智能识别模块、多模态数据分析模块和学生课堂状态指示模块将系统运行过程中产生的各类课堂上下文信息存储到所述课堂上下文知识库模块以作为历史课堂上下文为系统提供参考；所述学生课堂状态报告输出模块将分析结果形成输出报告反馈到所述课堂上下文知识库模块以实时调整系统状态，实现系统的自适应性；
所述多模态数据分析模块用于分析和评价学生参与课堂学习的情况；学生参与课堂学习的情况包括学生个体有效学习行为指数、课堂学生平均有效学习行为指数、课堂瞬时学生学习行为效率指数、师生语音互动时间、课堂师生语音互动总时间和课堂师生语音互动效率，最终通过大数据处理反映学生课堂的学习效果，分析得到科学的课堂质量指标数据；所述学生课堂数据分析模块还通过记录学生课堂中不同行为和与师生语言互动的次数和时间，包括具体的互动人数和互动学生名字，为教师讲评学生课堂表现提供数据；
所述学生课堂状态报告输出模块用于在多模态数据分析模块分析数据的基础上进行具体阐述并输出报告。
2.根据权利要求1所述的一种基于行为和语音智能识别的实时课堂学生状态分析与指示提醒系统，其特征在于，所述多模态信息感知与采集模块包括图像感知采集单元和语音感知采集单元，所述图像感知采集单元和语音感知采集单元同步感知并采集原始数据；
所述图像感知采集单元利用教室摄像监控系统感知采集学生原始图像；所述语音感知采集单元利用录音设备感知采集课堂教学的语音数据。
3.根据权利要求1所述的一种基于行为和语音智能识别的实时课堂学生状态分析与指示提醒系统，其特征在于，所述多模态数据智能识别模块包括学生实时定位单元、学生实时行为分类识别单元和师生实时语音互动分类识别单元；
所述学生实时定位单元用于确定教室中每名学生的座位位置，所述学生实时定位单元在课堂开始后即启动运行；在教室摄像设备基础上，采用基于大数据的人脸识别技术，在学生进入课堂时，采集学生的实时人脸图像，从人脸图像中提取特征值，分析学生的人脸图像数据，将识别结果结合所述课堂上下文知识库模块，从而确定课堂学生的位置和基本信息，基本信息包括学生姓名、学号、专业、班级、课程名称；
所述学生实时行为分类识别单元用于对学生课堂行为进行实时的分类识别，即在前期数据采集的基础上，利用数字图像处理技术和计算机视觉算法对采集的数据进行处理，完成对学生行为的智能分类识别，区分多种学习行为和多种非学习行为；所述学生行为分类识别单元还记录学生各种行为的持续时间，并上传至课堂上下文知识库模块存储后进行后续分析；
所述师生实时语音互动分类识别单元用于实时识别并记录课堂师生语音互动，该师生语音互动分类识别单元的录音设备安置在教室内，在上课后即启动运行，直接将采集到的语音数据上传至所述课堂上下文知识库模块中语音知识库单元中存储，利用语义识别技术自动识别教师和学生语音互动信号，并统计识别到的师生语音互动的时间点和时间段，此类型语义识别区分多种学习性语音互动和非学习性语音互动。
4.根据权利要求1所述的一种基于行为和语音智能识别的实时课堂学生状态分析与指示提醒系统，其特征在于，所述学生课堂状态判断模块包括全学习状态单元、间歇性学习状态单元和非学习状态单元；
所述全学习状态单元通过数据采集和分类识别判定某学生的课堂行为在规定更新的时间内是学习行为，则判定为学习状态；
所述间歇性学习状态单元通过数据采集的和分类识别判定某学生的课堂行为在规定更新的时间内既有学习行为也有非学习行为，则判定为间歇性学习状态；
所述非学习状态单元通过数据采集的和分类识别判定某学生的课堂行为在规定更新的时间内是非学习行为，则判定为非学习状态。
5.根据权利要求1所述的一种基于行为和语音智能识别的实时课堂学生状态分析与指示提醒系统，其特征在于，所述学生课堂状态指示模块包括教师端指示单元和学生端指示单元；
所述教师端指示单元将学生的位置和定义的三种学生课堂状态通过讲桌上单独的可触控LCD显示器或教室多媒体电脑/大屏、教师手机和相关的软件直观地向教师进行指示，教师根据显示结果及时做出触控点名式的干预；
所述学生端指示单元安装于学生的课桌上，包括控制器、译码器、信号接收器和LCD显示屏，当判定学生为某一课堂状态时，给所述学生端指示单元中控制器一个脉冲信号，该脉冲信号用于控制LCD显示屏的状态显示。
6.根据权利要求1所述的一种基于行为和语音智能识别的实时课堂学生状态分析与指示提醒系统，其特征在于，所述学生课堂状态调整模块包括手动调整单元和自动调整单元；
所述手动调整单元是通过教师讲桌上的LCD触控式液晶指示器显示的学生姓名及状态，对处于非学习状态的学生，由教师对相应的学生通过触控屏的点名督促学生调整学习状态；
所述自动调整单元是通过学生课桌上安装同步显示状态的LCD显示屏，自行调整课堂状态。
7.根据权利要求1所述的一种基于行为和语音智能识别的实时课堂学生状态分析与指示提醒系统，其特征在于，所述课堂上下文知识库模块包括行为知识库单元、语音知识库单元、学生基本信息知识库单元、状态分析知识库单元；
所述行为知识库单元用于存储行为的数量和种类，并存储所述学生实时行为分类识别单元得到的学生的学习行为和多种非学习行为以及学生各种行为的持续时间；
所述语音知识库单元用于存储采集到的语音数据，以及所述师生实时互动语音分类识别单元得到的多种学习性语音互动和非学习性语音互动，以及师生语音互动交流的时间点和时间段；
所述学生基本信息知识库单元用于存储学生的姓名、学号、班级、课程名称；
所述状态分析知识库单元用于存储学生行为分类识别的数据并进行状态判断和存储。
8.根据权利要求1-7任一所述的一种基于行为和语音智能识别的实时课堂学生状态分析与指示提醒系统，其特征在于，所述多模态数据分析模块包括学生行为分析单元和师生语音互动分析单元；
所述学生行为分析单元用于对学生课堂行为进行分析，通过统计每个学生在课堂教学过程中的各种学习行为和非学习行为及其持续的时间，分析不同行为在课堂学习过程中的不同时间占比，从行为方面展现课堂中每个学生和所有学生整体的学习情况，包括学生个体有效学习行为指数、课堂学生平均有效学习行为指数和课堂瞬时学生学习行为效率指数三个指标；
学生个体有效学习行为指数的计算公式定义为：
式(1)中，Isi表示第i个...
【专利技术属性】
技术研发人员：许宏吉，赵文杰，李梦荷，樊士迪，冯金库，李恬阔，王珏，
申请(专利权)人：山东大学，
类型：发明
国别省市：山东;37
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。