一种课堂行为识别方法及设备技术

本发明专利技术属于课堂行为识别技术领域，尤其涉及一种课堂行为识别方法及设备。该方法包括以下步骤：针对不同的课堂行为进行编码形成编码表；对课堂行为进行采集，根据编码表对课堂行为进行标注，形成多模态训练数据，并对训练数据进行特征提取和特征拆分；对提取和拆分的特征进行优化和压缩，基于深度学习技术，利用多模态训练数据训练得出课堂教学行为识别模型；利用识别模型对课堂教学行为自动识别和数据化，给出神经网络的多层识别结果，并使用集成优化算法进行集成，实现课堂教学行为数据的采集；通过大量课例的数据采集，得到课堂教学行为及互动常模体系，并构建系统自动对比常模，生成监测结果。该方法能够对教学数据进行高效准确的采集和监测。

A method and equipment of classroom behavior recognition

【技术实现步骤摘要】
一种课堂行为识别方法及设备
本专利技术属于课堂行为识别
，尤其涉及一种课堂行为识别方法及设备。
技术介绍
课堂行为智能识别，是实现课堂大数据采集和监测的基础性技术，其价值体现在教学测评、师资培养、学生个性化辅导等多个方面。一方面可记录教师真实的教学情况，并据此作为评教和自评的客观依据，以提升教师的教学能力；一方面能记录学生千差万别的个性、能力、学习习惯，对其进行人群画像，尽可能实现个性化的辅导，并对其成长状况进行长期监测。目前国内进行课堂行为智能识别的技术，主要有基于“视频”和基于“音频”两种。当前涉及课堂教学行为识别的研究绝大多数基于视频，其中绝大多数又集中在“人体行为识别”方面，少数集中在“表情识别”方面。也有极个别单纯基于语音识别技术，在实验室环境下使用音频转文本的方式进行教学行为识别。如基于课堂言语互动分析系统(FIAS)、基于信息技术的互动分析编码系统(ITIAS)、言语互动分类系统(VICS)、学生教师分析(S-T)的课堂行为识别系统，前人研究存在以下明显问题：第一，绝大部分研究集中于人体行为识别(肢体动作)，忽视了课堂教学行为互动的核心是言语互动，难以实现较好的识别效果；第二，单独使用图像识别或语音识别技术，能识别的行为种类都很有限，不能满足复杂的课堂教学行为识别要求；第三，教学环境比实验室环境更加复杂，特别是教学环境中的语音识别面临远场识别准确率低的巨大挑战，难以转换为有效文本。
技术实现思路
(一)要解决的技术问题针对现有存在的技术问题，本专利技术提供一种课堂行为识别方法及设备。(二)技术方案为了达到上述目的，本专利技术采用的主要技术方案包括：一种课堂行为识别方法，其包括以下步骤：针对不同的课堂行为进行编码形成编码表；对课堂行为进行采集，根据编码表对课堂行为进行标注，形成模态训练数据，并对训练数据进行特征提取和特征拆分；对提取和拆分的特征进行优化和压缩，基于深度学习技术，利用多模态训练数据训练得出课堂教学行为识别模型；利用识别模型对课堂教学行为自动识别和数据化，给出神经网络的多层识别结果，并使用集成优化算法进行集成，实现课堂教学行为数据的采集；通过大量课例的数据采集，得到课堂教学行为及互动常模体系，并构建系统自动对比常模生成监测结果。优选的，课堂行为包括言语、动作、表情的互动。优选的，针对语言的编码方法包括依据语音识别的结果，运用话语标记技术，说话人的言语互动行为会被详细划分为多种，并且每种言语互动行为均具有对应的标签。优选的，语言互动行为包括教师行为和学生行为；教师语言行为包括鼓励表扬、提问、讲授、指令、领读和批评；学生语言行为包括应答、讨论和跟读。优选的，言语互动行为标签包括针对不同言语互动行为常用的关键字和/或词语。优选的，动作行为包括会从教师行走、教师站立、教师书写、教师做出指示手势、学生低头、学生抬头、学生站立、学生举手和学生书写。优选的，表情行为包括教师说话、教师微笑、学生说话和学生微笑。优选的，进行相关度优化和压缩的具体步骤；使用TensorFlow框架做深度学习的系统性训练、算法选择及参数调整的具体步骤。优选的，采用摄像头进行课堂行为的识别。一种计算机设备，其特征在于，包括存储器和处理器，存储器内存储有计算机程序，处理器执行计算机程序实现如以上所述的方法步骤。(三)有益效果本专利技术的有益效果是：本专利技术提供的课堂行为识别方法，课堂教学行为体现为师生、生生互动的行为，师生在互动中达成教学目标。互动的形式又是多种多样的，包括了言语互动、肢体互动、表情互动等，其中所有互动的核心，应当是言语互动。在教学过程中，言语互动是核心，表情、肢体动作等互动是辅助。把握住了这个关键，才能真正准确、高效地实现课堂教学行为大数据的采集和监测。因此，本申请是以课堂言语互动行为的识别(语音识别)为核心，以表情、动作识别(图像识别)为辅助的课堂教学行为自动识别及监测方法。在使用语音识别技术采集言语互动行为大数据的过程中，以往的技术存在远场语音识别准确度不高的问题，本申请通过运用话语标记，编写识别规则体系，提高系统识别容错率的途径解决。将对训练数据进行特征提取与特征拆分，并对提取的特征进行相关度优化和SVD压缩，使得拆分后的数据在识别方面具有更好的表现力、解释力、鲁棒性。附图说明图1为本专利技术具体实施方式提供的课堂行为识别方法的流程示意图。具体实施方式为了更好的解释本专利技术，以便于理解，下面结合附图，通过具体实施方式，对本专利技术作详细描述。如图1所示，本专利技术公开了一种课堂行为识别方法，其包括以下步骤：针对不同的课堂行为进行编码形成编码表。课堂行为包括语言、动作、表情的互动。针对语言的编码方法包括依据语音识别的结果，运用话语标记技术，说话人的言语互动行为会被详细划分为多种，并且每种言语互动行为均具有对应的标签。语言互动行为包括教师语言行为和学生语言行为。教师语言行为包括鼓励表扬、提问、讲授、指令、领读和批评。学生语言行为包括应答、讨论和跟读。言语互动行为标签包括针对不同言语互动行为常用的关键字和/或词语。如教师的表扬行为对应的关键词为好、棒、漂亮等表扬性的关键词或词语，当教师使用该类词语时判定教师在表扬学生。具体的，本申请中根据此规则设置的语言互动行为标码表如以下所示：在以上编码表中，编码2中(andnot[指令or提问or鼓励]inData(n-1))：包含上述关键词，且，上一个片段不是“指令、提问、鼓励”。编码4中(“*/nr”intheend)：依托分词且标注词性的结果(需要研究分词API，可以后实现)最后一个词是表示人名的词，“nr”是自动分词软件自动标注的表示人名的词性代码。编码6中(([指令or提问or鼓励]inData(n-1))andnot[跟读])：上一个片段是“指令、提问、鼓励”。编码8中(3samewordsinData(n)andData(n+1))：当前片段和下一个片段有3个词以上的重合。编码9中(3samewordsinData(n)andData(n-1))：当前片段和上一个片段有3个词以上的重合。动作行为包括教师动作行为和学生动作行为；教师动作行为包括教师行走、教师站立、教师书写、教师做出指示手势。学生动作行为包括学生低头、学生抬头、学生站立、学生举手和学生书写。针对动作行为同样会设置编码表，在制作动作行为编码表时，针对不同的动作行为设置对应的标签。如老师行为对应的标签包括手臂摆动或脚步移动。表情行为包括教师表情行为和学生表情行为其中教师表情行为包括表情行为包教师说话和教师微笑；学生表情行为包括学生说话和学生微笑。针对动作行为同样会设置编码表，在制作本文档来自技高网...

【技术保护点】
1.一种课堂行为识别方法，其特征在于：包括以下步骤：/n针对不同的课堂行为进行编码形成编码表；/n对课堂行为进行采集，根据编码表对课堂行为进行标注，形成多模态训练数据，并对训练数据进行特征提取和特征拆分；/n对提取和拆分的特征进行优化和压缩，基于深度学习技术，利用多模态训练数据训练得出课堂教学行为识别模型；/n利用识别模型对课堂教学行为自动识别和数据化，给出神经网络的多层识别结果，并使用集成优化算法进行集成，实现课堂教学行为数据的采集；/n通过大量课例的数据采集，得到课堂教学行为及互动常模体系，并构建系统自动对比常模生成监测结果。/n

【技术特征摘要】
1.一种课堂行为识别方法，其特征在于：包括以下步骤：
针对不同的课堂行为进行编码形成编码表；
对课堂行为进行采集，根据编码表对课堂行为进行标注，形成多模态训练数据，并对训练数据进行特征提取和特征拆分；
对提取和拆分的特征进行优化和压缩，基于深度学习技术，利用多模态训练数据训练得出课堂教学行为识别模型；
利用识别模型对课堂教学行为自动识别和数据化，给出神经网络的多层识别结果，并使用集成优化算法进行集成，实现课堂教学行为数据的采集；
通过大量课例的数据采集，得到课堂教学行为及互动常模体系，并构建系统自动对比常模生成监测结果。


2.根据权利要求1所述的课堂行为识别方法，其特征在于，课堂行为包括语言、动作、表情的互动。


3.根据权利要求2所述的课堂行为识别方法，其特征在于，针对语言的编码方法包括依据语音识别的结果，运用话语标记技术，说话人的言语互动行为会被详细划分为多种，并且每种言语互动行为均具有对应的标签。


4.根据权利要求3中所述的课堂行为识别方法，其特征在于，语言互动行为包括教师行为和学生行为；
教师语言行为包...

【专利技术属性】
技术研发人员：宋飞，
申请(专利权)人：宋飞，
类型：发明
国别省市：北京;11