一种学生学习行为分析干预方法、装置及系统制造方法及图纸

本发明专利技术公开了一种学生学习行为分析干预方法、装置及系统，该方法包括：接收课堂中实时的学生视频数据和环境数据，进行预处理，提取学生视觉特征和空气成分特征；将学生行为特征和空气成分特征合并为新的特征向量，利用人工神经网络分析和处理进行特征融合，得到实时的特征融合数据，并存储于历史数据库；通过神经元网络算法对历史数据库数据学习训练，进行空气状况与学生状态关联的数据分析，形成正常值模型；结合实时的特征融合数据计算当前空气状况与学生状态的期望值，并与实时的特征融合数据进行比较，判断实时数据为正常数据或异常数据，完成学生学习行为分析，并根据分析结果调整环境数据进行干预。

An Intervention Method, Device and System for Student Learning Behavior Analysis

The invention discloses an intervention method, device and system for student learning behavior analysis, which includes: receiving real-time student video data and environmental data in class, preprocessing, extracting students'visual characteristics and air component characteristics; merging students' behavior characteristics and air component characteristics into new feature vectors, and using artificial neural network to analyze and process features. Fusion, real-time feature fusion data are obtained and stored in the historical database; through the learning and training of the historical database data through the neural network algorithm, the data associated with the air condition and the student state are analyzed to form a normal value model; combining the real-time feature fusion data, the expected values of the current air condition and the student state are calculated, and the data are fused with the real-time feature. By comparing, the real-time data is judged to be positive or abnormal data, and the analysis of students'learning behavior is completed, and the environmental data is adjusted to intervene according to the analysis results.

【技术实现步骤摘要】
一种学生学习行为分析干预方法、装置及系统
本公开属于智能监控的
，涉及一种学生学习行为分析干预方法、装置及系统。
技术介绍
本部分的陈述仅仅是提供了与本公开相关的
技术介绍
信息，不必然构成在先技术。随着“互联网+智能终端”迅速崛起，全球都在风靡建设“智慧城市、智慧交通、智能家居”等，最终在城市、交通、电力、医疗、银行、矿山和供应链等方面提出“智慧地球”建设方案覆盖全行业、全领域，为此校园也在慢慢地追逐智能建设领域中。智能监控技术源于计算机技术、数字图像处理技术以及人工智能技术，它利用计算机视觉和视频分析的方法对视频序列行一系列分析，实现对动态场景中目标的检测、定位、识别和跟踪，并在此基础上分析和判断目标的行为，从而既能完成日常管理工作又能在异常情况发生时及时做出反应。基于现有智能视频分析的应用主要聚集在视频监控的异常检测、人流量统计等。其中运动目标检测、分割、识别与跟踪是智能视频分析研究领域当中比较常见的几个问题，至于行为理解和描述分析则是最近几年以来颇受关注的一个研究重点问题。对于课堂学生行为监控，是学校评价教学质量的重要环节，充分了解学生上课的行为反应，才能保证高质量教学水平本文档来自技高网...

【技术保护点】
1.一种学生学习行为分析方法，其特征在于，该方法包括：接收课堂中实时的学生视频数据和环境数据；所述环境数据包括温湿度数据和空气成分数据；对视频数据和环境数据进行预处理，提取学生视觉特征和空气成分特征；将学生视觉特征和空气成分特征合并为新的特征向量，利用人工神经网络分析和处理进行特征融合，得到实时的特征融合数据，并存储于历史数据库；通过神经元网络算法对历史数据库数据学习训练，进行空气状况与学生状态关联的数据分析，形成正常值模型；将正常值模型结合实时的特征融合数据计算当前空气状况与学生状态的期望值，并与实时的特征融合数据进行比较，判断实时数据为正常数据或异常数据，确定学生行为处于学习状态或非学习状...

【技术特征摘要】
1.一种学生学习行为分析方法，其特征在于，该方法包括：接收课堂中实时的学生视频数据和环境数据；所述环境数据包括温湿度数据和空气成分数据；对视频数据和环境数据进行预处理，提取学生视觉特征和空气成分特征；将学生视觉特征和空气成分特征合并为新的特征向量，利用人工神经网络分析和处理进行特征融合，得到实时的特征融合数据，并存储于历史数据库；通过神经元网络算法对历史数据库数据学习训练，进行空气状况与学生状态关联的数据分析，形成正常值模型；将正常值模型结合实时的特征融合数据计算当前空气状况与学生状态的期望值，并与实时的特征融合数据进行比较，判断实时数据为正常数据或异常数据，确定学生行为处于学习状态或非学习状态，完成学生学习行为分析。2.如权利要求1所述的一种学生学习行为分析方法，其特征在于，在该方法中，所述对视频数据进行预处理包括：对视频数据进行解码，对解码后的视频数据进行画面分割；对每个画面分割后的视频数据利用运动对象检测和跟踪技术提取学生视觉特征，所述学生视觉特征包括学生的面部特征和行为特征。3.如权利要求1所述的一种学生学习行为分析方法，其特征在于，该方法还包括，将相同时间段的学生视觉特征和空气成分特征合并为新的特征向量；在新的特征空间下利用GMM-HMM统计模型分析和处理进行特征融合。进一步地，在该方法中，将单视频数据提取的学生视觉特征和相同时间段的空气成分特征利用人工神经网络对特征向量进行特征融合计算，得到单视频多环境数据的特征融合数据，调整特征融合时的神经网络模型权向量。进一步地，在该方法中，当确定当前空气状况下的学生状态处于非学习状态的异常事件，将该异常事件下的视频数据和环境数据进行存储，并记录存储异常事件开始时间；对于实时视频录制，通过实时流传输协议RTSP将实时视频流录制成MP4格式文件，并将信息存储到关系型数据库中，同时转发给数据存储服务器的分布式文件系统HDFS，将录制的实时视频储和相应时段的空气数据存到数据存储服务器的分布式文件系统HDFS中，实现对于异常事件录制的实时视频和空气数据的永久存储；对于异常历史视频和相应时段空气数据的提取，通过读取存储在关系型数据库中的异常事件信息获取异常视频对应的时间和摄像头以及异常空气数据，从磁盘阵列中提取异常视频文件，转发给分布式文件系统HDFS，将视频储存到数据存储服务器HDFS中，实现从磁盘阵列提取的历史异常视频的永久存储；调取数据存储服务器中某段时间内的异常视频详细情况，回放课堂空气异常或者学生行为异常实时视频或者历史异常视频，在事件回放中，根据记录的事件开始时间直接定位到对应时间。4.一种计算机可读存储介质，其中存储有多条指令，其特征在于，所述指令适于由终端设备的处理器加载并执行如权利要求1-3中任一项所述的一种学生学习行为分析方法。5.一种终端设备，采用互联网终端设备，包括处理器和计算机可读存储介质，处理器用于实现各指令；计算机可读存储介质用于存储多条指令，其特征在于，所述指令适于由处理器加载并执行如权利要求1-3中任一项所述的一种学生学习行为分析方法。6.一种学生学习行为分析干预方法，其特征在于，该方法包括：接收课堂中实时的学生视频数据和环境数据；所述环境数据包括温湿度数据和空气成分数据；对视频数据和环境数据进行预处理，提取学生视觉特征和空气成分特征；将学生行为特征和空气成分特征合并为新的特征向量，利用人工神经网络分析和处理进行特征融合，得到实时的特征融合数据，并存储于历史数据库；通过神经元网络算法对历史数据库数据学习训练，进行空气状况与学生状态关联的数据分析，形成正常值模型；将正常值模型结合实时的特征融合数据计算当前空气状...

【专利技术属性】
技术研发人员：刘士军，杨震，刘英杰，徐奎，魏蕊蕊，郭芳芳，潘丽，武蕾，杨承磊，
申请(专利权)人：山东大学，
类型：发明
国别省市：山东,37