【技术实现步骤摘要】
本申请涉及智能分析领域，且更为具体地，涉及一种基于大数据的教学数据分析系统及其方法。
技术介绍
1、大数据是指规模巨大、复杂度高且难以用传统数据处理工具进行捕捉、管理和处理的数据集合。
2、教师上课的一言一行不仅仅关系到学生的学习效果，还可能潜移默化地影响学生的心理健康、行为习惯、道德品质等。但由于传统技术无法实时了解教师在上课过程中是否有不恰当的言行，教师的言行可能在瞬间产生重要影响，但这些细微的变化很难被人工观察和评估捕捉到。
3、因此，期待一种优化的基于大数据的教学数据分析方案。
技术实现思路
1、为了解决上述技术问题，提出了本申请。本申请的实施例提供了一种基于大数据的教学数据分析系统及其方法，其采用基于深度神经网络模型的人工智能技术，获取预定时间段的教师上课的语音信号和教师上课行为的监控视频，将语音信号进行傅里叶变换后通过包含第一卷积层和第二卷积层的特征提取器捕捉到频域特征的局部模式和结构，将监控视频分别通过时间注意力机制和空间注意力卷积网络强调视频中最具有信息量的时间段和提取教师上课行为的关键空间特征，融合后以得到用于表示教师上课是否有不恰当的言行的分类结果。这样可以对教师的语音信号和上课行为进行特征提取和分类，以判断教师上课是否存在不恰当的言行，帮助监测和评估教师的教学表现。
2、根据本申请的一个方面，提供了一种基于大数据的教学数据分析系统，其包括：
3、视频信号获取模块，用于获取预定时间段的教师上课的语音信号和教师上课行
4、傅里叶变换模块，用于对所述教师上课的语音信号进行傅里叶变换以得到多个频域特征值；
5、语音特征提取模块，用于将所述多个频域特征值排列为频域特征向量后通过包含第一卷积层和第二卷积层的特征提取器以得到教师语音频域特征向量；
6、行为时间特征提取模块，用于将所述预定时间段的教师上课行为的监控视频通过时间注意力机制以得到教师上课行为特征图；
7、行为空间增强模块，用于将所述教师上课行为特征图通过空间注意力卷积神经网络模型以得到教师上课行为特征向量；
8、特征工程匹配模块，用于对所述教师语音频域特征向量和所述教师上课行为特征向量进行基于先验的特征工程匹配以得到分类特征向量；
9、言行判断模块，用于将所述分类特征向量通过分类器以得到分类结果，所述分类结果用于表示教师上课是否有不恰当的言行。
10、在上述基于大数据的教学数据分析系统中，所述语音特征提取模块，包括：第一尺度提取单元，用于将所述频域特征向量输入所述包含第一卷积层和第二卷积层的特征提取器的第一卷积层以得到第一尺度语音频域特征向量，其中，所述第一卷积层具有第一长度的第一一维卷积核；第二尺度提取单元，用于将所述频域特征向量输入所述包含第一卷积层和第二卷积层的特征提取器的第二卷积层以得到第二尺度语音频域特征向量，其中，所述第二卷积层具有第二长度的第二一维卷积核，所述第一长度不同于所述第二长度；以及，融合单元，用于使用所述包含第一卷积层和第二卷积层的特征提取器的级联层将所述第一尺度语音频域特征向量和所述第二尺度语音频域特征向量进行级联以得到所述教师语音频域特征向量。
11、在上述基于大数据的教学数据分析系统中，所述行为时间特征提取模块，包括：关键帧提取单元，用于以预定采样频率从所述教师上课行为的监控视频中提取出多个教师上课行为关键帧；以及，时间注意力编码单元，用于将所述多个教师上课行为关键帧通过所述使用时间注意力机制的卷积神经网络模型以得到所述教师上课行为特征图。
12、在上述基于大数据的教学数据分析系统中，所述时间注意力编码单元，包括:相邻帧提取子单元，用于从所述多多个教师上课行为关键帧中提取相邻的第一教师上课行为关键帧和第二教师上课行为关键帧；第一卷积编码单元，用于将所述第一教师上课行为关键帧所述第二教师上课行为关键帧分别通过所述卷积神经网络模型的第一卷积层和第二卷积层以得到第一卷积特征图和第二卷积特征图；时间注意力单元，用于计算所述第一卷积特征图和所述第二卷积特征图之间的按位置点乘以得到时间注意力图；注意力激活单元，用于将所述时间注意力图输入softmax激活函数以得到时间注意力特征图；第二卷积编码单元，用于将所述第二教师上课行为关键帧通过所述卷积神经网络模型的第三卷积层以得到第三卷积特征图；以及，注意力施加单元，用于计算所述第三卷积特征图和所述时间注意力特征图之间的按位置点乘以得到对应于所述第二教师上课行为关键帧的时间注意力特征图。
13、在上述基于大数据的教学数据分析系统中，所述行为空间增强模块，包括：深度卷积编码单元，用于使用所述空间注意力机制模块的卷积编码部分对所述教师上课行为特征图进行深度卷积编码以得到检测卷积特征图；空间注意力单元，用于将所述检测卷积特征图输入所述空间注意力机制模块的空间注意力部分以得到空间注意力图；激活单元，用于将所述空间注意力图通过softmax激活函数以得到空间注意力特征图；计算单元，用于计算所述空间注意力特征图和所述检测卷积特征图的按位置点乘以得到融合特征图；以及，池化单元，用于对所述融合特征图进行沿通道维度的各个特征矩阵的池化处理以得到教师上课行为特征向量。
14、在上述基于大数据的教学数据分析系统中，所述言行判断模块，包括：全连接编码单元，用于使用所述分类器的全连接层对所述分类特征向量进行全连接编码以得到编码分类特征向量；以及，分类结果单元，用于将所述编码分类特征向量通过所述分类器的softmax分类函数以得到所述分类结果。
15、根据本申请的另一方面，提供了一种基于大数据的教学数据分析方法，其包括：
16、获取预定时间段的教师上课的语音信号和教师上课行为的监控视频；
17、对所述教师上课的语音信号进行傅里叶变换以得到多个频域特征值；
18、将所述多个频域特征值排列为频域特征向量后通过包含第一卷积层和第二卷积层的特征提取器以得到教师语音频域特征向量；
19、将所述预定时间段的教师上课行为的监控视频通过时间注意力机制以得到教师上课行为特征图；
20、将所述教师上课行为特征图通过空间注意力卷积神经网络模型以得到教师上课行为特征向量；
21、对所述教师语音频域特征向量和所述教师上课行为特征向量进行基于先验的特征工程匹配以得到分类特征向量；
22、将所述分类特征向量通过分类器以得到分类结果，所述分类结果用于表示教师上课是否有不恰当的言行。
23、与现有技术相比，本申请提供的一种基于大数据的教学数据分析系统及其方法，其采用基于深度神经网络模型的人工智能技术，获取预定时间段的教师上课的语音信号和教师上课行为的监控视频，将语音信号进行傅里叶变换后通过包含第一卷积层和第二卷积层的特征提取器捕捉到频域特征的局部模式和结构，将监控视频分别通过时间注意力机制和空间注意力卷积网络强调视频中最具有信息量的时间段和提取教本文档来自技高网...
【技术保护点】
1.一种基于大数据的教学数据分析系统，其特征在于，包括：
2.根据权利要求1所述的基于大数据的教学数据分析系统，其特征在于，所述语音特征提取模块，包括：
3.根据权利要求2所述的基于大数据的教学数据分析系统，其特征在于，所述行为时间特征提取模块，包括：
4.根据权利要求3所述的基于大数据的教学数据分析系统，其特征在于，所述时间注意力编码单元，包括:
5.根据权利要求4所述的基于大数据的教学数据分析系统，其特征在于，所述行为空间增强模块，包括：
6.根据权利要求5所述的基于大数据的教学数据分析系统，其特征在于，所述特征工程匹配模块，用于：
7.根据权利要求6所述的基于大数据的教学数据分析系统，其特征在于，所述言行判断模块，包括：
8.一种基于大数据的教学数据分析方法，其特征在于，包括：
9.根据权利要求8所述的基于大数据的教学数据分析方法，其特征在于，将所述多个频域特征值排列为频域特征向量后通过包含第一卷积层和第二卷积层的特征提取器以得到教师语音频域特征向量，包括：
10.根
...【技术特征摘要】
1.一种基于大数据的教学数据分析系统，其特征在于，包括：
2.根据权利要求1所述的基于大数据的教学数据分析系统，其特征在于，所述语音特征提取模块，包括：
3.根据权利要求2所述的基于大数据的教学数据分析系统，其特征在于，所述行为时间特征提取模块，包括：
4.根据权利要求3所述的基于大数据的教学数据分析系统，其特征在于，所述时间注意力编码单元，包括:
5.根据权利要求4所述的基于大数据的教学数据分析系统，其特征在于，所述行为空间增强模块，包括：
6.根据权利要求5所述的基于大数据的教学数据分析系统，其特征在于...
【专利技术属性】
技术研发人员：吴仲毓，徐旭峰，杨莉莉，
申请(专利权)人：杭州睿数科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。