【技术实现步骤摘要】
本专利技术涉及模式识别和图像处理，尤其涉及一种在线课堂学习参与度监测方法及系统。
技术介绍
1、当前主流的直播式在线教学的本质源于视频会议，但是其对于学生参与度的监管方式则相当于视频监控的一种应用拓展。理论上，视频会议的主体双方都有各自的任务，演讲者侧重于发言，参与者侧重于聆听；而在视频监控中，主体任务则偏重于监视者这边，被监视者相对没有任务要求。但是，对于在线教学的教师，教师讲授课程的同时很难像传统线下课堂一样通过视觉直观地兼顾大规模学生的听课状况，所以，有必要提供能够替代人眼监测的辅助技术手段。
2、事实上，现有的在线课堂下学习参与度监测研究通常是直接对网络摄像头采集到的视频集进行处理工作，而在线课堂大多是在家庭或是宿舍等私密场景下进行的，虽然学生们可以设置虚拟背景使现实背景不被其他人所看见，但这仍然是直接对人脸面部外观进行采样，个人数据依然会被第三方所获悉，学生们越来越担心个人数据可能被恶意第三方滥用或者窃取。特别是，面部视频中敏感的视觉信息以及看不见的生理信号都存在着私人信息泄露的潜在风险。然而，初步形成的多层压缩感知是一种较为稳定的编码过程，其特点也是不足之处主要体现在两个方面：一方面，mcs态视频图像尺寸由于下采样成倍的往下减小而不能做到精细化调节，不利于私密场景下智能应用的微小差异调整；另一方面，由于mcs图像丢失了一定的细节信息和局部特征，这在一定程度上也限制了后续智能应用的性能提升。
技术实现思路
1、本部分的目的在于概述本专利技术的实施例的一些方面以
2、鉴于上述现有存在的问题，提出了本专利技术。
3、因此，本专利技术提供了一种在线课堂学习参与度监测方法及系统，能够解决
技术介绍
中提到的问题。
4、为解决上述技术问题，本专利技术提供如下技术方案，一种在线课堂学习参与度监测方法，包括：
5、获取在线课堂学习场景监控视频数据集，利用复眼与多层压缩感知结合的编码技术对所述视频数据集进行处理；
6、对处理后的视频数据集进行视觉隐私保护度评价；
7、获取满足视觉隐私保护度评价指标的视频数据集，并对满足视觉隐私保护度评价指标的视频数据集进行在线课堂学习参与度监测分类，并计算在线课堂学习参与度监测准确率。
8、作为本专利技术所述的在线课堂学习参与度监测方法的一种优选方案，其中：所述利用复眼与多层压缩感知结合的编码技术对所述视频数据集进行处理包括，
9、记蜜蜂的单个复眼是一个球，所有小眼分布在半球面上，把单个复眼分为四个区域，通过以下三个二次方程实现了每个区域小眼的空间位置变化模型：
10、
11、
12、
13、其中，为垂直方向小眼间夹角，表示垂直方向小眼间夹角变化；为水平方向小眼间夹角，表示水平方向小眼间夹角变化；为复眼靠近中轴位置首个水平方向小眼间夹角，表示垂直方向首个小眼水平间夹角变化，a1、a2、a3、b1、b2、b3、c1、c2、c3为二次方程系数。
14、作为本专利技术所述的在线课堂学习参与度监测方法的一种优选方案，其中：所述利用复眼与多层压缩感知结合的编码技术对所述视频数据集进行处理还包括，
15、编码方式如下：
16、
17、采样率如下：
18、
19、其中，x为原始图像，分辨率为m×m；i和j分别是图像像素的横纵坐标索引，θ为生成的复眼视觉空间分辨率采样矩阵，大小为m×m；φ′为修正非负高斯随机观测矩阵，大小为m×m；表示矩阵的点乘运算；y为复眼压缩感知编码后的图像，分辨率为m×m。
20、作为本专利技术所述的在线课堂学习参与度监测方法的一种优选方案，其中：所述对处理后的视频数据集进行视觉隐私保护度评价包括，对所述处理后的视频数据集提取视觉显著性结构纹理特征，并将提取到的特征使用svr模型映射得到复眼视隐态视频集的视觉隐私保护度分数；
21、将复眼视隐态图像中15x15尺寸的图像块作为输入，并且把其中心部分7x7尺寸的图像块作为相应的目标进行深度c-s推理网络的训练；
22、将所述15x15尺寸的图像块输入该网络对中心图像块进行预测；
23、将所述中心图像块的预测值与真实值之间的残差作为该中心图像块的显著性，计算模型如下：
24、aers(x)＝‖f(s(x))-c(x)‖2
25、其中，x表示图像的某一像素，s(x)和c(x)分别为像素x处的d×d大小的环绕图像块和d×d大小的中心图像块，f(·)表示深度c-s推理网络，aers(x)为像素x处的显著性的估计结果。
26、作为本专利技术所述的在线课堂学习参与度监测方法的一种优选方案，其中：所述对处理后的视频数据集进行视觉隐私保护度评价还包括，
27、利用gcs-lbp算子计算图像结构纹理特征：
28、
29、其中，是图像i的对比归一化后的结果，和分别是包含n个像素点、半径为r的gcs-lbp窗口中关于中心像素点对称的两个像素点，是阈值为t的赋值函数：
30、
31、其中，t为阈值，取值范围为[0,1]。
32、作为本专利技术所述的在线课堂学习参与度监测方法的一种优选方案，其中：所述对处理后的视频数据集进行视觉隐私保护度评价还包括，对所述处理后的视频数据集，提取rppg信号，并将提取到的rppg信号测量目标生理参数；
33、记复眼视隐态下视频帧中的目标人脸捕获rgb图像序列i(x,y,t)，其中x和y是图像的高和宽，t是视频帧数；
34、使用皮肤检测算法对所述rgb图像序列进行预处理；
35、对预处理结果进行roi提取，提取公式如下：
36、roi(t)＝s⊙i(t)
37、其中，s是二进制皮肤掩码，⊙是元素级乘法，roi(t)是时间点t时的感兴趣区域，其定义为皮肤掩码s(x,y,t)与原始rgb图像序列i(x,y,t)的元素级乘法，当皮肤掩码s中被皮肤检测算法标记为皮肤区域的像素时会被提取到在roi内，其他像素将被置0；
38、对roi中的每一帧图像进行空间平均，用于空间归一化；
39、使用pos算法，对归一化后的rgb数据应用主成分分析，使用从pca得到的正交向量对归一化后的rgb数据进行固定矩阵投影；
40、对投影后的数据进行带通滤波，得到ppg波形；
41、对ppg波形进行快速傅里叶变换，提取目标生理参数。
42、作为本专利技术所述的在线课堂学习参与度监测方法的一种优选方案，其中：所述获取满足视觉隐私保护度评价指标的视频数据集，并对满足视觉隐私保护度评价指标的视频数据集进行在线课堂学习参与度监测分类，并计本文档来自技高网...
【技术保护点】
1.一种在线课堂学习参与度监测方法，其特征在于：包括，
2.如权利要求1所述的在线课堂学习参与度监测方法，其特征在于：所述利用复眼与多层压缩感知结合的编码技术对所述视频数据集进行处理包括，
3.如权利要求2所述的在线课堂学习参与度监测方法，其特征在于：所述利用复眼与多层压缩感知结合的编码技术对所述视频数据集进行处理还包括，
4.如权利要求3所述的在线课堂学习参与度监测方法，其特征在于：所述对处理后的视频数据集进行视觉隐私保护度评价包括，对所述处理后的视频数据集提取视觉显著性结构纹理特征，并将提取到的特征使用SVR模型映射得到复眼视隐态视频集的视觉隐私保护度分数；
5.如权利要求4所述的在线课堂学习参与度监测方法，其特征在于：所述对处理后的视频数据集进行视觉隐私保护度评价还包括，
6.如权利要求5所述的在线课堂学习参与度监测方法，其特征在于：所述对处理后的视频数据集进行视觉隐私保护度评价还包括，对所述处理后的视频数据集，提取rPPG信号，并将提取到的rPPG信号测量目标生理参数；
7.如权利要求6所述的在线课堂
8.一种在线课堂学习参与度监测系统，其特征在于：包括数据处理模块，评价模块以及参与度计算模块，
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
...【技术特征摘要】
1.一种在线课堂学习参与度监测方法，其特征在于：包括，
2.如权利要求1所述的在线课堂学习参与度监测方法，其特征在于：所述利用复眼与多层压缩感知结合的编码技术对所述视频数据集进行处理包括，
3.如权利要求2所述的在线课堂学习参与度监测方法，其特征在于：所述利用复眼与多层压缩感知结合的编码技术对所述视频数据集进行处理还包括，
4.如权利要求3所述的在线课堂学习参与度监测方法，其特征在于：所述对处理后的视频数据集进行视觉隐私保护度评价包括，对所述处理后的视频数据集提取视觉显著性结构纹理特征，并将提取到的特征使用svr模型映射得到复眼视隐态视频集的视觉隐私保护度分数；
5.如权利要求4所述的在线课堂学习参与度监测方法，其特征在于：所述对处理后的视频数据集进行视觉隐私保护度评价还包括，
6.如权利要求5所述的在线课堂学习参与度监测方法，其特征在于：所述对处理后的视频数据集进行视觉隐私保护度评价还包括，对所述处理后的视频数据集...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。