一种远程教育数据采集分析方法、设备及计算机存储介质技术

本申请涉及远程教育技术领域，具体涉及一种远程教育的数据处理过程，具体为一种远程教育数据采集分析方法、设备及计算机存储介质；通过获取到的视频图像进行处理用于用户端采集到的用户进行是否为目标用户，以及目标用户是否为真实用户的判断。并且通过配置有行为异常行为识别模型实现对于上课过程中的用户的实时视频图像数据进行异常行为特征进行获取，并且基于异常行为特征确定异常行为从而判断在上课阶段过程中用户的异常行为，实现了在远程教育过程中对于上课学生的监督和管理。程教育过程中对于上课学生的监督和管理。程教育过程中对于上课学生的监督和管理。

【技术实现步骤摘要】
一种远程教育数据采集分析方法、设备及计算机存储介质


[0001]本申请涉及远程教育
，具体涉及一种远程教育的数据处理过程，具体为一种远程教育数据采集分析方法、设备及计算机存储介质。

技术介绍

[0002]随着互联网技术和信息技术的飞速发展，教育行业模式也变得逐渐多样化，不单单采用线下的方式进行课程以及知识的学习，以线上进行授课的形式越来越得到普遍。并且，在目前的教育方式中，线上教育已经不再是针对课外以及成人教育，还包括针对于适龄学生的教育活动。包括幼儿教育、小学教育和中学教育。
[0003]但是与其他年龄段教育不同在于，针对于幼儿教育、中小学教育内容不仅包括学科知识的教授，还需要老师进行课堂秩序以及听课者的上课行为的规范。在传统的线下教育场景下，教师可以通过观察课堂中学生的行为状态进行判断并且采取对应的教育方式和行为劝导，但是在线上教育场景下，受限于场景的显示(因为在线上教育图像展示方式主要通过对于学生面对终端设备的图像，而此图像主要在教师端的屏幕上进行，而一般情况下教师端的屏幕面积以及展示方式导致展示的图像面积以及图像排列方式无法使教师完整的获取学生的事实行为)，而这种限制会极大地限制教师对于课堂秩序或者听课者的状态的获得，从而降低教学质量。
[0004]并且，在进行线上教育环境下，很容易导致上课者通过照片以及其他的图像形式来进行学生目标图像的采集的真实度，从而降低对于学生的管理。

技术实现思路

[0005]为了解决以上的技术问题，本申请提供一种远程教育数据采集分析方法、设备及计算机存储介质，能够通过计算机技术实现对于线上教育场景下对于课堂秩序以及上课者行为的识别，提高了线上教育环境下被教育者逃课的难度，并且能够实时识别上课者的异常行为并主动发出提醒信息，降低了教师的管理成本以及提高了授课的质量。
[0006]为了达到上述目的，本申请实施例采用的技术方案如下：
[0007]一种远程教育数据采集分析方法，包括以下方法：获取实时用户的第一视频图像，基于所述第一视频图像与存储的基础图像进行比对，得到第一比对结果，基于所述第一比对结果确定实时用户的真实性，确定目标用户；获取所述第一视频图像的多时间段的视频帧的图像特征，基于所述图像特征确定目标用户的实时状态，基于实时状态确定目标用户的真实状态；以预设时间节点采集真实用户的实时图像信息，基于预设的行为识别模型对所述实时图像信息进行比对，识别异常行为；基于异常行为发送对应的提醒信息至真实用户的用户端；基于所述第一视频图像与存储的基础图像进行比对，得到第一比对结果，包括以下方法：获取所述第一视频图像的关键帧图像；提取所述关键帧图像的特征信息，将所述关键帧图像的特征信息与预设的基础图像的特征信息进行比对，得到所述关键帧图像的特征信息与所述基础图像的特征信息的相似度，基于预设的相似度阈值得到第一比对结果；
基于所述第一比对结果确定目标用户的真实性，确定目标用户，包括以下方法：当所述相似度大于等于所述相似度阈值，确定实时用户为目标用户；当所述相似度小于所述相似度阈值，确定实时用户为非目标用户。
[0008]第一方面的第一种实现方式中，获取所述第一视频图像的关键帧图像，包括以下方法：提取多个时间段的所述第一视频图像的多帧图像，获取多个帧图像；对所述多个帧图像进行二值化处理，得到二值化处理的第一帧图像；提取多个所述第一帧图像的轮廓，比较多个所述第一帧图像轮廓的面积大小，面积最大的为所述关键帧图像。
[0009]结合第一方面的第一种可能的实现方式，在第二种可能的实现方式中，提取所述关键帧图像的特征信息包括提取所述关键帧图像中用于表征目标用户状态的目标图像，基于所述目标图像提取特征信息；提取所述关键帧图形中用于表征目标用户状态的目标图像，包括以下方法：基于确定的关键帧图像确定所述关键帧图像对应的二值化处理的第一帧图像；获取所述第一帧图像的灰度直方图，基于所述灰度直方图计算分割阈值；基于所述分割阈值，生成所述第一帧图像的二值化的掩膜图，其中，所述二值化的掩膜图中像素值为第一值的区域包括所述主体，所述二值化的掩膜图中像素值为第二值的像素为背景像素；对所述二值化的掩膜图进行修正处理，得到修正掩膜图，所述修正处理用于抠除像素值为所述第一值的区域中的背景像素；基于所述修正掩膜图抠除所述原始图像的背景，得到目标图像。
[0010]结合第一方面的第二种可能的实现方式，在第三种可能的实现方式中，获取所述第一视频图像的多时间段的视频帧的图像特征，基于所述图像特征确定目标用户的实时状态，基于实时状态确定目标用户的真实状态，包括以下方法：获取所述第一视频图像的多时间段的视频帧，对多时间段的视频帧进行二值化处理，得到多个时间段的第一帧图像；基于多时间段的所述第一帧图像轮廓面积的变化率，确定目标用户的实时状态，包括以下方法：基于相邻时间段的所述第一帧图像轮廓面积的变化率，确定第一实时状态；基于相隔时间段的所述第一帧图像轮廓面积的变化率，确定第二实时状态；基于任意两个时间段的所述第一帧图像轮廓面积的变化率，确定第三实时状态；基于所述第一实时状态、所述第二实时状态和所述第三实时状态确定目标实时状态。
[0011]结合第一方面的第二种可能的实现方式，在第四种可能的实现方式中，获取所述第一视频图像的多时间段的视频帧的特征，基于所述特征确定目标用户的实时状态，基于实时状态确定目标用户的真实状态，包括以下方法：获取多时间段的视频帧的中多个目标区域的特征，所述特征为目标区域的位置参数；比较多时间段中任一目标区域的坐标参数的变化值是否处于阈值范围；获取多时间段的视频帧的中多个目标区域的位置参数包括：获取所述目标区域的频域数据；对所述频域数据进行滤波，确定滤波输出结果中最大值所在的位置参数为所述目标区域的位置参数。
[0012]第一方面的第五种实现方式中，以预设时间节点采集真实用户的实时图像信息，基于预设的行为识别模型对所述实时图像信息进行比对，识别异常行为，包括以下方法：基于所述行为识别模型对所述实时图像信息进行特征提取获取用于表征异常行为的异常行为特征，所述行为识别模型为满足收敛要求的卷积神经网络；基于预设的特征
‑
行为映射关系将所述异常行为特征转换为异常行为信息；所述行为识别模型以CenterNet为主干网络，所述CenterNet的主干网络包括Hourglass网络和ResNet
‑
50网络，每个网络通道输出对应
的原始特征图，分别对原始特征图处理得到每个网络通道的特征权重，将不同的网络通道的特征权重再作用到原始的特征图对应的网络通道，对原始特征重标定后融合。
[0013]结合第一方面的第五种实现方式，在第六种可能的实现方式中，基于异常行为发送对应的提醒信息至真实用户的用户端，包括以下方法：
[0014]获取所述异常行为信息的异常标签，基于所述异常标签与预设的异常行为数据库中对应相同异常标签的提醒信息进行匹配获得目标提醒策略，基于所述目标提醒策略将所述目标提醒信息发送至真实用户的用户端；所述提醒信息包本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种远程教育数据采集分析方法，其特征在于，包括以下方法：获取实时用户的第一视频图像，基于所述第一视频图像与存储的基础图像进行比对，得到第一比对结果，基于所述第一比对结果确定实时用户的真实性，确定目标用户；获取所述第一视频图像的多时间段的视频帧的图像特征，基于所述图像特征确定目标用户的实时状态，基于实时状态确定目标用户的真实状态；以预设时间节点采集真实用户的实时图像信息，基于预设的行为识别模型对所述实时图像信息进行比对，识别异常行为；基于异常行为发送对应的提醒信息至真实用户的用户端；基于所述第一视频图像与存储的基础图像进行比对，得到第一比对结果，包括以下方法：获取所述第一视频图像的关键帧图像；提取所述关键帧图像的特征信息，将所述关键帧图像的特征信息与预设的基础图像的特征信息进行比对，得到所述关键帧图像的特征信息与所述基础图像的特征信息的相似度，基于预设的相似度阈值得到第一比对结果；基于所述第一比对结果确定目标用户的真实性，确定目标用户，包括以下方法：当所述相似度大于等于所述相似度阈值，确定实时用户为目标用户；当所述相似度小于所述相似度阈值，确定实时用户为非目标用户。2.根据权利要求1所述的远程教育数据采集分析方法，其特征在于，获取所述第一视频图像的关键帧图像，包括以下方法：提取多个时间段的所述第一视频图像的多帧图像，获取多个帧图像；对所述多个帧图像进行二值化处理，得到二值化处理的第一帧图像；提取多个所述第一帧图像的轮廓，比较多个所述第一帧图像轮廓的面积大小，面积最大的为所述关键帧图像。3.根据权利要求2所述的远程教育数据采集分析方法，其特征在于，提取所述关键帧图像的特征信息包括提取所述关键帧图像中用于表征目标用户状态的目标图像，基于所述目标图像提取特征信息；提取所述关键帧图像中用于表征目标用户状态的目标图像，包括以下方法：基于确定的关键帧图像确定所述关键帧图像对应的二值化处理的第一帧图像；获取所述第一帧图像的灰度直方图，基于所述灰度直方图计算分割阈值；基于所述分割阈值，生成所述第一帧图像的二值化的掩膜图，其中，所述二值化的掩膜图中像素值为第一值的区域包括所述主体，所述二值化的掩膜图中像素值为第二值的像素为背景像素；对所述二值化的掩膜图进行修正处理，得到修正掩膜图，所述修正处理用于抠除像素值为所述第一值的区域中的背景像素；基于所述修正掩膜图抠除所述原始图像的背景，得到目标图像。4.根据权利要求3所述的远程教育数据采集分析方法，其特征在于，获取所述第一视频图像的多时间段的视频帧的图像特征，基于所述图像特征确定目标用户的实时状态，基于实时状态确定目标用户的真实状态，包括以下方法：获取所述第一视频图像的多时间段的视频帧，对多时间段的视频帧进行二值化处理，
得到多个时间段的第一帧图像；基于多时间段的所述第一帧图像轮廓面积的变化率，确定目标用户的实时状态，包括以下方法：基于相邻时间段的所述第一帧图像轮廓面积的变化率，确定第一实时状态；基于相隔时间段的所述第一帧图像轮廓面积的变化率，确定第二实时状态；基于任意两个时间段的所述第一帧图像轮廓面积...

【专利技术属性】
技术研发人员：沈小莲，郭文科，张凌峰，卢钊雄，
申请(专利权)人：东莞市亚太未来软件有限公司，
类型：发明
国别省市：