一种实操考试的智能监测考评方法、系统及存储介质技术方案

本发明专利技术公开了一种实操考试的智能监测考评方法、系统及存储介质，包括，通过近景及远景摄像头获取目标考生的监测视频流，提取人脸关键帧进行身份验证，获取身份验证结果，在实操考试中进行重复验证；将不同摄像头的监测视频流的实操关键帧及声音进行融合，生成实操关键帧序列，根据实操项目对实操关键帧序列进行标记；构建操作识别模型预设实操项目的关键节点，读取目标考生的操作序列进行操作序列的考评；获取关键节点的考评结果，生成操作序列的数据标签，将数据标签进行聚合生成目标考生的最终考评结果。本方法实现了实操考试成绩的量化，保证了实操考试评分的准确性和公平性，并且实时生成实操画面回放同步字幕，确保考评的可追溯性。可追溯性。可追溯性。

【技术实现步骤摘要】
一种实操考试的智能监测考评方法、系统及存储介质


[0001]本专利技术涉及考试监测
，更具体的，涉及一种实操考试的智能监测考评方法、系统及存储介质。

技术介绍

[0002]考试是一种检验考生学习能力和选拔人才的方法,通过考试,可以了解考生对所学知识的把握程度,从而选拔合适的人才。考场作为考试的场所,需要有监考人员进行监督,来防止考生在考试时作弊。只有公平公正的考试环境,才能够检验出考生的真实水平。随着科技的发展,监考的手段也不断地现代化。传统的监考方式主要依靠人工监考,考试中心会在每个考场安排监考和巡考人员来维持考场秩序。通常由于考试集中在期末,规模较大,并且监考人员精力有限,可能导致一些作弊行为难以被发现。虽然考场内设置有摄像头等设备,可以环顾考场的每个角落,但由于这类设备只有录制和回放两种简单的功能,所以还是需大量的人力来检验考场录像,浪费大量的人力物力。
[0003]目前的监考方式大多采用单一摄像头来识别作弊行为,这些方法识别准确率低,并且识别速度较慢。现有的实验操作考试系统普遍采用“现考后评”的方法，考生现场操作实时录像，考后网上集中评分。无论采用现场学生实验展示还是教师观看录像，教师的体力和脑力负荷极大，对学生实验操作行为的精准量化感知能力较弱。并且考评过程中容易存在教师批改效率低、评分标准不一的问题。因此如何通过人工智能实现实操考试的智能监测考评是需要解决的问题。

技术实现思路

[0004]为了解决上述技术问题，本专利技术提出了一种实操考试的智能监测考评方法、系统及存储介质。
[0005]本专利技术第一方面提供了一种实操考试的智能监测考评方法，包括：通过近景及远景摄像头获取目标考生的监测视频流，根据所述监测视频流提取人脸关键帧，利用所述人脸关键帧进行身份验证，获取身份验证结果，并在实操考试中进行重复验证；将不同摄像头的监测视频流的实操关键帧及声音进行融合，生成实操关键帧序列，根据实操项目对实操关键帧序列进行标记；构建操作识别模型，将标记后的实操关键帧导入所述操作识别模型，预设实操项目的关键节点，读取目标考生的操作序列，基于所述关键节点进行操作序列的考评；获取关键节点的考评结果，根据所述考评结果生成操作序列的数据标签，将数据标签进行聚合生成目标考生的最终考评结果。
[0006]本方案中，根据所述监测视频流提取人脸关键帧，利用所述人脸关键帧进行身份验证，具体为：获取近景监测视频流及远景监测视频流，在所述近景监测视频流及远景监测视频
流中获取实操场景关键帧及人脸关键帧；将所述人脸关键帧进行预处理，根据预处理后的人脸关键帧提取感兴趣区域，将所述感兴趣区域导入ResNet网络获取特征图，在所述ResNet网络中引入通道注意力模块及空间注意力模块；获取通道注意力权重及空间注意力权重对所述特征图加权，并将加权后的特征图进行相加聚合，获取全局特征；预设面部关键点，基于所述面部关键点提取感兴趣区域的几何特征，将所述全局特征与几何特征进行融合，获取融合特征；根据所述实操场景关键帧获取目标考生的实操考试操作范围，在所述实操考试操作范围中进行人像检测，当确定范围内人数为1时，则利用所述融合特征进行目标考生的身份查验；获取目标考生考试过程中人脸关键帧对应的感兴趣区域序列，并基于面部关键点进行特征追踪，根据各关键点对应的融合特征与首次查验通过的身份信息对应的融合特征进行相似度计算；根据所述相似度进行重复验证，并且预设监考人员人脸信息，当近景监测视频流及远景监测视频流中出现监考人员人脸信息，则作为背景信息进行忽略。
[0007]本方案中，将不同摄像头的监测视频流的实操关键帧及声音进行融合，生成实操关键帧序列，根据实操项目对实操关键帧序列进行标记，具体为：在实操考试期间提取近景监测视频流及远景监测视频流的实操关键帧，将不同摄像头的监测视频流的实操关键帧按照监测时间戳进行匹配，并获取近景监测视频流的声音信号；对所述声音信号通过小波变换进行滤波去噪，并利用遗传算法对小波变换进行优化获取小波变化的阈值信息，利用阈值信息获取预处理后的声音信号；将匹配后的实操关键帧与预处理后的声音信号进行融合，生成实操关键帧序列，获取目标考生的实操项目生成数据标签进行标记；并在实操关键帧序列中获取人脸感兴趣区域，设置画面虚化图层对所述人脸感兴趣区域覆盖，将处理后的实操关键帧序列进行存储。
[0008]本方案中，构建操作识别模型，将标记后的实操关键帧导入所述操作识别模型，预设实操项目的关键节点，读取目标考生的操作序列，具体为：基于操作项目预设关节点，根据所述预设关节点获取目标考生实操关键帧的关节拓扑结构，将所述关节拓扑结构结合工具信息进行图表示，并通过时空图卷积神经网络学习；获取目标考生关节节点的向量化表示，获取关节节点的相邻关节节点以及不同时间戳同一关节节点的向量化表示，通过邻居聚合及特征传递更新关节节点的向量化；通过所有关节节点重复迭代获取高维度的运动特征，利用Softmax函数识别目标考生的操作动作，获取目标考生的操作序列；根据操作项目的得分点预设实操项目的关键节点，根据所述关键节点将所述操作序列划分为不同时间步长的操作子序列。
[0009]本方案中，基于所述关键节点进行操作序列的考评，具体为：
根据操作项目作为关键词提取标准操作序列，基于实操项目的关键节点对标准操作序列进行划分，生成对应的标准操作子序列；获取每个关键节点对应的操作子序列，将子操作序列与所述标准操作子序列进行匹配获取操作特征组合，利用所述操作特征组合获取操作子序列与标准操作子序列之间的BTW距离；根据所述BTW距离获取各操作子序列的评分系数，利用所述评分系数结合操作项目的分值信息获取关键节点对应操作子序列的操作考评结果。
[0010]本方案中，基于所述关键节点进行操作序列的考评，还包括：获取操作项目的历史考评记录，在所述历史考评记录中读取各操作子序列的平均操作时间，读取各标准操作子序列的标准操作时间，计算所述平均操作时间与标准操作时间的偏差；通过所述平均操作时间与标准操作时间进行对比，根据对比结果对操作子序列设置难易标签，并基于偏差设置难易标签对应的熟练度权重信息；根据关键节点获取目标考生各操作子序列的操作时间，并根据操作子序列获取操作特征之间的间隔时间，构建熟练度考评模型，利用历史考评记录生成训练集与测试集，训练后输出符合预设标准的熟练度考评模型；将目标考生各操作子序列的操作时间与操作特征之间的间隔时间导入熟练度考评模型，获取各操作子序列的熟练度得分，将所述熟练度得分结合熟练度权重信息结合获取各操作子序列的熟练度考评结果；将各操作子序列的操作考评结果及熟练度考评结果结合获取考评结果。
[0011]本专利技术第二方面还提供了一种实操考试的智能监测考评系统，该系统包括：存储器、处理器，所述存储器中包括一种实操考试的智能监测考评方法程序，所述一种实操考试的智能监测考评方法程序被所述处理器执行时实现如下步骤：通过近景及远景摄像头获取目标考生的监测视频流，根据所述监测视频流提取人脸关键帧，利用所述人脸关键帧进行身份验证，获取身份验证结果，并在实操本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种实操考试的智能监测考评方法，其特征在于，包括以下步骤：通过近景及远景摄像头获取目标考生的监测视频流，根据所述监测视频流提取人脸关键帧，利用所述人脸关键帧进行身份验证，获取身份验证结果，并在实操考试中进行重复验证；将不同摄像头的监测视频流的实操关键帧及声音进行融合，生成实操关键帧序列，根据实操项目对实操关键帧序列进行标记；构建操作识别模型，将标记后的实操关键帧导入所述操作识别模型，预设实操项目的关键节点，读取目标考生的操作序列，基于所述关键节点进行操作序列的考评；获取关键节点的考评结果，根据所述考评结果生成操作序列的数据标签，将数据标签进行聚合生成目标考生的最终考评结果。2.根据权利要求1所述的一种实操考试的智能监测考评方法，其特征在于，根据所述监测视频流提取人脸关键帧，利用所述人脸关键帧进行身份验证，具体为：获取近景监测视频流及远景监测视频流，在所述近景监测视频流及远景监测视频流中获取实操场景关键帧及人脸关键帧；将所述人脸关键帧进行预处理，根据预处理后的人脸关键帧提取感兴趣区域，将所述感兴趣区域导入ResNet网络获取特征图，在所述ResNet网络中引入通道注意力模块及空间注意力模块；获取通道注意力权重及空间注意力权重对所述特征图加权，并将加权后的特征图进行相加聚合，获取全局特征；预设面部关键点，基于所述面部关键点提取感兴趣区域的几何特征，将所述全局特征与几何特征进行融合，获取融合特征；根据所述实操场景关键帧获取目标考生的实操考试操作范围，在所述实操考试操作范围中进行人像检测，当确定范围内人数为1时，则利用所述融合特征进行目标考生的身份查验；获取目标考生考试过程中人脸关键帧对应的感兴趣区域序列，并基于面部关键点进行特征追踪，根据各关键点对应的融合特征与首次查验通过的身份信息对应的融合特征进行相似度计算；根据所述相似度进行重复验证，并且预设监考人员人脸信息，当近景监测视频流及远景监测视频流中出现监考人员人脸信息，则作为背景信息进行忽略。3.根据权利要求1所述的一种实操考试的智能监测考评方法，其特征在于，将不同摄像头的监测视频流的实操关键帧及声音进行融合，生成实操关键帧序列，根据实操项目对实操关键帧序列进行标记，具体为：在实操考试期间提取近景监测视频流及远景监测视频流的实操关键帧，将不同摄像头的监测视频流的实操关键帧按照监测时间戳进行匹配，并获取近景监测视频流的声音信号；对所述声音信号通过小波变换进行滤波去噪，并利用遗传算法对小波变换进行优化获取小波变化的阈值信息，利用阈值信息获取预处理后的声音信号；将匹配后的实操关键帧与预处理后的声音信号进行融合，生成实操关键帧序列，获取目标考生的实操项目生成数据标签进行标记；
并在实操关键帧序列中获取人脸感兴趣区域，设置画面虚化图层对所述人脸感兴趣区域覆盖，将处理后的实操关键帧序列进行存储。4.根据权利要求1所述的一种实操考试的智能监测考评方法，其特征在于，构建操作识别模型，将标记后的实操关键帧导入所述操作识别模型，预设实操项目的关键节点，读取目标考生的操作序列，具体为：基于操作项目预设关节点，根据所述预设关节点获取目标考生实操关键帧的关节拓扑结构，将所述关节拓扑结构结合工具信息进行图表示，并通过时空图卷积神经网络学习；获取目标考生关节节点的向量化表示，获取关节节点的相邻关节节点以及不同时间戳同一关节节点的向量化表示，通过邻居聚合及特征传递更新关节节点的向量化；通过所有关节节点重复迭代获取高维度的运动特征，利用Softmax函数识别目标考生的操作动作，获取目标考生的操作序列；根据操作项目的得分点预设实操项目的关键节点，根据所述关键节点将所述操作序列划分为不同时间步长的操作子序列。5.根据权利要求1所述的一种实操考试的智能监测考评方法，其特征在于，基于所述关键节点进行操作序列的考评，具体为：根据操作项目作为关键词提取标准操作序列，基于实操项目的关键节点对标准操作序列进行划分，生成对应的标准操作子序列；获取每个关键节点对应的操作子序列，将子操作序列与所述标准操作子序列进行匹配获取操作特征组合，利用所述操作特征组合获取操作子序列与标准操作子序列之间的BTW距离；根据所述BTW距离获取各操作子序列的评分系数，利用所述评分系数结合操作项目的分值信息获取关键节点对应操作子序列的操作考评结果。6.根据权利...

【专利技术属性】
技术研发人员：司岩，夏德虎，张志发，杨立春，欧阳梁明，
申请(专利权)人：深圳市企鹅网络科技有限公司，
类型：发明
国别省市：