一种基于AI的实验过程评价方法及装置制造方法及图纸

本发明专利技术提供了一种基于AI的实验过程评价方法及装置，涉及人工智能过程评价的技术领域，具体包括如下步骤：输入预设接线图信息，获取线路接线信息以及接线完成指令；响应于接线完成指令，基于预设接线图信息以及线路接线信息判定接线是否正确；若是，则获取第一实验图像信息并对实验图像信息进行面部表情识别以及行为动作识别；若否，则获取错误信息，并执行预设接线图信息，获取线路接线信息以及接线完成指令的步骤。通过本发明专利技术提供的方法及装置可以缓解现有技术中对学生的接线正误不能自动判断、面部表情和行为动作难以识别，教师对学生的实验能力不能进行公正公平评价的技术问题，以对学生的实验能力综合评价，了解教学实验效果。验效果。验效果。

【技术实现步骤摘要】
一种基于AI的实验过程评价方法及装置


[0001]本专利技术涉及人工智能过程评价的
，尤其是涉及一种基于AI的实验过程评价方法及装置。

技术介绍

[0002]以往的实验教学都是教师通过学生的实验预习、实验报告以及对学生的印象来评价学生的实验能力，缺乏对实验过程的定量分析，学生的实验能力评价无数据支持。在实验教学过程中，对于电类实验，往往都是按照学生先接线，老师再检查，确认无误后再上电进行实验的步骤，加大了教师的负担。同时在进行实验评价时，无法对学生实验过程中的面部表情、行为动作进行识别；对于学生厌恶，中性和高兴的面部表情；趴，左顾右盼和玩手机等行为无法识别统计，不能对学生的实验能力进行公正公平的评价，也难以了解实验教学的效果。

技术实现思路

[0003]有鉴于此，本专利技术的目的在于提供一种基于AI的实验过程评价方法及装置，以缓解现有技术中对学生的接线正误不能自动判断、面部表情和行为动作难以识别，教师对学生的实验能力不能进行公正公平评价的技术问题，以对学生的实验能力极性综合评价，了解教学实验效果。
[0004]本专利技术提供了一种基于AI的实验过程评价方法，具体包括如下步骤：
[0005]输入预设接线图信息，获取线路接线信息以及接线完成指令；
[0006]响应于所述接线完成指令，基于所述预设接线图信息以及所述线路接线信息判定接线是否正确；
[0007]若是，则获取第一实验图像信息并对所述实验图像信息进行面部表情识别以及行为动作识别；
[0008]若否，则获取错误信息，并执行所述预设接线图信息，获取线路接线信息以及接线完成指令的步骤。
[0009]优选的，所述获取实验图像信息并对所述实验图像信息进行面部表情识别以及行为动作识别的步骤包括：
[0010]利用YOLOv4算法对所述第一实验图像信息像素转换以获取第二实验图像信息；
[0011]构建VGG16模型以对所述第二实验图像信息进行面部表情识别，构建所述ResNet18模型以对所述第二实验图像信息进行行为动作识别。
[0012]优选的，所述利用YOLOv4算法对所述第一实验图像信息像素转换以获取第二实验图像信息的步骤包括：
[0013]所述利用YOLOv4算法对所述第一实验图像信息像素转换以获取第二实验图像信息的步骤包括：
[0014]构建YOLOv4网络结构图，所述YOLOv4网络结构图包括主干特征提取网络、第一加
强特征提取网络和第二加强特征提取网络以及预测结果；
[0015]所述主干特征提取网络包括Darknet卷积层以及残差网络结构，所述主干特征提取网络用于获取所述第一实验图像信息的有效特征层；
[0016]所述第一加强特征网络用于对获取所述第一实验图像信息的有效特征层进行池化处理，将池化处理后的所述第一实验图像信息的有效特征层进行卷积处理以获取第一实验图像信息第一残差网络的特征层；
[0017]对所述第一残差网络结构层进行上采样以获取第一实验图像信息第二残差网络的一个特征层，对所述第一实验图像信息第一残差网络特征层以及第一实验图像信息第二残差网络的一个特征层进行特征融合以及卷积处理以获取第一实验图像信息第一特征层，所述第二残差网络为所述残差网络结构的倒数第二层；
[0018]对所述第二残差网络结构层进行上采样以获取第一实验图像信息第三残差网络的一个特征层，并将所述第一实验图像信息第三残差网络的一个特征层与所述第一特征层进行特征融合以及卷积处理以获取第一实验图像信息第二特征层，所述第三残差网络为所述残差网络结构的倒数第三层；
[0019]对所述第三残差网络进行下采样以获取所述获取第一实验图像信息第二残差网络的一个特征层，并将所述第一实验图像信息第二特征层与所述第二残差网络的一个特征层进行特征融合以及卷积处理以获取第一实验图像信息第三特征层；
[0020]对所述第二残差网络结构层进行下采样以获取所述以获取第一实验图像信息第一残差网络的特征层，并将所述获取第一实验图像信息第三特征层进行特征融合以及卷积处理以获取第一实验图像信息第四特征层；
[0021]所述预测预测结果基于所述第一实验图像信息第二特征层、所述第一实验图像信息第三特征层以及所述第一实验图像信息第四特征层获取所述第二实验图像信息。
[0022]优选的，所述基于所述预设接线图信息以及所述线路接线信息判定接线是否正确的步骤包括：
[0023]基于所述预设接线图信息获取待接导线集合、待接导线的首端以及待接导线的末端；
[0024]获取所述线路接线信息以获取线路接线的首端以及线路接线的末端，并将所述线路接线的首端以及所述线路接线的末端分别与所述待接导线的首端以及待接导线的末端比对以判定所述线路接线信息判定接线是否正确；
[0025]若是，则将待接导线从所述待接导线集合中删除，并执行所述基于所述预设接线图信息获取待接导线集合、待接导线的首端以及待接导线的末端的步骤；
[0026]若否，则提示接线错误信息。
[0027]优选的，所述获取所述线路接线信息以获取线路接线的首端以及线路接线的末端，并将所述线路接线的首端以及所述线路接线的末端分别与所述待接导线的首端以及待接导线的末端比对以判定所述线路接线信息判定接线是否正确的步骤包括：
[0028]构建Faster R
‑
CNN神经网络采用Faster R
‑
CNN算法以将所述线路接线的首端以及所述线路接线的末端分别与所述待接导线的首端以及待接导线的末端比对以判定所述线路接线信息判定接线是否正确
[0029]基于所述线路接线信息生成CNN模型以获取所述线路接线信息特征图，所述
Faster R
‑
CNN神经网络包括卷积层、RPN网络层、池化层以及分类和回归层；
[0030]将所述线路接线信息输入至卷积层以获取线路接线信息特征图；
[0031]将所述线路接线信息特征图输出至所述RPN网络层以进行特征区域选取并获取线路接线信息区域特征图，将所述线路接线信息特征图输出至所述池化层以将线路接线信息特征图进行图像转化；
[0032]将所述线路接线信息区域特征图与经池化后的线路接线信息特征图输入至所述分类和回归层，以对线路接线信息区域特征图经池化后的线路接线信息特征图进行特征比对，实现将所述线路接线的首端以及所述线路接线的末端分别与所述待接导线的首端以及待接导线的末端比对。
[0033]优选的，所述VGG16模型包括16个权重层以及5个池化层，所述16个权重层包括13个卷积层以及3个全连接层，所述VGG16模型以softmax为激活函数。
[0034]优选的，根据权利要求2所述的方法，其特征在于，所述ResNet18模型包括开始的一个卷积层，4个ResBlock，每个所述ResBlock包含2个Basic Block，每个所述Basic Block包含两个卷积层，和最后的一个全连接层。
...

【技术保护点】

【技术特征摘要】
1.一种基于AI的实验过程评价方法，其特征在于，具体包括如下步骤：输入预设接线图信息，获取线路接线信息以及接线完成指令；响应于所述接线完成指令，基于所述预设接线图信息以及所述线路接线信息判定接线是否正确；若是，则获取第一实验图像信息并对所述实验图像信息进行面部表情识别以及行为动作识别；若否，则获取错误信息，并执行所述预设接线图信息，获取线路接线信息以及接线完成指令的步骤。2.根据权利要求1所述的方法，其特征在于，所述获取实验图像信息并对所述实验图像信息进行面部表情识别以及行为动作识别的步骤包括：利用YOLOv4算法对所述第二实验图像信息像素转换以获取第二实验图像信息；构建VGG16模型以对所述第二实验图像信息进行面部表情识别，构建所述ResNet18模型以对所述第二实验图像信息进行行为动作识别。3.根据权利要求2所述的方法，其特征在于，所述利用YOLOv4算法对所述第二实验图像信息像素转换以获取第二实验图像信息的步骤包括：构建YOLOv4网络结构图，所述YOLOv4网络结构图包括主干特征提取网络、第一加强特征提取网络和第二加强特征提取网络以及预测结果；所述主干特征提取网络包括Darknet卷积层以及残差网络结构，所述主干特征提取网络用于获取所述第一实验图像信息的有效特征层；所述第一加强特征网络用于对获取所述第一实验图像信息的有效特征层进行池化处理，将池化处理后的所述第一实验图像信息的有效特征层进行卷积处理以获取第一实验图像信息第一残差网络的特征层；对所述第一残差网络结构层进行上采样以获取第一实验图像信息第二残差网络的一个特征层，对所述第一实验图像信息第一残差网络特征层以及第一实验图像信息第二残差网络的一个特征层进行特征融合以及卷积处理以获取第一实验图像信息第一特征层，所述第二残差网络为所述残差网络结构的倒数第二层；对所述第二残差网络结构层进行上采样以获取第一实验图像信息第三残差网络的一个特征层，并将所述第一实验图像信息第三残差网络的一个特征层与所述第一特征层进行特征融合以及卷积处理以获取第一实验图像信息第二特征层，所述第三残差网络为所述残差网络结构的倒数第三层；对所述第三残差网络进行下采样以获取所述获取第一实验图像信息第二残差网络的一个特征层，并将所述第一实验图像信息第二特征层与所述第二残差网络的一个特征层进行特征融合以及卷积处理以获取第一实验图像信息第三特征层；对所述第二残差网络结构层进行下采样以获取所述以获取第一实验图像信息第一残差网络的特征层，并将所述获取第一实验图像信息第三特征层进行特征融合以及卷积处理以获取第一实验图像信息第四特征层；所述预测预测结果基于所述第一实验图像信息第二特征层、所述第一实验图像信息第三特征层以及所述第一实验图像信息第四特征层获取所述第二实验图像信息。4.根据权利要求1所述的方法，其特征在于，所述基于所述预设接线图信息以及所述线
路接线信息...

【专利技术属性】
技术研发人员：张长勇，靳春阳，曹宁，
申请(专利权)人：中国民航大学，
类型：发明
国别省市：