本发明专利技术公开了一种基于无监督学习的实验智能评分方法，在该方法中，首先，收集实验操作图片和学生在实验操作台进行实验操作的视频数据，其中实验操作图片包括已标注数据的实验操作图片和未标注数据的实验操作图片；然后，对视频数据进行特征提取和图像分割，得到包含三维信息的实验器材图片；接着，基于对比学习方法，将实验操作图片和实验器材图片输入预先构建的可视化卷积神经网络中进行训练，得到最优目标检测模型；最后将待评分图片输入最优目标检测模型中进行目标检测，基于目标检测结果得到待评分图片的实验得分。该方案通过无监督学习方法去掉人工标注环节，可以对新的知识点或评分点进行自动标注，提高了模型的自适应性。性。性。
【技术实现步骤摘要】
一种基于无监督学习的实验智能评分方法和系统
[0001]本专利技术涉及人工智能
，具体涉及一种基于无监督学习的实验智能评分方法、系统、计算设备及存储介质。
技术介绍
[0002]目前，在中学物理、化学、生物等实验教学或考试中，无法对每个学生进行针对性、全面性的教学指导和监督，导致实验教学或考试效率低；传统的实验考试评分采用教师现场对多位学生监考和打分的方式，评分效率低，且存在不客观的评分因素。作为新一轮科技革命和产业革命的重要驱动力量，人工智能正在深刻改变人们的生活、工作和教育学习方式。近年来，人工智能技术越来越多的应用在教学管理的各个环节。
[0003]为了实现实验考试评分的智能化，需要对实验操作数据进行智能赋分。现有的智能赋分算法以监督学习为基础，不但需要大量的数据做支撑，同时在数据的标注、处理环节也需要大量的人力和财力；而且无法对数据未覆盖、未进行监督学习的相关评价点、操作点、需求点做判断和应用。
[0004]因此，需要提供一种基于无监督学习的智能评分系统和方法，能够应用于中学实验教学和考试场景中，以解决人工数据标注成本高、评分结果不全面、评分效率低、评分标准不一致的问题。
技术实现思路
[0005]鉴于上述问题，本专利技术提出一种克服上述问题或者至少部分地解决上述问题的一种基于无监督学习的实验智能评分方法、系统、计算设备以及存储介质。
[0006]根据本专利技术的一个方面，提供一种基于无监督学习的实验智能评分方法，在该方法中，首先，收集实验操作图片和学生在实验操作台进行实验操作的视频数据，其中实验操作图片包括已标注数据的实验操作图片和未标注数据的实验操作图片；然后，对视频数据进行特征点提取和图像分割，得到包含三维信息的实验器材图片；接着，基于对比学习方法，将实验操作图片、实验器材图片输入预先构建的可视化卷积神经网络中进行训练，得到最优目标检测模型；最后，将待评分图片输入最优目标检测模型中进行目标检测，并基于目标检测结果得到待评分图片的实验得分。
[0007]该方法能够充分利用教育闭环特征，通过无监督学习方法，可以去掉繁琐、耗时、耗力的人工标注环节，同时可以对新的知识点或操作点、新的评分点进行自动标注和识别，加快了智能评分算法的应用，提高了模型的适应性和个性化。
[0008]可选地，在根据本专利技术的方法中，标注数据可以包括实验操作点或知识点标注数据、实验器材标签数据、实验操作评价数据、实验结果评分数据等。
[0009]可选地，在根据本专利技术的方法中，还可以对收集的实验操作图片进行筛选和处理，以便剔除异常数据、对已标注数据的实验操作图片的标签进行修正、对未标注数据的实验操作图片生成相应的标签。
[0010]这样可以进一步提高后续模型训练数据的可靠性，提高模型检测的准确度。
[0011]可选地，在根据本专利技术的方法中，可以基于聚类算法，对收集的实验操作图片进行异常数据剔除处理；对收集的实验操作图片进行数据扩充，数据扩充方法包括镜像、随机裁减、翻转、色彩转换等；基于知识图谱网络对收集的无标注数据的实验操作图片生成相应的标签或者对已标注数据的实验操作图片中的标签进行修正。
[0012]可选地，在根据本专利技术的方法中，模型训练的步骤可以包括：对实验操作图片和实验器材图片进行不同的数据增强处理，得到第一增强图像和第二增强图像，图像增强处理包括翻转、旋转、随机裁剪、随机颜色失真、随机高斯模糊处理；对第一增强图像和第二增强图像进行特征提取，得到第一特征向量和第二特征向量；将第一特征向量和第二特征向量输入可视化卷积神经网络中进行训练，基于第一特征向量与第二特征向量之间的欧氏距离，计算对比损失函数，其中可视化卷积神经网络为基于CAM的弱监督目标检测网络；当对比损失函数的损失值小于预定阈值时，得到最优目标检测模型。
[0013]自监督对比学习方法可直接利用数据本身作为监督信息，通过最大化各类变换后图像的相似度和最小化不同图像变换之间的一致性，对模型进行训练和优化，可以提高模型在后续目标检测任务中的性能。
[0014]可选地，在根据本专利技术的方法中，在得到优化后的目标检测模型后，可以将待评分图片输入最优目标检测模型中进行目标检测，得到学生动作特征点、实验器材特征点的位置信息；然后，将得到的学生动作特征点和实验器材特征点位置与标准操作步骤中学生动作特征点和实验器材特征点位置进行对比，并根据对比结果得到学生实验操作得分、错误分析和正确指导。该智能评分方法可以显著减少人力成本。
[0015]根据本专利技术的另一个方面，提供一种基于无监督学习的实验智能评分系统，该系统包括多个学生终端、多个教师终端、智能评分模块和数据库，其中，智能评分模块包括数据收集单元、数据处理单元、模型训练单元、模型更新部署单元和智能评分单元。
[0016]学生终端包括摄像头、实验操作台和客户端，客户端适于获取学生的身份信息和输入的实验报告数据，摄像头适于采集学生在实验操作台进行实验操作的视频数据；教师终端适于接收教师上传的教学资源数据、作业或考试数据、批阅数据，教师终端还适于与学生终端进行信息交互；数据库适于将学生终端和教师终端上传的数据进行保存；数据收集单元适于从数据库中收集实验操作图片和学生在实验操作台进行实验操作的视频数据，实验操作图片包括已标注数据的实验操作图片和未标注数据的实验操作图片；数据处理单元适于对视频数据进行特征点提取和图像分割，得到包含三维信息的实验器材图片，并对收集的实验操作图片进行筛选和处理；模型训练单元适于基于对比学习方法，将实验操作图片和实验器材图片输入预先构建的可视化卷积神经网络中进行训练，得到最优目标检测模型；模型更新部署单元适于将训练得到的最优目标检测模型通过热切换方式进行更新部署；智能评分单元适于将待评分图片输入最优目标检测模型中进行目标检测，并基于目标检测结果得到待评分图片的实验得分。
[0017]可选地，在上述系统中，还可以包括批阅模块、作业模块、知识图谱模块、统计分析模块和个性化推荐模块。其中，批阅模块适于为教师终端或智能评分模块提供批阅接口；作业模块适于为学生终端提供作业练习接口；知识图谱模块适于根据教学大纲图谱和教师终端上传的标签资源数据，对实验知识点或操作点进行分类和关联；统计分析模块适于根据
预设维度对实验知识点、难度、关联度、学生对知识点的掌握程度进行统计分析，并将得到统计分析数据保存到数据库；个性化推荐模块适于根据统计分析模块得到的统计分析数据和智能评分模块得到的评分数据向学生终端提供针对性实验指导。
[0018]该系统可以满足教学场景下日常作业及考试实验操作评价、考试情景下的智能赋分，在减轻教师批改负担的同时，还可以实现学生学习成果的及时反馈、全域学生知识掌握情况的统计、个体学生学习情况的针对性分析，进一步的做到个性化教学。
[0019]根据本专利技术的又一个方面，提供一种计算设备，包括：至少一个处理器；和存储有程序指令的存储器，其中，程序指令被配置为适于由至少一个处理器执行，程序指令包括用于执行上述方法的指令。
...
【技术保护点】
【技术特征摘要】
1.一种基于无监督学习的实验智能评分方法，适于在计算设备中执行，其特征在于，所述方法包括：收集实验操作图片和学生在实验操作台进行实验操作的视频数据，所述实验操作图片包括已标注数据的实验操作图片和未标注数据的实验操作图片；对所述视频数据进行特征点提取和图像分割，得到包含三维信息的实验器材图片；基于对比学习方法，将所述实验操作图片、实验器材图片输入预先构建的可视化卷积神经网络中进行训练，得到最优目标检测模型；将待评分图片输入所述最优目标检测模型中进行目标检测，并基于目标检测结果得到所述待评分图片的实验得分。2.根据权利要求1所述的方法，其特征在于，所述标注数据包括实验操作点或知识点标注数据、实验器材标签数据、实验操作评价数据、实验结果评分数据。3.根据权利要求1所述的方法，其特征在于，所述方法还包括：对收集的实验操作图片进行筛选和处理，以便剔除异常数据、对已标注数据的实验操作图片的标签进行修正、对未标注数据的实验操作图片生成相应的标签。4.根据权利要求3所述的方法，其特征在于，所述对收集的实验操作图片进行筛选和处理的步骤包括：基于聚类算法，对收集的实验操作图片进行异常数据剔除处理；对收集的实验操作图片进行数据扩充，所述数据扩充方法包括镜像、随机裁减、翻转、色彩转换；基于知识图谱网络对收集的无标注数据的实验操作图片生成相应的标签或者对已标注数据的实验操作图片中的标签进行修正。5.根据权利要求1所述的方法，其特征在于，所述基于对比学习方法，将所述实验操作图片、实验器材图片输入预先构建的可视化卷积神经网络中进行训练，得到最优目标检测模型的步骤包括：对实验操作图片和实验器材图片进行不同的数据增强处理，得到第一增强图像和第二增强图像，所述图像增强处理包括翻转、旋转、随机裁剪、随机颜色失真、随机高斯模糊处理；对所述第一增强图像和第二增强图像进行特征提取，得到第一特征向量和第二特征向量；将所述第一特征向量和第二特征向量输入可视化卷积神经网络中进行训练，基于第一特征向量与第二特征向量之间的欧氏距离，计算对比损失函数，其中所述可视化卷积神经网络为基于CAM的弱监督目标检测网络；当所述对比损失函数的损失值小于预定阈值时，得到最优目标检测模型。6.根据权利要求1所述的方法，其特征在于，所述将待评分图片输入所述最优目标检测模型中进行目标检测，得到所述待评分图片的实验得分的步骤包括：将待评分图片输入所述最优目标检测模型中进行目标检测，得到学生动作特征点、实验器材特征点的位置信息；将得到的学生动作特征点和实验器材特征点位置与标准操作步骤中学生动作特征点和实验器材特征点位置进行对比，根据...
【专利技术属性】
技术研发人员：刘利非，刘凯，李丽，郑德欣，杨吉利，
申请(专利权)人：上海锡鼎智能科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。