【技术实现步骤摘要】
基于时空特征的理化实验操作行为识别方法
[0001]本专利技术涉及行为识别
，特别涉及一种基于时空特征的理化实验操作行为识别方法。
技术介绍
[0002]推行学生实验操作考试，强化学生实践操作是教育教学改革进程中学生素质教育的要求。实验操作技能考试的特殊性决定了其信度和效率不仅与试题的质量、评分标准的科学合理性密切相关，而且离不开评分方法的精准度和可靠性。为保障实验操作技能考试精准度和可靠性，需要正确识别学生实验操作的各种行为，进一步对学生实验行为进行量化测量与评价。
[0003]学生的动作识别是学生实验行为识别的关键。目前动作识别通过对预先分割好的时域序列进行时空信息建模，从而学习视频中所包含的表象和运动信息，以此来建立视频内容与动作类别之间的映射关系，使得计算机能够有效地胜任视频理解的任务。相比于图像分类任务而言，视频中的动作识别多出一个待处理的时序维度。因此，如何捕获视频帧之间所包含时序信息是动作识别的重点。动作识别方法主要包括两类：基于传统手工特征的方法和基于深度学习的方法。传统的动作识别方法依据特征的...
【技术保护点】
【技术特征摘要】
1.基于时空特征的理化实验操作行为识别方法，其特征在于：按如下步骤进行步骤一、确定所要识别的实验操作行为的物理化学实验及其所有涉及的实验器材，通过摄像装置对实验人完成的物理化学实验过程进行视频采集，对物理化学实验操作实验视频进行稀疏等时间间隔采样，获得一系列实验结果图片；步骤二、通过计算机中已经训练好的深度学习网络YOLOv5对实验人的实验结果图片进行识别，识别出实验人的物理化学实验操作实验器材及其空间位置和实验操作时间点；步骤三、根据识别出实验人的物理化学实验操作实验器材及其空间位置和实验操作时间点判断实验操作激活的事件Em和实验状态变化明显程度Vmij，m为实验器材编号，所有涉及的实验器材从0开始进行编号，m为连续的整数，i为事件E起始时间，j为事件E终止时间；步骤四、统计某一时间段k内实验操作激活的事件数量TE和实验器材状态变化程度TV，当TE＞TH
E
且TV＞TH
V
时，则认为该时间段为实验操作的关键步骤，TH
E
为实验关键步骤实验操作事件激活数量判决阈值，TH
V
为实验关键步骤器材状态变化程度判决阈值；步骤五、根据理化实验操作关键步骤数量和关键步骤发生的时间段将理化实验操作实验视频划分为若干视频片段，关键步骤数量即为划分视频片段数量，关键步骤发生的时间段即为视频片段持续时间，对划分好的若干视频片段分别进行动态采样得到关键实验操作信息数据集，动态采样率根据实验操作激活事件数量和实验器材变化程度确定；步骤六、通过计算机中已经训练好的深度学习双流网络模型对实验人的实验操作进行识别，识别出实验人的实验操作行为。2.根据权利要求1所述的基于时空特征的理化实验操作行为识别方法，其特征在于：计算机中已经训练好的深度学习网络YOLOv5是指，深度学习网络YOLOv5识别实验人的实验结果图片前，通过摄像装置对大量正确完成的物理化学实验过程进行视频采集形成正确实验过程视频，对正确实验过程操作视频进行稀疏等时间间隔采样获得一系列实验操作结果图片，实验人实验过程视频进行等时间间隔采样时的时间间隔与正确实验过程操作视频进行等时间间隔采样的时间间隔相同，采用图像标定工具软件LabelImg对每个正确实验过程实验器材即实验器材信息原始数据集进行标注，标注内容包括名称、中心坐标、长和宽，得到实验器材信息标签数据集；将实验器材信息原始数据集分实验器材信息原始训练数据集和实验器材信息原始验证数据集，对应的将实验器材标签数据集分为实验器材标签训练数据集和实验器材标签验证数据集，用深度学习网络YOLOv5对实验器材信息原始训练数据集和实验器材标签训练数据集进行识别模型训练，用实验器材信息原始验证数据集和实验器材标签训练数据集对训练好的识别模型进行验证，得到可以正确识别实验器材的识别模型。3.根据权利要求1所述的基于时空特征的理化实验操作行为识别方法，其特征在于：步骤三中，判断实验操作激活的事件Em和实验状态变化明显程度Vmij是指，根据识别出实验人的物理化学实验操作实验器材及其空间位置和实验操作时间点得到实验器材中心坐标和以及实验器材长和宽，记为Bmi＝<Xmi,Ymi,Wmi,Hmi>,其中Xmi表示m实验器材i时刻中心水平方向归一化坐标，Ymi表示m器材i时刻中心垂直方向...
【专利技术属性】
技术研发人员：王曙红，李付江，杨京晶，郝思飞，
申请(专利权)人：太原智林信息技术股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。