一种结合目标跟踪的理化生智能赋分系统及方法技术方案

本发明专利技术属于智能实验技术领域，本发明专利技术公开了一种结合目标跟踪的理化生智能赋分系统及方法，用于采集预先收集目标器材，以及对所述目标器材进行操作的关联图片数据集；关联图片数据集中对应的目标试验图片进行识别获取赋分标注点；将所述赋分标注点与所述目标器材进行匹配；用于获取每个目标试验图片上所述赋分标注点实施任意一个遮挡物的待识别区域；建立目标跟踪网络，使用目标跟踪图像数据集对所述目标跟踪网络进行训练；将训练好的目标跟踪网络用于识别所述待识别区域中的遮挡物，并对待识别区域进行赋分评估；并对评估好的赋分指标进行计算，将计算后的赋分发送至数据接收端

【技术实现步骤摘要】
一种结合目标跟踪的理化生智能赋分系统及方法


[0001]本专利技术涉及智能实验
，更具体地说，本专利技术涉及一种结合目标跟踪的理化生智能赋分系统及方法
。

技术介绍

[0002]现在初高中理化生实验考试考评中，主要通过专业老师现场对考生进行评分，但是专业老师无法做到一人一专业教师进行现场评分，而且不同的专业老师，其评分准则及要求也是不同的，存在评价标准不统一和不公正的问题，且大大增加时间成本以及人力成本，存在一定的缺陷
。
[0003]随着深度学习的兴起，计算机视觉技术得到了不断的发展，其中尤为显著的便是以目标检测和实例分割为代表的物体检测技术，在各行各业都有着不错的落地方案，常见的智能考评方案多基于目标检测，通过检测框的相对位置及变化来判断一些实验操作的正确与否
。
在实验过程中，通过传统的目标检测实时监测变化过程或者学生动作，可以需要捕捉化学试剂颜色以及状态的变化是否符合正确操作时的现象，以及对短时遮挡的目标进行断
。
[0004]但是在实际实验场景相对复杂，可能存在多个试剂同时变化或者当前试剂与其他物体重叠的情况下，很难实现准确的目标检测和跟踪，这种场景下很容易误判，并且跟踪的实时性效果较差，且模型计算量大
。
[0005]鉴于此，提供一种结合目标跟踪的理化生智能赋分系统及方法，将目标检测
、
跟踪
、
动作判断等不同的计算机视觉技术整合到一个统一的系统中，以实现全面的实验考评
。
专利
技术实现思路

[0006]为了克服现有技术的问题，本专利技术提出一种结合目标跟踪的理化生智能赋分系统及方法
。
[0007]为实现上述目的，本专利技术提供如下技术方案：第一方面，本专利技术提供一种结合目标跟踪的理化生智能赋分方法，包括：
[0008]用于采集预先收集目标器材，以及对所述目标器材进行操作的关联图片数据集；
[0009]将目标器材进行编号，所述关联图片数据集中对应的目标试验图片进行识别获取赋分标注点；将所述赋分标注点与所述目标器材进行匹配；
[0010]用于获取每个目标试验图片上所述赋分标注点实施任意一个遮挡物的待识别区域；
[0011]建立目标跟踪网络，使用目标跟踪图像数据集对所述目标跟踪网络进行训练；将训练好的目标跟踪网络用于识别所述待识别区域中的遮挡物，并对待识别区域进行赋分评估；
[0012]用于获取每个考生对应的所有评估好的赋分指标，并对评估好的赋分指标进行计算，将计算后的赋分发送至数据接收端
。
[0013]作为本专利技术的一种优选技术方案，所述目标器材包括用于理化生智能考试中的器材；
[0014]所述关联图片数据集包括通过使用目标器材进行目标检测的图片数据集
。
[0015]作为本专利技术的一种优选技术方案，所述关联图片数据集的获取逻辑包括：
[0016]采集目标检测中需要识别的目标器材和目标试验视频；所述目标试验视频为通过所述目标器材进行目标检测的关联操作视频；
[0017]所述目标试验视频根据预设时间帧进行视频抽帧处理，获得目标试验图片，基于所述图标试验图片进行识别处理，获得理化生智能考试中赋分标注点，所述赋分标注点包括所述目标器材的状态信息以及考生的动作信息；
[0018]基于赋分标注点对所述目标试验图片通过标注框进行标注，生成第一目标图像，基于所述第一目标图像进行目标跟踪的操作制作相应的关联图片数据集
。
[0019]作为本专利技术的一种优选技术方案，所述第一目标图像进行目标跟踪的具体操作逻辑为：
[0020]所述第一目标图像包括至少一个目标赋分图像，所述目标赋分图像为第一目标图像中的一个赋分标注点，所述目标赋分图像的个数与所述赋分标注点的个数相同；
[0021]基于时间戳，提取相邻所述目标试验图片中的所述目标赋分图像，根据所述目标赋分图像对应所述赋分标注点记录所述目标器材的运动轨迹，基于运动轨迹获取的所述目标赋分图像对应的数据集为目标跟踪图像数据集；
[0022]基于目标跟踪图像数据集进行随机采样，使用来自同一张图像的随机所述目标器材作为遮挡物，所述目标赋分图像作为场景的背景；
[0023]模拟跟踪所述赋分标注点和所述遮挡物的轨迹，并在预设时间段内用高斯噪声修改赋分标注点对应的目标速度以及运动方向，以生成更多的目标跟踪图像；
[0024]将所有的所述目标跟踪图像进行整合生成目标跟踪图像数据集
。
[0025]作为本专利技术的一种优选技术方案，建立目标跟踪网络，使用目标跟踪图像数据集对所述目标跟踪网络进行训练；
[0026]所述目标跟踪网络包括卷积层
、
循环层；
[0027]所述卷积层，将所述目标跟踪对象嵌入的卷积层；
[0028]所述循环层，记录所述目标跟踪对象的外形以及所述目标器材的运动轨迹和速度信息，输出下一帧该目标的位置信息
。
[0029]作为本专利技术的一种优选技术方案，所述目标跟踪对象嵌入的卷积层的具体操作逻辑为：
[0030]在读取视频进行赋分操作时，针对不同的实验选取不同的目标跟踪对象，使用卷积网络对目标赋分图像的原始像素中提取特征；
[0031]根据目标跟踪对象对应的跟踪目标位置，获取当前帧和前一帧图像中的预处理特征，并将前一帧图像中的预处理特征标记为第一预处理特征，当前帧图像中的预处理特征标记为第二预处理特征；
[0032]基于卷积神经网络分析第一预处理特征和第二预处理特征，提取不同层次的目标处理特征，并对目标处理特征进行差异计算，以获取它们之间的差异，通过学习这些差异，获取运动轨迹对于跟踪目标像素的影响；
[0033]基于卷积神经网络的层次结构，训练所述目标跟踪图像数据集，提取不同层次的特征向量或特征图，并进行输出
。
[0034]作为本专利技术的一种优选技术方案，所述循环层包括两层
LSTM
网络结构单元；
[0035]构建两层
LSTM
网络结构单元，捕捉图像特征中的细胞状态；
[0036]基于图像特征中的细胞状态记录所述目标跟踪对象的外形以及所述目标器材的运动轨迹和速度信息，从而获得最终的目标跟踪预测结果
。
[0037]作为本专利技术的一种优选技术方案，两层
LSTM
网络结构单元的应用逻辑为：
[0038]基于第一层的
LSTM
网络结构单元计算当前时刻的细胞状态和输出；
[0039]第二层的
LSTM
网络结构单元则进一步使用前两个时间步的输出来影响第一层的细胞状态更新
。
[0040]第二方面，本专利技术提供一种结合目标跟踪的理化生智能赋分系统，基于任意一项所述的一种结合目标跟踪的理化生智能赋分方法，包括：
[0041]数据采集模块，用于采集预先收集目标器材，以及对所述目本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种结合目标跟踪的理化生智能赋分方法，其特征在于，包括：用于采集预先收集目标器材，以及对所述目标器材进行操作的关联图片数据集；将目标器材进行编号，所述关联图片数据集中对应的目标试验图片进行识别获取赋分标注点；将所述赋分标注点与所述目标器材进行匹配；用于获取每个目标试验图片上所述赋分标注点实施任意一个遮挡物的待识别区域；建立目标跟踪网络，使用目标跟踪图像数据集对所述目标跟踪网络进行训练；将训练好的目标跟踪网络用于识别所述待识别区域中的遮挡物，并对待识别区域进行赋分评估；用于获取每个考生对应的所有评估好的赋分指标，并对评估好的赋分指标进行计算，将计算后的赋分发送至数据接收端
。2.
根据权利要求1所述的一种结合目标跟踪的理化生智能赋分方法，其特征在于，所述目标器材包括用于理化生智能考试中的器材；所述关联图片数据集包括通过使用目标器材进行目标检测的图片数据集
。3.
根据权利要求2所述的一种结合目标跟踪的理化生智能赋分方法，其特征在于，所述关联图片数据集的获取逻辑包括：采集目标检测中需要识别的目标器材和目标试验视频；所述目标试验视频为通过所述目标器材进行目标检测的关联操作视频；所述目标试验视频根据预设时间帧进行视频抽帧处理，获得目标试验图片，基于所述图标试验图片进行识别处理，获得理化生智能考试中赋分标注点，所述赋分标注点包括所述目标器材的状态信息以及考生的动作信息；基于赋分标注点对所述目标试验图片通过标注框进行标注，生成第一目标图像，基于所述第一目标图像进行目标跟踪的操作制作相应的关联图片数据集
。4.
根据权利要求3所述的一种结合目标跟踪的理化生智能赋分方法，其特征在于，所述第一目标图像进行目标跟踪的具体操作逻辑为：所述第一目标图像包括至少一个目标赋分图像，所述目标赋分图像为第一目标图像中的一个赋分标注点，所述目标赋分图像的个数与所述赋分标注点的个数相同；基于时间戳，提取相邻所述目标试验图片中的所述目标赋分图像，根据所述目标赋分图像对应所述赋分标注点记录所述目标器材的运动轨迹，基于运动轨迹获取的所述目标赋分图像对应的数据集为目标跟踪图像数据集；基于目标跟踪图像数据集进行随机采样，使用来自同一张图像的随机所述目标器材作为遮挡物，所述目标赋分图像作为场景的背景；模拟跟踪所述赋分标注点和所述遮挡物的轨迹，并在预设时间段内用高斯噪声修改赋分标注点对应的目标速度以及运动方向，以生成更多的目标跟踪图像；将所有的所述目标跟踪图像进行整合生成目标跟踪图像数据集
。5.
根据权利要求4所述的一种结合目标跟踪的理化生智能赋分方法，其特征在于，建立目标跟踪网络，使用目标跟踪图像数据集对所述目标跟踪网络进行训练；所述目标跟踪网络包括卷积层
、
循环层；所述卷积层，将所述目标跟踪对象嵌入的卷积层；所述循环层，记录所述目标跟踪对象的外形以及所述目标器材的运动轨迹和速度信息，输出下一帧该目标的位置信息
。
6.

【专利技术属性】
技术研发人员：刘凯，李丽，李静，
申请(专利权)人：上海锡鼎智能科技有限公司，
类型：发明
国别省市：