本发明专利技术提供一种判断烧杯实验是否得分的方法及系统，包括：获取烧杯实验的视频流并进行感兴趣区域检测；感兴趣区域检测得到的多张包含感兴趣区域的图像，构成烧杯实验的感兴趣时段图片集；基于烧杯实验的感兴趣时段图片集，训练全卷积神经网络FCN模型；基于训练好的全卷积神经网络FCN模型，逐帧对感兴趣时段图片集进行强监督目标分类，得到感兴趣时段图片集中每一帧的分类结果；基于感兴趣时段图片集中每一帧的分类结果进行多帧投票，判定该视频流中的实验操作是否得分。本发明专利技术所需要数据大大减少，适用于实际试验操作过程中的视频数据大小；并且，其通过检测感兴趣区域能够很快得关注到目标区域，有效提高了检测精度。有效提高了检测精度。有效提高了检测精度。
【技术实现步骤摘要】
一种判断烧杯实验是否得分的方法及系统
[0001]本专利技术涉及图像处理
，具体地，涉及一种判断烧杯实验是否得分的方法及系统。
技术介绍
[0002]随着上海不断扩招初中生，每年理化实验需要的师资力量也在不断增加。为了缓解这一问题，针对化学实验的“过滤”实验中的判断烧杯尖嘴处紧靠玻璃棒，可以通过建模以采用人工智能的方式进行判断，减少人工操作。
[0003]现有技术中，直接使用卷积神经网络进行二分类，该方法理论上可行，但仍存在以下问题：一，模型很难关注到图像中应该关注的区域，导致模型准确率不高；二，需要大量的样本进行训练，而在实际场景中，获得的数据并多，因此往往不足以训练一个传统的分类模型。
技术实现思路
[0004]针对现有技术中的缺陷，本专利技术的目的是提供一种判断烧杯实验是否得分的方法及系统。
[0005]根据本专利技术的一个方面，提供一种判断烧杯实验是否得分的方法，包括：
[0006]获取烧杯实验的视频流，对所述视频流的实验操作进行感兴趣区域检测，其中，感兴趣区域检测包括：检测是否有烧杯，检测是否有玻璃棒，检测所述烧杯和所述玻璃棒的外接矩是否交集；
[0007]所述感兴趣区域检测得到的多张包含感兴趣区域的图像，构成烧杯实验的感兴趣时段图片集；其中感兴趣时段图片中至少包含烧杯和玻璃棒；
[0008]基于烧杯实验的感兴趣时段图片集，训练全卷积神经网络FCN模型；
[0009]基于训练好的所述全卷积神经网络FCN模型，逐帧对感兴趣时段图片集进行强监督目标分类，得到所述感兴趣时段图片集中每一帧的分类结果，所述分类结果是指所述感兴趣时段图片中烧杯尖嘴处是否紧靠玻璃棒的判断结果；
[0010]基于所述感兴趣时段图片集中每一帧的分类结果进行多帧投票，判定该视频流中的实验操作是否得分，其中，若烧杯尖嘴处紧靠玻璃棒则得分。
[0011]优选地，所述对视频流的实验操作进行感兴趣区域检测，包括：
[0012]将烧杯实验的视频流的图像帧输入到检测模型，判断是否包含感兴趣区域；
[0013]对所述视频流的每一帧图像进行检测，得到N张包含感兴趣区域的图像。
[0014]优选地，所述感兴趣区域的判断条件包括：检测到有烧杯、检测到有玻璃棒以及烧杯和玻璃棒的外接矩有交集；若同时满足这三个条件，则认为是感兴趣区域。
[0015]优选地，所述基于烧杯实验的感兴趣时段图片集，训练全卷积神经网络FCN模型，包括：
[0016]将获得的所述感兴趣时段图片集的多张图像划分为训练集和测试集，采用人工标
注将每张图像分为玻璃棒、烧杯和背景三部分，由这三部分组成该图的标签mask g.t；
[0017]用完成了人工标注的训练集和测试集训练测试FCN模型。
[0018]优选地，所述基于训练好的所述全卷积神经网络FCN模型，逐帧对感兴趣时段图片集进行强监督目标分类，得到所述感兴趣时段图片集中每一帧的分类结果，包括：
[0019]使用训练好的全卷积神经网络FCN模型，获得输入图像的标签mask g.t；
[0020]根据获得的标签mask g.t，在原图中截取四个部分，分别是原图、烧杯、玻璃棒、烧杯和玻璃棒构成的目标，并将所述四部分图片调整至与原图大小一致；
[0021]将所述四部分图片输入到CNN网络，得到四个特征图；
[0022]将所述四个特征图对应的标签mask g.t.调整到与特征图大小一致；将所述特征图与标签mask g.t.上的元素对应相乘，得到新的特征图；
[0023]将得到的四个新的特征图进行均值池化和最大池化，得到四个特征向量，再将四个特征向量拼接在一起；
[0024]将所述拼接在一起的特征向量输入到全连接层和softmax函数进行分类，得到感兴趣时段图片集中每一帧图像的分类结果。
[0025]优选地，所述基于所述感兴趣时段图片集中每一帧的分类结果进行多帧投票，判定该视频流中的实验操作是否得分，包括：
[0026]对所述感兴趣时段图片集的每一帧图像的分类结果进行统计；
[0027]取频次高的分类结果作为最终判断结果。
[0028]优选地，所述分类结果包括两个分类，分别是烧杯尖嘴处紧靠玻璃棒和烧杯尖嘴处未紧靠玻璃棒。
[0029]根据本专利技术的第二个方面，提供一种基于强监督目标分类的得分点评估系统，包括：
[0030]感兴趣区域检测模块，其获取烧杯实验的视频流，对所述视频流的实验操作进行感兴趣区域检测，其中，感兴趣区域检测包括：检测是否有烧杯，检测是否有玻璃棒，检测所述烧杯和所述玻璃棒的外接矩是否交集；
[0031]图片集集成模块，其将所述感兴趣区域检测得到的多张包含感兴趣区域的图像，构成烧杯实验的感兴趣时段图片集；其中感兴趣时段图片中至少包含烧杯和玻璃棒；
[0032]FCN训练模块，其基于烧杯实验的感兴趣时段图片集，训练全卷积神经网络FCN模型；
[0033]单帧判断模块，其基于训练好的所述全卷积神经网络FCN模型，逐帧对感兴趣时段图片集进行强监督目标分类，得到所述感兴趣时段图片集中每一帧的分类结果，所述分类结果是指所述感兴趣时段图片中烧杯尖嘴处是否紧靠玻璃棒的判断结果；
[0034]时序判断模块，其基于所述感兴趣时段图片集中每一帧的分类结果进行多帧投票，判定该视频流中的实验操作是否得分，其中，若烧杯尖嘴处紧靠玻璃棒则得分。
[0035]根据本专利技术的第三个方面，提供一种终端，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时可用于执行上述的判断烧杯实验是否得分的方法，或，运行上述的判断烧杯实验是否得分的系统。
[0036]根据本专利技术的第四方面，提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时可用于执行上述的判断烧杯实验是否得分的方法，或，运行上述的
判断烧杯实验是否得分的系统。
[0037]与现有技术相比，本专利技术实施例具有如下至少一种有益效果：
[0038]本专利技术实施例中的判断烧杯实验是否得分的方法及系统，所需要的数据大大减少，适用于实际试验操作过程中的视频数据大小；并且，其通过检测感兴趣区域能够很快得关注到目标区域，有效提高了检测精度。
[0039]本专利技术实施例中的判断烧杯实验是否得分的方法及系统，能自动实现对试验操作得分与否的评估，节省了大量的人力成本，提高理化实验得分的检测效率。
附图说明
[0040]通过阅读参照以下附图对非限制性实施例所作的详细描述，本专利技术的其它特征、目的和优点将会变得更明显：
[0041]图1为本专利技术一实施例中的判断烧杯实验是否得分的方法的流程图；
[0042]图2为本专利技术一实施例中的判断烧杯实验是否得分的方法的框架图；
[0043]图3为本专利技术一优选实施例中FCN模型结构图；
[0044]图4为本专利技术一优选实施例中four
‑<本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种判断烧杯实验是否得分的方法，其特征在于，包括：获取烧杯实验的视频流，对所述视频流的实验操作进行感兴趣区域检测，所述感兴趣区域检测包括：检测是否有烧杯，检测是否有玻璃棒，检测所述烧杯和所述玻璃棒的外接矩是否交集；所述感兴趣区域检测得到的多张包含感兴趣区域的图像，构成烧杯实验的感兴趣时段图片集，其中感兴趣时段图片中至少包含烧杯和玻璃棒；基于烧杯实验的感兴趣时段图片集，训练全卷积神经网络FCN模型；基于训练好的所述全卷积神经网络FCN模型，逐帧对感兴趣时段图片集进行强监督目标分类，得到所述感兴趣时段图片集中每一帧的分类结果，所述分类结果是指所述感兴趣时段图片中烧杯尖嘴处是否紧靠玻璃棒的判断结果；基于所述感兴趣时段图片集中每一帧的分类结果进行多帧投票，判定该视频流中的实验操作是否得分，其中，若烧杯尖嘴处紧靠玻璃棒则得分。2.根据权利要求1所述的一种判断烧杯实验是否得分的方法，其特征在于，所述对视频流的实验操作进行感兴趣区域检测，包括：将烧杯实验的视频流的图像帧输入到检测模型，判断是否包含感兴趣区域；对所述视频流的每一帧图像进行检测，得到N张包含感兴趣区域的图像。3.根据权利要求2所述的一种判断烧杯实验是否得分的方法，其特征在于，所述感兴趣区域的判断条件包括：检测到有烧杯、检测到有玻璃棒以及烧杯和玻璃棒的外接矩有交集；若同时满足这三个条件，则认为是感兴趣区域。4.根据权利要求1所述的一种判断烧杯实验是否得分的方法，其特征在于，所述基于烧杯实验的感兴趣时段图片集，训练全卷积神经网络FCN模型，包括：将获得的所述感兴趣时段图片集的多张图像划分为训练集和测试集，采用人工标注将每张图像分为玻璃棒、烧杯和背景三部分，由这三部分组成该图的标签mask g.t；用完成了人工标注的训练集和测试集训练测试FCN模型。5.根据权利要求1所述的一种判断烧杯实验是否得分的方法，其特征在于，所述基于训练好的所述全卷积神经网络FCN模型，逐帧对感兴趣时段图片集进行强监督目标分类，得到所述感兴趣时段图片集中每一帧的分类结果，包括：使用训练好的全卷积神经网络FCN模型，获得输入图像的标签mask g.t；根据获得的标签mask g.t，在原图中截取四个部分，分别是原图、烧杯、玻璃棒、烧杯和玻璃棒构成的目标，并将所述四部分图片调整至与原图大小一致；将所述四部分图片输入到CNN网络，得到四个特征图；将所述四...
【专利技术属性】
技术研发人员：吴小彬，叶飞，王劦，江志坚，
申请(专利权)人：上海媒智科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。