【技术实现步骤摘要】
本专利技术涉及视频处理，具体涉及一种视频裁剪处理方法、装置、计算设备及存储介质。
技术介绍
1、在中学理化生实验中，有些通过摄像头实时采集的额实验视频中包含了大量的与实验操作无关的无用信息。在智能赋分系统中，如果将具有大量干扰信息的视频数据直接输入系统会耗费大量的gpu资源。
2、因此，需要去除实验视频中与实验操作内容无关的信息。例如，无实验操作画面长时间没有变化，或者只有背景发生变化时，为了区分有效片段和无效片段，需要考虑前后帧像素点的变化或任意目标的移动。
3、现有技术中对于视频中无效信息的处理主要有目标追踪和运动检测方法。对于目标追踪方案，在选定一物体后，在有该物体的帧图中将其裁剪后再与前后帧合并。这种方案不适用于理化生实验考试中，因为在实验操作过程中会出现多人和多个物体，很难通过追踪其中一个目标完成裁剪，而同时追踪多个目标则会影响视频处理的效率。对于运动检测方案，在比较相近帧图的像素点差异时计算量大，且像素点差异与是否有实验操作无关联。像素点差异大时，可能是背景变化而无实验操作，而有细微的实验操作变化时，可能像素点差异小于阈值，从而影响视频裁剪的精确度。且上述方法依赖于前后帧的变化，对单一帧图片无法判断其状态。
技术实现思路
1、为了提高视频读取效率，本方案提供了一种视频裁剪处理方法、装置、计算设备及存储介质，通过指数增加跳帧帧数提升读帧效率，同时通过指数减少跳帧帧数确保视频裁剪的准确性。
2、根据本专利技术的第一方面，提供一种视频裁剪处
3、通过上述技术方案，通过判断实验视频帧中是否有实验操作，即通过识别所有实验器材识别框中心点是否在实验操作区域内，按照指数增加跳帧帧数或指数减少跳帧帧数的方法，读取视频帧，能够提高实验视频读取的效率。
4、可选地，在本专利技术提供的视频裁剪处理方法中，可以根据实验场景、实验器材的数量和尺度，选择faster r-cnn、yolov、efficientdet中任意一种多目标检测模型定位实验帧图中的各个实验器材识别框和实验操作区域框。
5、可选地，在本专利技术提供的视频裁剪处理方法中，遍历所有实验器材识别框，计算每个实验器材识别框的中心点坐标；逐帧比对实验器材识别框的中心点坐标与实验操作区域框的左上角坐标和右下角坐标，判断实验器材是否在实验操作区域内；如果所有实验器材识别框的中心点均不在实验操作区域内，则判断为无实验操作；如果存在实验器材中心点在实验操作区域内，则判断为有实验操作。
6、可选地，在本专利技术提供的视频裁剪处理方法中，如果读取的帧图中无实验操作则指数增加跳帧帧数，直到达到最大跳帧数；如果读取的帧图中有实验操作则返回至跳帧前的帧并指数减少跳帧帧数；从返回帧开始按照更新后的跳帧帧数读取视频帧，直到确定出目标裁剪点。
7、通过指数减小跳帧来确保算法的准确性，不跳过过多的帧数以至于裁剪包含实验操作的部分。在无实验操作片段中，跳帧数会逐步变大，在大幅跳帧至越过目标裁剪点后，则返帧且减小跳帧数。跳帧数逐步减小后，会慢慢接近目标裁剪点并收敛。
8、可选地，在本专利技术提供的视频裁剪处理方法中，设当前跳帧帧数为为2a，若未返帧，则将跳帧数设定为min(2a+1，128)，下一帧跳至k+min(2a+1，128)；若已返帧，跳帧数最大阈值降至max(1，2a-1)，下一帧跳至k+max(1，2a-1)。
9、可选地，在本专利技术提供的视频裁剪处理方法中，若跳帧前判断无实验操作，而跳帧后判断有实验操作，且跳帧数小于预设值，则将更新后的跳帧帧数作为目标裁剪点。
10、可选地，在本专利技术提供的视频裁剪处理方法中，对于无实验操作的视频片段按照目标裁剪点逐帧读取视频至智能赋分系统；对于有实验操作的视频片段逐帧读取视频至智能赋分系统。
11、根据本专利技术的第二方面，提供了一种视频裁剪处理装置，包括：初始化模块、目标识别模块、判断模块、裁剪点检测模块和裁剪模块。
12、其中，初始化模块，用于获取待裁剪的实验视频，设置初始化连续读帧帧数和跳帧帧数，按照所述连续读帧帧数和跳帧帧数读取实验过程中的俯视帧图；
13、目标识别模块，用于通过目标检测模型检测读取的俯视帧图中所有实验器材识别框和实验操作区域框；
14、判断模块，用于基于实验操作区域框内和实验器材识别框的位置关系判断读取的俯视帧图是否有实验操作；
15、裁剪点检测模块，用于根据读取的俯视帧图中是否有实验操作增加跳帧帧数或返帧后减少跳帧帧数，直到检测到目标裁剪点；
16、裁剪模块，用于将目标裁剪点存档，基于目标裁剪点裁剪实验视频。
17、根据本专利技术的第三方面，提供一种计算设备，包括：至少一个处理器；和存储有程序指令的存储器，其中，程序指令被配置为适于由至少一个处理器执行，程序指令包括用于执行上述视频裁剪处理方法的指令。
18、根据本专利技术的第四方面，提供一种存储有程序指令的可读存储介质，当程序指令被计算设备读取并执行时，使得计算设备执行上述的视频裁剪处理方法。
19、根据本专利技术的方案，通过指数增加跳帧帧数提升读帧效率，同时通过指数减少跳帧帧数确保视频裁剪的准确性，本方案不依赖于连续帧图之间的相互关系，可对单帧图片中是否有实验操作进行准确判断，并提升读帧的效率。
20、上述说明仅是本专利技术技术方案的概述，为了能够更清楚了解本专利技术的技术手段，而可依照说明书的内容予以实施，并且为了让本专利技术的上述和其它目的、特征和优点能够更明显易懂，以下特举本专利技术的具体实施方式。
本文档来自技高网...【技术保护点】
1.一种视频裁剪处理方法，其特征在于，包括：
2.根据权利要求1所述的视频裁剪处理方法，其特征在于，所述通过目标检测模型检测所述俯视帧图中所有实验器材识别框和实验操作区域框的步骤包括：
3.根据权利要求1所述的视频裁剪处理方法，其特征在于，所述基于所述实验操作区域框内和实验器材识别框的位置关系判断所述俯视帧图是否有实验操作的步骤包括：
4.根据权利要求1所述的视频裁剪处理方法，其特征在于，所述根据所述俯视帧图中是否有实验操作增加跳帧帧数或返帧后减少跳帧帧数，直到检测到目标裁剪点的步骤包括：
5.根据权利要求4所述的视频裁剪处理方法，其特征在于，所述根据所述俯视帧图中是否有实验操作增加跳帧帧数或返帧后减少跳帧帧数，直到检测到目标裁剪点的步骤包括：
6.根据权利要求4所述的视频裁剪处理方法，其特征在于，所述从返回帧开始按照更新后的跳帧帧数读取视频帧，直到确定出目标裁剪点的步骤包括：
7.根据权利要求1所述的视频裁剪处理方法，其特征在于，所述将所述目标裁剪点存档，基于所述目标裁剪点裁剪实验视频的步骤包括：
<...【技术特征摘要】
1.一种视频裁剪处理方法，其特征在于，包括：
2.根据权利要求1所述的视频裁剪处理方法，其特征在于，所述通过目标检测模型检测所述俯视帧图中所有实验器材识别框和实验操作区域框的步骤包括：
3.根据权利要求1所述的视频裁剪处理方法，其特征在于，所述基于所述实验操作区域框内和实验器材识别框的位置关系判断所述俯视帧图是否有实验操作的步骤包括：
4.根据权利要求1所述的视频裁剪处理方法，其特征在于，所述根据所述俯视帧图中是否有实验操作增加跳帧帧数或返帧后减少跳帧帧数，直到检测到目标裁剪点的步骤包括：
5.根据权利要求4所述的视频裁剪处理方法，其特征在于，所述根据所述俯视帧图中是...
【专利技术属性】
技术研发人员：刘凯，杨吉利，朱剑，
申请(专利权)人：上海锡鼎智能科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。