System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 视频抽帧方法、装置、可读存储介质及设备制造方法及图纸_技高网

视频抽帧方法、装置、可读存储介质及设备制造方法及图纸

技术编号:39982246 阅读:4 留言:0更新日期:2024-01-09 01:37
本发明专利技术提供视频抽帧方法、装置、可读存储介质及设备,包括:待抽帧的视频中按时间顺序随机抽取若干帧图片得到待检测的图片序列;获取待检测的图片序列中各个图片的人物及对应坐标;比较抽取的第一时刻与第二时刻图片中人物的数量,若所述人物的数量相同,将两张图片中各个人物的坐标输入IOU过滤器,得到两张图片中各个人物的坐标的重复率;若重复率大于或等于第一阈值,丢弃第二时刻图片;若重复率低于第一阈值,将第二时刻图片添加至抽帧图片序列;重复抽取新的图片进行上述人物的坐标重复率比较,直至序列中所有图片都完成比较输出抽帧图片序列。上述方法提高了抽取视频帧的任务相关度,并降低了抽取视频帧的冗余度,提高视频审核的效率。

【技术实现步骤摘要】

本专利技术涉及视频检测领域,具体涉及视频抽帧方法、装置、可读存储介质及设备


技术介绍

1、随着大数据的交互,云盘上每天都有大量用户分享视频,其中存在一部分视频违反国家相关法律法规,为保证视频传播良好的网络生态,故需要对用户上传的视频进行审核。而用户上传的视频体量较大,包含的视频帧数量巨大,逐帧审核大量耗费资源,并且相似视频帧的审核导致冗余性明显,故需要对视频抽取部分视频帧进行审核。

2、现有技术中的视频帧抽取基本上为随机抽取,部分抽取的视频帧多为自然景色,与视频审核任务无关,而这些视频帧很容易判断是不违规的,导致额外耗费算力,从而增加后续视频审核的压力,降低视频审核的效率。


技术实现思路

1、基于此,本专利技术提供视频抽帧方法、装置、可读存储介质及设备,筛选出与任务相关的视频帧,并去除重复冗余的视频帧,提高视频审核的效率。

2、第一方面,本专利技术提供一种视频抽帧方法,包括:

3、步骤一,获取待抽帧的视频,并从所述视频中随机抽取若干帧图片,将所述若干帧图片按时间顺序排列得到待检测的图片序列;

4、步骤二,将所述待检测的图片序列逐帧输入人物检测模型得到各个图片中人物及各个人物的坐标;

5、步骤三,从所述待检测的图片序列中抽取第一时刻图片和第二时刻图片,其中第一时刻小于第二时刻;

6、步骤四,比较第一时刻图片与第二时刻图片中人物的数量,若所述人物的数量相同,将第一时刻图片中各个人物的坐标与第二时刻图片中各个人物的坐标输入iou过滤器,得到第一时刻图片中各个人物的坐标与第二时刻图片中各个人物的坐标的重复率;

7、步骤五,若所述重复率大于第一阈值,将第二时刻图片赋值至第一时刻图片,从所述待检测的图片序列中抽取第三时刻图片,将第三时刻图片赋值至第二时刻图片,其中第二时刻小于第三时刻,重复步骤四,直至待检测的图片序列的图片完成比较;

8、步骤六,若所述重复率低于第一阈值,将第二时刻图片添加至抽帧图片序列,从所述待检测的图片序列中抽取第三时刻图片,将第二时刻图片赋值至第一时刻图片,将第三时刻图片赋值至第二时刻图片,其中第二时刻小于第三时刻,重复步骤四,直至待检测的图片序列的图片完成比较;

9、步骤七,若所述待检测的图片序列的所有图片都完成图片中各个人物的坐标重复率比较,输出抽帧图片序列。

10、进一步的,视频抽帧方法还包括:若所述待检测的图片序列逐帧输入人物检测模型,得到图片中的人物数量为0,则丢弃所述图片。

11、进一步的,视频抽帧方法还包括:若所述第一时刻图片与第二时刻图片中人物的数量不相同,将第二时刻图片添加至抽帧图片序列。

12、进一步的,所述人物检测模型的训练方法包括:

13、获取第一图片集合第一图片集合,对所述第一图片集合第一图片集合中各个图片的人物及各个人物的坐标进行标记;

14、将标记后的第一图片集合第一图片集合划分为训练图片集合和验证图片集合;

15、将所述训练图片集合输入人物检测模型进行迭代训练,得到训练后的人物检测模型,并记录所述训练后的人物检测模型的迭代次数;

16、将所述验证图片集合输入至训练后的人物检测模型,得到训练后的人物检测模型的准确率;

17、若所述迭代次数大于第二阈值或所述准确率小于第三阈值,重复将所述训练图片集合输入人物检测模型进行迭代训练,得到训练后的人物检测模型,并记录所述训练后的人物检测模型的迭代次数,直至所述迭代次数小于第二阈值并且所述准确率大于第三阈值;

18、输出训练后准确率最高的人物检测模型。

19、其中,所述人物检测模型为实时目标检测模型。

20、进一步的,所述将第一时刻图片中各个人物的坐标与第二时刻图片中各个人物的坐标输入iou过滤器,得到第一时刻图片中各个人物坐标与第二时刻图片中各个人物坐标的重复率,包括:

21、所述第一时刻图片和第二时刻图片中包括一个或一个以上人物;

22、初始化人物重叠数量,计算第一时刻图片中各个人物坐标与第二时刻图片中各个人物坐标的重复率包括以下步骤:

23、获取第一时刻图片中第一人物的第一坐标,并根据所述第一坐标得到第一人物的第一面积;

24、获取第二时刻图片中第一人物的第二坐标,并根据所述第二坐标得到第一人物的第二面积;

25、根据所述第一坐标和第二坐标得到第一人物在第一时刻图片和第二时刻图片的重叠面积;

26、根据所述第一面积、第二面积和重叠面积得到第一人物的重叠比例,若所述重叠比例大于第四阈值,人物重叠数量增加1;

27、重复上述步骤直至得到第一时刻图片中的各个人物的重叠比例,输出人物重叠数量,并根据所述人物重叠数量和第一时刻图片中的人物的数量得到第一时刻图片中各个人物坐标与第二时刻图片中各个人物坐标的重复率。

28、第二方面,本专利技术还提供一种视频抽帧装置,包括:

29、图片抽取模块,用于获取待抽帧的视频,并从所述视频中随机抽取若干帧图片,将所述若干帧图片按时间顺序排列得到待检测的图片序列;

30、人物及坐标提取模块,用于将所述待检测的图片序列逐帧输入人物检测模型得到各个图片中人物及各个人物的坐标;

31、图片抽取比对模块,用于从所述待检测的图片序列中抽取第一时刻图片和第二时刻图片,其中第一时刻小于第二时刻;

32、重复率计算模块,用于比较第一时刻图片与第二时刻图片中人物的数量,若所述人物的数量相同,将第一时刻图片中各个人物的坐标与第二时刻图片中各个人物的坐标输入iou过滤器,得到第一时刻图片中各个人物坐标与第二时刻图片中各个人物坐标的重复率;

33、人物重复模块,用于若所述重复率大于第一阈值,将第二时刻图片赋值至第一时刻图片,从所述待检测的图片序列中抽取第三时刻图片,将第三时刻图片赋值至第二时刻图片,其中第二时刻小于第三时刻,重复步骤四,直至待检测的图片序列的图片完成比较;

34、人物变化模块,用于若所述重复率低于第一阈值,将第二时刻图片添加至抽帧图片序列,从所述待检测的图片序列中抽取第三时刻图片,将第二时刻图片赋值至第一时刻图片,将第三时刻图片赋值至第二时刻图片,其中第二时刻小于第三时刻,重复执行重复率计算模块,直至待检测的图片序列的图片完成比较;

35、抽帧图片输出模块,用于若所述待检测的图片序列的所有图片都完成图片中各个人物的坐标重复率比较,输出抽帧图片序列。

36、进一步的,所述视频抽帧装置还包括:图片丢弃模块,用于若所述待检测的图片序列逐帧输入人物检测模型,得到图片中的人物数量为0,丢弃所述图片。

37、第三方面,本专利技术还提供一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现第一方面中任一项视频抽帧方法的步骤。

38、第四方面,本专利技术还提供一种计算机设备,包本文档来自技高网...

【技术保护点】

1.一种视频抽帧方法,其特征在于,包括:

2.如权利要求1所述的视频抽帧方法,其特征在于,还包括:

3.如权利要求1所述的视频抽帧方法,其特征在于,还包括:

4.如权利要求1所述的视频抽帧方法,其特征在于,所述人物检测模型的训练方法包括:

5.如权利要求4所述的视频抽帧方法,其特征在于,所述人物检测模型为实时目标检测模型。

6.如权利要求1所述的视频抽帧方法,其特征在于,所述将第一时刻图片中各个人物的坐标与第二时刻图片中各个人物的坐标输入IOU过滤器,得到第一时刻图片中各个人物坐标与第二时刻图片中各个人物坐标的重复率,包括:

7.一种视频抽帧装置,其特征在于,包括:

8.如权利要求7所述的视频抽帧装置,其特征在于,还包括:

9.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1-7中任一项视频抽帧方法的步骤。

10.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时,执行权利要求1-7中任一项视频抽帧方法。

...

【技术特征摘要】

1.一种视频抽帧方法,其特征在于,包括:

2.如权利要求1所述的视频抽帧方法,其特征在于,还包括:

3.如权利要求1所述的视频抽帧方法,其特征在于,还包括:

4.如权利要求1所述的视频抽帧方法,其特征在于,所述人物检测模型的训练方法包括:

5.如权利要求4所述的视频抽帧方法,其特征在于,所述人物检测模型为实时目标检测模型。

6.如权利要求1所述的视频抽帧方法,其特征在于,所述将第一时刻图片中各个人物的坐标与第二时刻图片中各个人物的坐标输入iou过滤器,...

【专利技术属性】
技术研发人员:孙立奋张启帆李佰典高保庆崔伟
申请(专利权)人:天翼数字生活科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1