System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 一种视频分类方法、模型训练方法和系统技术方案_技高网

一种视频分类方法、模型训练方法和系统技术方案

技术编号:40139605 阅读:8 留言:0更新日期:2024-01-23 23:24
本发明专利技术公开了一种视频分类方法、模型训练方法和系统,其中,视频分类方法包括获取多个不同分辨率的目标视频,其中,多个不同分辨率的目标视频基于待分类视频转换得到;将多个不同分辨率的目标视频输入分类模型,由分类模型根据输入的目标视频,分别提取每个目标视频的特征,并对提取到的多个目标视频的特征进行融合,得到融合特征,以及基于融合特征,对待分类视频进行类别预测。可以提高视频分类的准确度。

【技术实现步骤摘要】

本专利技术涉及人工智能,具体涉及一种视频分类方法、模型训练方法和系统


技术介绍

1、随着人工智能技术的发展,在很多场景中,实现了对视频进行自动分类的技术。比如,对于短视频平台来说,可以根据短视频的内容,自动将短视频划分为搞笑、美食、时尚、旅游等类别,使得用户可以根据兴趣进行短视频查看,提高了用户体验。又比如,在医学领域的超声心动检查中,可以根据超声心动视频中的视频图像,将被检查者的超声心动视频自动划分为正常和不正常两类。医护人员可重点关注不正常类别的超声心动视频。如此,可以避免医护人员人工对超声心动视频进行分类,减少医护人员工作量。

2、但在一些技术中,视频分类技术还存在准确性不高的问题。


技术实现思路

1、有鉴于此,本专利技术实施方式提供了一种视频分类方法、模型训练方法、视频分类系统和计算机可读存储介质,可以提高视频分类的准确性。

2、本专利技术一方面提供了一种视频分类方法,所述方法包括:

3、获取多个不同分辨率的目标视频,其中,所述多个不同分辨率的目标视频基于待分类视频转换得到;及

4、将所述多个不同分辨率的目标视频输入分类模型,由所述分类模型根据输入的目标视频,分别提取每个所述目标视频的特征,并对提取到的多个所述目标视频的特征进行融合,得到融合特征,以及基于所述融合特征,对所述待分类视频进行类别预测。

5、在一些实施例中,所述分类模型包括多个用于对所述目标视频进行特征提取的特征提取模块,其中,不同分辨率的所述目标视频由不同的所述特征提取模块进行特征提取。

6、在一些实施例中,对于任一所述目标视频,通过如下方法对该目标视频进行特征提取:

7、从该目标视频中提取出多个目标视频片段;

8、对该目标视频的多个所述目标视频片段分别进行特征提取,得到对应的多个特征向量,作为该目标视频的特征。

9、在一些实施例中,所述从该目标视频中提取出多个目标视频片段,包括:

10、提取所述目标视频中的各个视频帧的帧特征,并基于提取的所述帧特征,生成对应的视频帧的帧标签;所述帧标签用于表征所述视频帧归属的类别;

11、统计具备相同帧标签的连续视频帧,并根据所述连续视频帧对应的时间点,确定所述目标视频片段的起始时间点。

12、本专利技术另一方面还提供了一种模型训练方法,所述方法包括:

13、获取多个不同分辨率的目标视频样本,其中,所述多个不同分辨率的目标视频样本基于待分类视频样本转换得到,所述待分类视频样本具有类别标注信息,所述类别标注信息用于表征所述待分类视频样本的类别;及

14、将所述多个不同分辨率的目标视频样本输入待训练的分类模型,由所述分类模型根据输入的目标视频样本,分别提取每个所述目标视频样本的特征,并对提取到的多个所述目标视频样本的特征进行融合,得到融合特征,以及基于所述融合特征,对所述待分类视频样本的类别进行预测,若预测结果与所述类别标注信息不一致,调整所述分类模型的至少部分参数。

15、在一些实施例中,所述分类模型包括已完成参数调整的特征提取模块,所述目标视频样本的特征由所述特征提取模块进行提取,其中,所述特征提取模块基于如下方法得到:

16、将所述目标视频样本输入待训练的特征提取模型,基于所述类别标注信息,对所述特征提取模型进行训练,其中,所述特征提取模型包括待训练的特征提取模块;

17、待所述特征提取模型训练完成,将所述特征提取模型中的特征提取模块作为所述分类模型的特征提取模块。

18、在一些实施例中,所述对所述特征提取模型进行训练,包括:

19、从所述目标视频样本提取出多个目标视频片段样本;

20、对所述目标视频样本的多个所述目标视频片段样本分别进行特征提取,得到对应的多个特征向量样本;

21、将所述多个特征向量样本融合,得到融合特征样本,并基于所述类别标注信息,对所述特征提取模型进行训练。

22、在一些实施例中,所述待分类视频样本还具有来源标注信息,所述来源标注信息用于表征所述待分类视频样本的来源;其中,

23、在训练过程中,针对所述分类模型预测的来源和标注的来源,计算来源损失,并基于所述来源损失,通过梯度下降法对所述分类模型的类别分类器进行参数更新,以及通过梯度上升法对所述分类模型的来源分类器进行参数更新。

24、本专利技术另一方面还提供了一种计算机可读存储介质,所述计算机可读存储介质用于存储计算机程序,所述计算机程序被处理器执行时,实现如上所述的方法。

25、本专利技术另一方面还提供了一种视频分类系统,所述视频分类系统包括处理器和存储器,所述存储器用于存储计算机程序,所述计算机程序被所述处理器执行时,实现如上所述的方法。

26、在本申请的一些实施例中,分类模型通过对待分类视频转换得到的多个不同分辨率的目标视频进行特征提取和融合,融合后的特征具有更强的表征能力,基于融合特征对待分类视频进行类别预测,结果更加准确。

本文档来自技高网...

【技术保护点】

1.一种视频分类方法,其特征在于,所述方法包括:

2.如权利要求1所述的方法,其特征在于,所述分类模型包括多个用于对所述目标视频进行特征提取的特征提取模块,其中,不同分辨率的所述目标视频由不同的所述特征提取模块进行特征提取。

3.如权利要求1所述的方法,其特征在于,对于任一所述目标视频,通过如下方法对该目标视频进行特征提取:

4.如权利要求3所述的方法,其特征在于,所述从该目标视频中提取出多个目标视频片段,包括:

5.一种模型训练方法,其特征在于,所述方法包括:

6.如权利要求5所述的模型训练方法,其特征在于,所述分类模型包括已完成参数调整的特征提取模块,所述目标视频样本的特征由所述特征提取模块进行提取,其中,所述特征提取模块基于如下方法得到:

7.如权利要求6所述的方法,其特征在于,所述对所述特征提取模型进行训练,包括:

8.如权利要求6所述的方法,其特征在于,所述待分类视频样本还具有来源标注信息,所述来源标注信息用于表征所述待分类视频样本的来源;其中,

9.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质用于存储计算机程序,所述计算机程序被处理器执行时,实现如权利要求1至4或如权利要求5至8中任一所述的方法。

10.一种视频分类系统,其特征在于,所述视频分类系统包括处理器和存储器,所述存储器用于存储计算机程序,所述计算机程序被所述处理器执行时,实现如权利要求1至4或如权利要求5至8中任一所述的方法。

...

【技术特征摘要】

1.一种视频分类方法,其特征在于,所述方法包括:

2.如权利要求1所述的方法,其特征在于,所述分类模型包括多个用于对所述目标视频进行特征提取的特征提取模块,其中,不同分辨率的所述目标视频由不同的所述特征提取模块进行特征提取。

3.如权利要求1所述的方法,其特征在于,对于任一所述目标视频,通过如下方法对该目标视频进行特征提取:

4.如权利要求3所述的方法,其特征在于,所述从该目标视频中提取出多个目标视频片段,包括:

5.一种模型训练方法,其特征在于,所述方法包括:

6.如权利要求5所述的模型训练方法,其特征在于,所述分类模型包括已完成参数调整的特征提取模块,所述目标视频样本的特征由所述特征提取模块进行提取...

【专利技术属性】
技术研发人员:殷晨张弘毅甘从贵骆伟
申请(专利权)人:无锡祥生医疗科技股份有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1