视频分类方法、装置、电子设备及存储介质制造方法及图纸

技术编号:22330216 阅读:42 留言:0更新日期:2019-10-19 12:17
本公开提供了一种视频分类方法、装置、电子设备及计算机可读存储介质,涉及图像处理技术领域,所述视频分类方法包括:对待处理视频进行稀疏采样得到多个关键帧;通过预设模型中的特征提取网络对所述多个关键帧进行处理,以提取所述多个关键帧的特征;通过所述预设模型中训练好的注意力网络对所述多个关键帧的特征进行融合,并对融合后的特征进行处理得到所述待处理视频的分类结果。本公开能够减少计算量,提高视频分类速度和效率。

Video classification methods, devices, electronic equipment and storage media

【技术实现步骤摘要】
视频分类方法、装置、电子设备及存储介质
本公开涉及图像处理
,具体而言,涉及一种视频分类方法、视频分类装置、电子设备以及计算机可读存储介质。
技术介绍
随着视频技术的发展,用户可以从多种渠道获得各种各样的视频。由于视频的数量过于庞大,通过对视频进行分类处理,能够便于用户查找和使用需要的视频,提高用户体验。相关技术中,视频分类方法可以包括基于长短期记忆网络的方法,基于3D卷积的方法以及基于双流网络的方法。上述几种方式中,由于网络结构较大以及计算的参数量较大,因此处理速度较慢。另外,上述几种方式中,在处理帧间信息时,都会对单独帧进行全局操作,造成计算资源浪费;且由于不能利用帧间的信息,可能导致分类结果不准确。需要说明的是,在上述
技术介绍
部分公开的信息仅用于加强对本公开的背景的理解,因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
技术实现思路
本公开的目的在于提供一种视频分类方法、装置、电子设备及计算机可读存储介质,进而至少在一定程度上克服由于相关技术的限制和缺陷而导致的视频分类速度较慢的问题。本公开的其他特性和优点将通过下面的详细描述变得显然,或部分地通过本公开的实践而习得。根据本公开的一个方面,提供一种视频分类方法,包括:对待处理视频进行稀疏采样得到多个关键帧;通过预设模型中的特征提取网络对所述多个关键帧进行处理,以提取所述多个关键帧的特征;通过所述预设模型中训练好的注意力网络对所述多个关键帧的特征进行融合,并对融合后的特征进行处理得到所述待处理视频的分类结果。在本公开的一种示例性实施例中,所述特征提取网络包括残差网络,通过预设模型中的特征提取网络对所述多个关键帧进行处理,以提取所述多个关键帧的特征包括:将所述多个关键帧作为一个批,并将所述批输入所述残差网络中,以提取所述多个关键帧的所述特征。在本公开的一种示例性实施例中,通过所述预设模型中训练好的注意力网络对所述多个关键帧的特征进行融合,并对融合后的特征进行处理得到所述待处理视频的分类结果包括:将所述多个关键帧的特征输入所述训练好的注意力网络,得到融合后的特征;根据所述融合后的特征确定所述待处理视频属于每个类别的概率,以根据所述概率确定所述分类结果。在本公开的一种示例性实施例中,将所述多个关键帧的特征输入所述训练好的注意力网络,得到融合后的特征之前,所述方法还包括:将所述残差网络固定,并对所述注意力网络进行训练,以得到所述训练好的注意力网络。在本公开的一种示例性实施例中,所述方法还包括:在得到所述训练好的注意力网络之后,对所述预设模型进行训练,得到训练好的预设模型。在本公开的一种示例性实施例中,对所述预设模型进行训练,得到训练好的预设模型包括:对所述预设模型进行端到端的训练,以得到所述训练好的预设模型。在本公开的一种示例性实施例中,所述方法还包括:基于回归损失对所述训练好的预设模型进行压缩;和/或对所述训练好的预设模型的参数类型进行调整。根据本公开的一个方面,提供一种视频分类装置,包括:关键帧获取模块,用于对待处理视频进行稀疏采样得到多个关键帧;特征提取模块,用于通过预设模型中的特征提取网络对所述多个关键帧进行处理,以提取所述多个关键帧的特征;分类结果确定模块,用于通过所述预设模型中训练好的注意力网络对所述多个关键帧的特征进行融合,并对融合后的特征进行处理得到所述待处理视频的分类结果。根据本公开的一个方面,提供一种电子设备,包括:处理器;以及存储器,用于存储所述处理器的可执行指令;其中,所述处理器配置为经由执行所述可执行指令来执行上述任意一项所述的视频分类方法。根据本公开的一个方面,提供一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述任意一项所述的视频分类方法。本示例性实施例提供的视频分类方法、装置、电子设备及计算机可读存储介质中,通过提取待处理视频的关键帧的特征,并利用注意力网络对多个关键帧的特征进行融合,从而对待处理视频进行分类。一方面,通过预设模型中的特征提取网络提取待处理视频的多个关键帧的特征,减少了输入至特征提取网络的参数,并且由于特征提取网络的网络结构较小,减少了处理的参数的数量,避免了相关技术中提取待处理视频的所有帧的特征造成的时间浪费,提高了提取特征的速度,提高了处理效率。另一方面,利用注意力网络对多个关键帧的特征进行融合以得到待处理视频的分类结果,能够对多个关键帧的特征进行融合以统一处理不同帧之间的信息,避免了相关技术中会对每个单独的关键帧进行全局操作的步骤,减少了对计算资源的浪费,降低了资源消耗;并且能够有效利用帧间信息,因此能够对待处理视频进行准确分类,提高分类结果的精准度。应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。附图说明此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理。显而易见地,下面描述中的附图仅仅是本公开的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。图1示意性示出本公开示例性实施例中视频分类方法的示意图。图2示意性示出本公开示例性实施例预设模型的结构示意图。图3示意性示出本公开示例性实施例中确定分类结果的流程图。图4示意性示出本公开示例性实施例中对视频进行分类的整体流程图。图5示意性示出本公开示例性实施例中视频分类装置的框图。图6示意性示出本公开示例性实施例中的电子设备的示意图。具体实施方式现在将参考附图更全面地描述示例实施方式。然而,示例实施方式能够以多种形式实施,且不应被理解为限于在此阐述的范例;相反,提供这些实施方式使得本公开将更加全面和完整,并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。在下面的描述中,提供许多具体细节从而给出对本公开的实施方式的充分理解。然而,本领域技术人员将意识到,可以实践本公开的技术方案而省略所述特定细节中的一个或更多,或者可以采用其它的方法、组元、装置、步骤等。在其它情况下,不详细示出或描述公知技术方案以避免喧宾夺主而使得本公开的各方面变得模糊。此外,附图仅为本公开的示意性图解,并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分,因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体,不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体,或在一个或多个硬件模块或集成电路中实现这些功能实体,或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。本示例性实施例中,首先提供了一种视频分类方法,该视频分类方法可以应用于对照片、视频或者是图片进行分类的任何场景。接下来,参考图1所示,对本示例性实施例中的视频分类方法进行详细说明。在步骤S110中,对待处理视频进行稀疏采样得到多个关键帧。本示例性实施例中,待处理视频可以包括终端中某个文件夹存储的大量视频(例如智能终端相册中的视频),或者是某些信息交互平台中上传和存储的大量视频。待处理视频的具体类型可根据实际的操作功能需求而确定,例如在需要分类时,待处理视频指的是待分类的视频。由于待处理视频的连续帧间存在的差本文档来自技高网...

【技术保护点】
1.一种视频分类方法,其特征在于,包括:对待处理视频进行稀疏采样得到多个关键帧;通过预设模型中的特征提取网络对所述多个关键帧进行处理,以提取所述多个关键帧的特征;通过所述预设模型中训练好的注意力网络对所述多个关键帧的特征进行融合,并对融合后的特征进行处理得到所述待处理视频的分类结果。

【技术特征摘要】
1.一种视频分类方法,其特征在于,包括:对待处理视频进行稀疏采样得到多个关键帧;通过预设模型中的特征提取网络对所述多个关键帧进行处理,以提取所述多个关键帧的特征;通过所述预设模型中训练好的注意力网络对所述多个关键帧的特征进行融合,并对融合后的特征进行处理得到所述待处理视频的分类结果。2.根据权利要求1所述的视频分类方法,其特征在于,所述特征提取网络包括残差网络,通过预设模型中的特征提取网络对所述多个关键帧进行处理,以提取所述多个关键帧的特征包括:将所述多个关键帧作为一个批,并将所述批输入所述残差网络中,以提取所述多个关键帧的所述特征。3.根据权利要求1所述的视频分类方法,其特征在于,通过所述预设模型中训练好的注意力网络对所述多个关键帧的特征进行融合,并对融合后的特征进行处理得到所述待处理视频的分类结果包括:将所述多个关键帧的特征输入所述训练好的注意力网络,得到融合后的特征;根据所述融合后的特征确定所述待处理视频属于每个类别的概率,以根据所述概率确定所述分类结果。4.根据权利要求1所述的视频分类方法,其特征在于,将所述多个关键帧的特征输入所述训练好的注意力网络,得到融合后的特征之前,所述方法还包括:将所述残差网络固定,并对所述注意力网络进行训练,以得到所述训练好的注意力网络。5.根据权利要求1...

【专利技术属性】
技术研发人员:康健
申请(专利权)人:OPPO广东移动通信有限公司
类型:发明
国别省市:广东,44

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1