视频片段分类模型构建方法、系统、电子设备及存储介质技术方案

本发明专利技术提出一种视频片段分类模型构建方法、系统、电子设备及存储介质，其方法技术方案包括第一模型训练步骤，获取用于训练的一视频集，并获取所述视频集中的视频的标注数据，根据所述标注数据训练得到一第一模型；训练集预过滤步骤，使用所述第一模型对所述视频集中不符合一预设规则的所述视频进行过滤；视频特征获取步骤，使用一第二模型对过滤后的所述视频集进行预测，获取所述视频集的特征；分类模型构建步骤，根据所述视频集的特征，通过反向传播构建一视频片段分类模型。本发明专利技术解决了现有视频片段分类方法不灵活、且对标签和类别问题考虑欠缺的问题。

【技术实现步骤摘要】
视频片段分类模型构建方法、系统、电子设备及存储介质
本专利技术属于机器学习领域，尤其涉及一种视频片段分类模型构建方法、系统、电子设备及存储介质。
技术介绍
在当下一个多媒体技术广泛应用的时代，图像和视频类型的多媒体素材在日常生活中大量涌现，在一些短视频网站，用户会上传大量自己制作的视频，每个视频在不同的片段，会表达着不同的含义，如果模型可以自动的识别一个视频中不同片段分别代表着什么含义，那么对于视频的理解将会更加的深刻，有助于促进视频推荐、视频搜索的发展。现有技术使用预训练模型提取视频的特征，使用inception来提取视频每一帧的特征，然后对这些特征进行聚合的操作，针对音频特征，也使用预训练模型，比如vggish，来提取音频的特征，并把音频特征与视频特征进行交互，最后使用分类器进行处理。但是针对视频库比较大的情况，如果对所有的视频片段进行分类的话，那么推断的时间会非常长，不方便模型的上线部署；其次，没有考虑标签之间的关系，并且对于类别比较相似的情况下，现有方法的识别效果不佳。
技术实现思路
本申请实施例提供了一种视频片段分类模型构建方法、系统、电子设备及存储介质，以至少解决现有视频片段分类方法不灵活、且对标签和类别问题考虑欠缺的问题。第一方面，本申请实施例提供了一种视频片段分类模型构建方法，包括：第一模型训练步骤，获取用于训练的一视频集，并获取所述视频集中的视频的标注数据，根据所述标注数据训练得到一第一模型；训练集预过滤步骤，使用所述第一模型对所述视频集中不符合一预设规则的所述视频进行过滤；视频特征获取步骤，使用一第二模型对过滤后的所述视频集进行预测，获取所述视频集的特征；分类模型构建步骤，根据所述视频集的特征，通过反向传播构建一视频片段分类模型。优选的，所述视频特征获取步骤包括：第一特征获取步骤，获取所述视频集中所述视频的图像特征和音频特征，并将所述图像特征和所述音频特征进行交互得到一第一特征。优选的，所述视频特征获取步骤包括：第二特征获取步骤，使用一树模型学习所述视频集中所述视频的所述标注数据之间的关系，并基于所述标注数据之间的关系得到一第二特征。优选的，所述视频特征获取步骤包括：第三特征获取步骤，计算所述视频集中所述视频的类别余弦距离，并根据所述余弦距离得到一第三特征。第二方面，本申请实施例提供了一种视频片段分类模型构建系统，适用于上述一种视频片段分类模型构建方法，包括：第一模型训练模块，获取用于训练的一视频集，并获取所述视频集中的视频的标注数据，根据所述标注数据训练得到一第一模型；训练集预过滤模块，使用所述第一模型对所述视频集中不符合一预设规则的所述视频进行过滤；视频特征获取模块，使用一第二模型对过滤后的所述视频集进行预测，获取所述视频集的特征；分类模型构建模块，根据所述视频集的特征，通过反向传播构建一视频片段分类模型。在其中一些实施例中，所述视频特征获取模块包括：第一特征获取单元，获取所述视频集中所述视频的图像特征和音频特征，并将所述图像特征和所述音频特征进行交互得到一第一特征。在其中一些实施例中，所述视频特征获取模块包括：第二特征获取单元，使用一树模型学习所述视频集中所述视频的所述标注数据之间的关系，并基于所述标注数据之间的关系得到一第二特征。在其中一些实施例中，所述视频特征获取模块包括：第三特征获取单元，计算所述视频集中所述视频的类别余弦距离，并根据所述余弦距离得到一第三特征。第三方面，本申请实施例提供了一种电子设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述第一方面所述的一种视频片段分类模型构建方法。第四方面，本申请实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述第一方面所述的一种视频片段分类模型构建方法。本专利技术可应用于推荐
相比于相关技术，本申请实施例提供的一种视频片段分类模型构建方法针对视频的时间片段定位，充分利用原本的视频信息，降低计算的复杂度；通过图神经网络或者机器学习的方法，来学习每个类别之间的权重，加入到模型的特征中；针对一些类别特征比较模糊的情况，扩大不同类别之间的差距，提高模型的效果，增强模型对模糊类别的识别。附图说明此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：图1为本专利技术的视频片段分类模型构建方法流程图；图2为图1中步骤S3的分步骤流程图；图3为本专利技术的视频片段分类模型构建系统的框架图；图4为本专利技术的电子设备的框架图；以上图中：1、第一模型训练模块；2、训练集预过滤模块；3、视频特征获取模块；4、分类模型构建模块；31、第一特征获取单元；32、第二特征获取单元；33、第三特征获取单元；60、总线；61、处理器；62、存储器；63、通信接口。具体实施方式为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行描述和说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。基于本申请提供的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。显而易见地，下面描述中的附图仅仅是本申请的一些示例或实施例，对于本领域的普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图将本申请应用于其他类似情景。此外，还可以理解的是，虽然这种开发过程中所作出的努力可能是复杂并且冗长的，然而对于与本申请公开的内容相关的本领域的普通技术人员而言，在本申请揭露的
技术实现思路
的基础上进行的一些设计，制造或者生产等变更只是常规的技术手段，不应当理解为本申请公开的内容不充分。在本申请中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域普通技术人员显式地和隐式地理解的是，本申请所描述的实施例在不冲突的情况下，可以与其它实施例相结合。除非另作定义，本申请所涉及的技术术语或者科学术语应当为本申请所属
内具有一般技能的人士所理解的通常意义。本申请所涉及的“一”、“一个”、“一种”、“该”等类似词语并不表示数量限制，可表示单数或复数。本申请所涉及的术语“包括”、“包含”、“具有”以及它们任何变形，意图在于覆盖不排他的包含；例如包含了一系列步骤或模块(单元)的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可以还包括没有列出的步骤或单元，或可以还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。以下，结合附图详细介绍本专利技术的实施例：图1为本专利技术的视频片段分类模型构建方法流程图，请参见图1，本专利技术视频片段分类模型构建方法包本文档来自技高网...

【技术保护点】
1.一种视频片段分类模型构建方法，其特征在于，包括：/n第一模型训练步骤，获取用于训练的一视频集，并获取所述视频集中的视频的标注数据，根据所述标注数据训练得到一第一模型；/n训练集预过滤步骤，使用所述第一模型对所述视频集中不符合一预设规则的所述视频进行过滤；/n视频特征获取步骤，使用一第二模型对过滤后的所述视频集进行预测，获取所述视频集的特征；/n分类模型构建步骤，根据所述视频集的特征，通过反向传播构建一视频片段分类模型。/n

【技术特征摘要】
1.一种视频片段分类模型构建方法，其特征在于，包括：
第一模型训练步骤，获取用于训练的一视频集，并获取所述视频集中的视频的标注数据，根据所述标注数据训练得到一第一模型；
训练集预过滤步骤，使用所述第一模型对所述视频集中不符合一预设规则的所述视频进行过滤；
视频特征获取步骤，使用一第二模型对过滤后的所述视频集进行预测，获取所述视频集的特征；
分类模型构建步骤，根据所述视频集的特征，通过反向传播构建一视频片段分类模型。


2.如权利要求1所述的视频片段分类模型构建方法，其特征在于，所述视频特征获取步骤包括：
第一特征获取步骤，获取所述视频集中所述视频的图像特征和音频特征，并将所述图像特征和所述音频特征进行交互得到一第一特征。


3.如权利要求1所述的视频片段分类模型构建方法，其特征在于，所述视频特征获取步骤包括：
第二特征获取步骤，使用一树模型学习所述视频集中所述视频的所述标注数据之间的关系，并基于所述标注数据之间的关系得到一第二特征。


4.如权利要求1所述的视频片段分类模型构建方法，其特征在于，所述视频特征获取步骤包括：
第三特征获取步骤，计算所述视频集中所述视频的类别余弦距离，并根据所述余弦距离得到一第三特征。


5.一种视频片段分类模型构建系统，其特征在于，包括：
第一模型训练模块，获取用于训练的一视频集，并获取所述视频集中的视频的标注数据，根据所述标注数据训练得到一第一模型；
...

【专利技术属性】
技术研发人员：张鹏涛，景艳山，
申请(专利权)人：北京明略软件系统有限公司，
类型：发明
国别省市：北京;11