视频特征提取模型训练、视频特征提取方法和装置制造方法及图纸

本公开关于一种视频特征提取模型训练、视频特征提取方法、装置、服务器及存储介质，所述方法包括：获取样本视频，生成所述样本视频的视频帧集合和对应的样本标签；所述样本标签用于标记所述视频帧集合中的异常帧；将所述视频帧集合输入至待训练的异常帧识别模型，得到异常帧识别结果；根据所述异常帧识别结果和所述样本标签之间的差异，对所述待训练的异常帧识别模型的网络参数进行调整，直至调整后的异常帧识别模型满足预设的模型训练条件；将所述调整后的异常帧识别模型中的所述特征提取网络，作为训练好的视频特征提取模型，用于提取待处理视频的目标视频特征。采用本公开能够降低视频特征处理模型的训练成本。

【技术实现步骤摘要】
视频特征提取模型训练、视频特征提取方法和装置
本公开涉及计算机
，尤其涉及一种视频特征提取模型训练、视频特征提取方法、装置、服务器及存储介质。
技术介绍
随着计算机技术的发展，出现了视频拍摄和视频处理技术。通过视频处理技术可对拍摄的视频进行一系列特征处理，使得提取到的视频特征可满足用户的各种需求。例如，实现视频分类、视频分割和视频描述等多种不同类型的视频任务。相关技术中，往往会采用基于有监督学习进行训练得到的深度学习网络来对视频进行一系列特征提取处理，然而采用有监督学习的模型训练方式往往需要依赖具有高质量的标注数据，这提高了模型训练投入的成本。
技术实现思路
本公开提供一种视频特征提取模型训练、视频特征提取方法、装置、服务器及存储介质，以至少解决相关技术中的模型训练成本高的问题。本公开的技术方案如下：根据本公开实施例的第一方面，提供一种视频特征提取模型训练方法，所述方法包括：获取样本视频，生成所述样本视频的视频帧集合和对应的样本标签；所述样本标签用于标记所述视频帧集合中的异常帧；将所述视频帧集合输入至待训练的异常帧识别模型，得到异常帧识别结果；所述异常帧识别结果为通过所述待训练的异常帧识别模型中的特征提取网络，对所述视频帧集合进行特征提取，得到样本视频特征，并通过所述待训练的异常帧识别模型中的特征识别网络，根据所述样本视频特征对所述视频帧集合中的异常帧进行识别所得到的结果；根据所述异常帧识别结果和所述样本标签之间的差异，对所述待训练的异常帧识别模型的网络参数进行调整，直至调整后的异常帧识别模型满足预设的模型训练条件；将所述调整后的异常帧识别模型中的所述特征提取网络，作为训练好的视频特征提取模型，用于提取待处理视频的目标视频特征。在一种可能实现方式中，所述生成所述样本视频的视频帧集合和对应的样本标签，包括：从所述样本视频中提取出预设数目的样本视频帧；根据所述预设数目的样本视频帧，生成所述样本视频的视频帧集合。在一种可能实现方式中，所述根据所述预设数目的样本视频帧，生成所述样本视频的视频帧集合，包括：当所述视频帧集合的样本类型为正样本时，将所述预设数目的样本视频帧，作为所述样本视频的视频帧集合；当所述视频帧集合的样本类型为负样本时，将所述预设数目的样本视频帧中的至少一帧视频帧替换为所述异常帧，得到预设数目的替换后样本视频帧；将所述预设数目的替换后样本视频帧，作为所述样本视频的视频帧集合。在一种可能实现方式中，所述异常帧识别模型中的所述特征提取网络包括图像特征提取层和特征融合层；所述将所述视频帧集合输入至待训练的异常帧识别模型，得到异常帧识别结果，包括：通过所述特征提取网络的图像特征提取层，分别对所述视频帧集合中的各视频帧进行图像特征提取，得到各所述视频帧对应的图像特征；通过所述特征提取网络的特征融合层，对各所述视频帧的图像特征进行融合，得到融合后特征；将所述融合后特征，作为所述样本视频特征。在一种可能实现方式中，所述通过所述特征提取网络的特征融合层，对各所述视频帧的图像特征进行融合，得到融合后特征，包括：获取各所述视频帧的图像特征对应的权重值；基于所述权重值，对各所述视频帧的图像特征进行加权处理；对加权后的各所述视频帧的图像特征进行融合处理，得到所述融合后特征。在一种可能实现方式中，所述根据所述异常帧识别结果和所述样本标签之间的差异，对所述待训练的异常帧识别模型的网络参数进行调整，包括：根据所述异常帧识别结果和所述样本标签之间的差异，获取所述待训练的异常帧识别模型的模型损失值；根据所述模型损失值调整所述待训练的异常帧识别模型的网络参数，直至所述模型损失值低于预设阈值时，确定调整后的异常帧识别模型满足所述训练条件。根据本公开实施例的第二方面，提供一种视频特征提取方法，所述方法包括：获取待处理视频，从所述待处理视频中抽取至少一帧视频帧，得到所述待处理视频的视频帧集合；将所述视频帧集合输入至训练好的视频特征提取模型，得到所述待处理视频的目标视频特征；所述训练好的视频特征提取模型为根据如第一方面或第一方面的任一种可能实现方式所述的视频特征提取模型训练方法训练得到的。根据本公开实施例的第三方面，提供一种视频特征提取模型训练装置，包括：第一获取单元，被配置为执行获取样本视频，生成所述样本视频的视频帧集合和对应的样本标签；所述样本标签用于标记所述视频帧集合中的异常帧；输入单元，被配置为执行将所述视频帧集合输入至待训练的异常帧识别模型，得到异常帧识别结果；所述异常帧识别结果为通过所述待训练的异常帧识别模型中的特征提取网络，对所述视频帧集合进行特征提取，得到样本视频特征，并通过所述待训练的异常帧识别模型中的特征识别网络，根据所述样本视频特征对所述视频帧集合中的异常帧进行识别所得到的结果；参数调整单元，被配置为执行根据所述异常帧识别结果和所述样本标签之间的差异，对所述待训练的异常帧识别模型的网络参数进行调整，直至调整后的异常帧识别模型满足预设的模型训练条件；确定单元，被配置为执行将所述调整后的异常帧识别模型中的所述特征提取网络，作为训练好的视频特征提取模型，用于提取待处理视频的目标视频特征。在一种可能实现方式中，所述第一获取单元，具体被配置为执行从所述样本视频中提取出预设数目的样本视频帧；根据所述预设数目的样本视频帧，生成所述样本视频的视频帧集合。在一种可能实现方式中，所述第一获取单元，具体被配置为执行当所述视频帧集合的样本类型为正样本时，将所述预设数目的样本视频帧，作为所述样本视频的视频帧集合；当所述视频帧集合的样本类型为负样本时，将所述预设数目的样本视频帧中的至少一帧视频帧替换为所述异常帧，得到预设数目的替换后样本视频帧；将所述预设数目的替换后样本视频帧，作为所述样本视频的视频帧集合。在一种可能实现方式中，所述异常帧识别模型中的所述特征提取网络包括图像特征提取层和特征融合层；所述输入单元，具体被配置为执行通过所述特征提取网络的图像特征提取层，分别对所述视频帧集合中的各视频帧进行图像特征提取，得到各所述视频帧对应的图像特征；通过所述特征提取网络的特征融合层，对各所述视频帧的图像特征进行融合，得到融合后特征；将所述融合后特征，作为所述样本视频特征。在一种可能实现方式中，所述输入单元，具体被配置为执行获取各所述视频帧的图像特征对应的权重值；基于所述权重值，对各所述视频帧的图像特征进行加权处理；对加权后的各所述视频帧的图像特征进行融合处理，得到所述融合后特征。在一种可能实现方式中，所述参数调整单元，具体被配置为执行根据所述异常帧识别结果和所述样本标签之间的差异，获取所述待训练的异常帧识别模型的模型损失值；根据所述模型损失值调整所述待训练的异常帧识别模型的网络参数，直至所述模型损失值低于预设阈值时，确定调整后的异常帧识别模型满足所述训练条件。...

【技术保护点】
1.一种视频特征提取模型训练方法，其特征在于，所述方法包括：/n获取样本视频，生成所述样本视频的视频帧集合和对应的样本标签；所述样本标签用于标记所述视频帧集合中的异常帧；/n将所述视频帧集合输入至待训练的异常帧识别模型，得到异常帧识别结果；所述异常帧识别结果为通过所述待训练的异常帧识别模型中的特征提取网络，对所述视频帧集合进行特征提取，得到样本视频特征，并通过所述待训练的异常帧识别模型中的特征识别网络，根据所述样本视频特征对所述视频帧集合中的异常帧进行识别所得到的结果；/n根据所述异常帧识别结果和所述样本标签之间的差异，对所述待训练的异常帧识别模型的网络参数进行调整，直至调整后的异常帧识别模型满足预设的模型训练条件；/n将所述调整后的异常帧识别模型中的所述特征提取网络，作为训练好的视频特征提取模型，用于提取待处理视频的目标视频特征。/n

【技术特征摘要】
1.一种视频特征提取模型训练方法，其特征在于，所述方法包括：
获取样本视频，生成所述样本视频的视频帧集合和对应的样本标签；所述样本标签用于标记所述视频帧集合中的异常帧；
将所述视频帧集合输入至待训练的异常帧识别模型，得到异常帧识别结果；所述异常帧识别结果为通过所述待训练的异常帧识别模型中的特征提取网络，对所述视频帧集合进行特征提取，得到样本视频特征，并通过所述待训练的异常帧识别模型中的特征识别网络，根据所述样本视频特征对所述视频帧集合中的异常帧进行识别所得到的结果；
根据所述异常帧识别结果和所述样本标签之间的差异，对所述待训练的异常帧识别模型的网络参数进行调整，直至调整后的异常帧识别模型满足预设的模型训练条件；
将所述调整后的异常帧识别模型中的所述特征提取网络，作为训练好的视频特征提取模型，用于提取待处理视频的目标视频特征。


2.根据权利要求1所述的视频特征提取模型训练方法，其特征在于，所述生成所述样本视频的视频帧集合和对应的样本标签，包括：
从所述样本视频中提取出预设数目的样本视频帧；
根据所述预设数目的样本视频帧，生成所述样本视频的视频帧集合。


3.根据权利要求1所述的视频特征提取模型训练方法，其特征在于，所述异常帧识别模型中的所述特征提取网络包括图像特征提取层和特征融合层；
所述将所述视频帧集合输入至待训练的异常帧识别模型，得到异常帧识别结果，包括：
通过所述特征提取网络的图像特征提取层，分别对所述视频帧集合中的各视频帧进行图像特征提取，得到各所述视频帧对应的图像特征；
通过所述特征提取网络的特征融合层，对各所述视频帧的图像特征进行融合，得到融合后特征；
将所述融合后特征，作为所述样本视频特征。


4.根据权利要求1所述的视频特征提取模型训练方法，其特征在于，所述根据所述异常帧识别结果和所述样本标签之间的差异，对所述待训练的异常帧识别模型的网络参数进行调整，包括：
根据所述异常帧识别结果和所述样本标签之间的差异，获取所述待训练的异常帧识别模型的模型损失值；
根据所述模型损失值调整所述待训练的异常帧识别模型的网络参数，直至所述模型损失值低于预设阈值时，确定调整后的异常帧识别模型满足所述训练条件。


5.一种视频特征提取方法，其特征在于，所述方法包括：
获取待处理视频，
从所述待处理视频中抽取至少一帧视频帧，得到所述待处理视频的视频帧集合；
将所述视频帧集合输入至训练好的...

【专利技术属性】
技术研发人员：吴翔宇，
申请(专利权)人：北京达佳互联信息技术有限公司，
类型：发明
国别省市：北京;11