视频片段提取方法、视频片段提取装置及存储介质制造方法及图纸

本公开是关于一种视频片段提取方法、视频片段提取装置及存储介质。视频片段提取方法，包括：获取视频，并在视频中采样得到N个视频帧，N为正整数。将N个视频帧输入至预先训练的帧特征提取模型，得到N个视频帧中各视频帧的特征向量。基于预先训练的打分模型确定N个视频帧的分值。基于N个视频帧的分值在视频中提取目标视频片段。通过本公开提供的视频片段提取方法，可以在视频在线获取的过程中根据已获取的视频帧进行抽样提取，进而有助于节省打分模型的计算工作量，便于加快视频片段的提取速率，并当视频完全获取后能够快速提取用户所需的目标视频片段，便于提高用户的使用体验。

【技术实现步骤摘要】
视频片段提取方法、视频片段提取装置及存储介质
本公开涉及视频处理
，尤其涉及一种视频片段提取方法、视频片段提取装置及存储介质。
技术介绍
视频片段的提取可以是针对该视频中的任意一个或多个比较短的视频片段进行提取。例如：提取视频中精彩的视频片段，可以提取该视频中内容相较于其他视频片段的内容更为精彩的一个或多个视频片段。相关技术中，视频的视频片段提取需要将视频完全获取后，才根据视频的内容划分成多个视频片段，并且需要对各个视频片段进行打分，基于各视频片段的分值进行视频片段提取。但是通过该方法提取视频片段，需要通过大量的计算确定各个视频片段的分值，进而导致提取耗时长，影响用户的使用体验。
技术实现思路
为克服相关技术中存在的问题，本公开提供一种视频片段提取方法、视频片段提取装置及存储介质。根据本公开实施例的第一方面，提供一种视频片段提取方法，包括：获取视频，并在所述视频中采样得到N个视频帧，所述N为正整数。将所述N个视频帧输入至预先训练的帧特征提取模型，得到所述N个视频帧中各视频帧的特征向量。基于预先训练的打分模型确定所述N个本文档来自技高网...

【技术保护点】
1.一种视频片段提取方法，其特征在于，所述视频片段提取方法包括：/n获取视频，并在所述视频中采样得到N个视频帧，所述N为正整数；/n将所述N个视频帧输入至预先训练的帧特征提取模型，得到所述N个视频帧中各视频帧的特征向量；/n基于预先训练的打分模型确定所述N个视频帧的分值，其中，针对所述N个视频帧中的第i帧，将以所述第i帧为中心的K个视频帧的特征向量输入至预先训练的打分模型中，得到所述第i帧的分值，所述i为小于或等于N的正整数，所述K为正整数；/n基于所述N个视频帧的分值在所述视频中提取目标视频片段。/n

【技术特征摘要】
1.一种视频片段提取方法，其特征在于，所述视频片段提取方法包括：
获取视频，并在所述视频中采样得到N个视频帧，所述N为正整数；
将所述N个视频帧输入至预先训练的帧特征提取模型，得到所述N个视频帧中各视频帧的特征向量；
基于预先训练的打分模型确定所述N个视频帧的分值，其中，针对所述N个视频帧中的第i帧，将以所述第i帧为中心的K个视频帧的特征向量输入至预先训练的打分模型中，得到所述第i帧的分值，所述i为小于或等于N的正整数，所述K为正整数；
基于所述N个视频帧的分值在所述视频中提取目标视频片段。


2.根据权利要求1所述的视频片段提取方法，其特征在于，所述打分模型基于多帧融合层，以及正片段和负片段组成的数据对训练得到；
所述正片段和负片段组成的数据对基于标注有目标属性的样本视频片段得到，所述目标属性包括表征视频片段为目标视频片段或非目标视频片段的属性，所述多帧融合层用于将K个视频帧的特征向量融合为固定长度向量。


3.根据权利要求2所述的视频片段提取方法，其特征在于，基于所述多帧融合层，以及正片段和负片段组成的数据对训练得到所述打分模型，包括：
在正片段中采样K个视频帧，基于帧特征提取模型提取所述正片段中采样的K个视频帧的特征向量，并在负片段中采样K个视频帧，基于帧特征提取模型提取所述负片段中采样的K个视频帧的特征向量，并
基于所述多帧融合层将所述正片段中采样的K个视频帧的特征向量融合为具有固定长度向量的正片段特征向量，基于所述多帧融合层将所述负片段中采样的K个视频帧融合为具有固定长度向量的负片段特征向量；
将所述正片段特征向量和所述负片段特征向量输入至双生神经网络，得到所述正片段的分值和所述负片段的分值，并利用排序损失进行反向传播，训练得到训练好的双生神经网络；其中，所述双生神经网络包括两个共享参数的多层感知机模型；所述打分模型为所述训练好的双生神经网络的一个多层感知机模型。


4.根据权利要求2或3所述的视频片段提取方法，其特征在于，所述正片段和负片段组成的数据对采用如下方式基于标注有目标属性的样本视频片段得到：
获取包括有一个或多个样本视频片段的样本视频；
基于所述一个或多个样本视频片段所标注的目标属性，以及所述样本视频中包括的非样本视频片段，得到正片段和负片段组成的数据对，其中，正片段成为目标视频片段的可能性大于负片段成为目标视频片段的可能性。


5.根据权利要求4所述的视频片段提取方法，其特征在于，基于所述一个或多个样本视频片段所标注的目标属性，以及所述样本视频中包括的非样本视频片段，得到正片段和负片段组成的数据对，包括：
若所述一个或多个样本视频片段所标注的目标属性包括表征视频片段为目标视频片段的属性，则将所述一个或多个样本视频片段作为正片段，并在所述样本视频中包括的非样本视频片段中提取部分视频片段作为负片段，由所述正片段和所述负片段得到一个或多个数据对；或者
若所述一个或多个样本视频片段所标注的目标属性包括表征视频片段为非目标视频片段的属性，则将所述一个或多个样本视频片段作为负片段，并在所述样本视频中包括的非样本视频片段中提取部分视频片段作为正片段，由所述正片段和所述负片段得到一个或多个数据对；或者
若所述一个或多个样本视频片段所标注的目标属性包括表征视频片段为目标视频片段的属性和表征视频片段为非目标视频片段的属性，将标注表征目标视频片段属性的样本视频片段作为正片段，将标注表征非目标视频片段属性的样本视频片段作为负片段，并在所述样本视频中包括的非样本视频片段中提取部分视频片段，由所述正片段和所述负片段得到数据对，并由所述正片段和所述部分视频片段得到数据对，以及由所述负片段和所述部分视频片段得到数据对。


6.根据权利要求1所述的视频片段提取方法，其特征在于，基于所述N个视频帧的分值在所述视频中提取目标视频片段，包括：
基于固定长度的滑动窗口沿时序在所述视频上滑动得到的多个视频片段，其中，每一滑动窗口对应一个视频片段；
针对每一滑动窗口，分别确定滑动窗口内包括的视频帧平均分值，并将所述视频帧平均分值作为滑动窗口对应视频片段的分值；
基于所述多个视频片段的分值在所述多个视频片段中提取一个或多个目标视频片段。


7.一种视频片段提取装置，其特征在于，所述视频片段提取装置包括：
获取单元，用于获取视频，并在所述视频中采样得到N个视频帧，所述N为正整数；
特征提取单元，用于将所述N个视频帧输入至预先训练的帧特征提取模型，得到所述N个视频帧中各视频帧的特征向量；

【专利技术属性】
技术研发人员：胡佳高，王飞，余鹏飞，周代国，
申请(专利权)人：北京小米松果电子有限公司，
类型：发明
国别省市：北京;11