视频片段提取方法、视频片段提取装置及存储介质制造方法及图纸

本公开是关于一种视频片段提取方法、视频片段提取装置及计算机可读存储介质。视频片段提取方法包括：获取视频，并将视频划分为多个片段。将多个片段输入至预先训练的打分模型，得到各个片段的分值，其中，打分模型基于正片段和负片段组成的数据对训练得到，正片段和负片段组成的数据对基于标注有目标属性的标注片段得到，目标属性包括表征片段为目标片段或非目标片段的属性。基于各个片段的分值在多个片段中提取目标片段。本公开中打分模型是基于精准标注并具有明确目标属性的标注片段训练而成的，进而能够对获取的视频的各个片段进行准确打分，区分各个片段之间的差异，有助于快速提取用户希望观看的目标片段，从而提升用户体验。

【技术实现步骤摘要】
视频片段提取方法、视频片段提取装置及存储介质
本公开涉及视频处理
，尤其涉及一种视频片段提取方法、视频片段提取装置及计算机可读存储介质。
技术介绍
随着网络技术的快速发展，大量视频的产生，极大丰富了人们的日常生活。但由于时间等因素，导致用户无法完整观看视频时，人们希望能够在短时间内通过浏览视频的部分片段(例如精彩片段)以快速获取该视频的主要内容。相关技术中，训练提取视频片段的模型，利用模型提取视频中的目标片段，例如提取视频的精彩片段。然而目前训练提取视频片段的模型的数据中含有大量的噪声数据，需要复杂的网络结构以提高片段选取的准确性，导致用户在使用该训练好的模型提取视频片段时，无法快速准确获取到需要的片段，影响用户的使用体验。且由于噪声数据过多，导致训练难度大，训练成本高，无法在短时间内快速获得有效的视频片段提取模型。
技术实现思路
为克服相关技术中存在的问题，本公开提供一种视频片段提取方法、视频片段提取装置及计算机可读存储介质。根据本公开实施例的第一方面，提供一种视频片段提取方法，包括：获取视频，并将所述视频划分为多个片段。将所述多个片段输入至预先训练的打分模型，得到所述各个片段的分值，其中，所述打分模型基于正片段和负片段组成的数据对训练得到，所述正片段和负片段组成的数据对基于标注有目标属性的标注片段得到，所述目标属性包括表征片段为目标片段或非目标片段的属性。基于所述各个片段的分值在所述多个片段中提取目标片段。在一实施例中，所述正片段和负片段组成的数据对采用如下方式基于标注有目标属性的标注片段得到：获取包括有一个或多个标注片段的样本视频。基于所述一个或多个标注片段所标注的目标属性，以及所述样本视频中包括的非标注片段，得到正片段和负片段组成的数据对，其中，正片段成为目标片段的可能性大于负片段成为目标片段的可能性。在另一实施例中，基于所述一个或多个标注片段所标注的目标属性，以及所述样本视频中包括的非标注片段，得到正片段和负片段组成的数据对，包括：若所述一个或多个标注片段所标注的目标属性包括表征片段为目标片段的属性，则将所述一个或多个标注片段作为正片段，并在所述样本视频中包括的非标注片段中提取部分片段作为负片段，得到正片段和负片段组成的一个或多个数据对。或者若所述一个或多个标注片段所标注的目标属性包括表征片段为非目标片段的属性，则将所述一个或多个标注片段作为负片段，并在所述样本视频中包括的非标注片段中提取部分片段作为正片段，得到正片段和负片段组成的一个或多个数据对。或者若所述一个或多个标注片段所标注的目标属性包括表征片段为目标片段的属性和表征片段为非目标片段的属性，将标注表征目标片段属性的标注片段作为正片段，将标注表征非目标片段属性的标注片段作为负片段，并在所述样本视频中包括的非标注片段中提取部分片段，得到正片段和负片段组成的一个或多个数据对；其中，所述数据对至少包括以下数据对之一或组合：所述正片段和所述负片段组成的数据对、所述正片段和所述部分片段作为负片段组成的数据对、或者所述负片段和所述部分片段作为正片段组成的数据对。在又一实施例中，所述打分模型采用如下方式基于正片段和负片段组成的数据对训练得到：基于视频理解模型提取正片段和负片段组成的数据对中正片段的特征向量和负片段的特征向量。将所述正片段特征向量和所述负片段特征向量输入至双生神经网络，得到所述正片段的分值和所述负片段的分值，并利用排序损失进行反向传播，训练得到训练好的双生神经网络；其中，所述双生神经网络包括两个共享参数的多层感知机模型；所述打分模型为所述训练好的双生神经网络的一个多层感知机模型。在又一实施例中，将所述多个片段输入至预先训练的打分模型，得到所述各个片段的分值，包括：将所述多个片段输入至视频理解模型，基于视频理解模型提取所述多个片段中各个片段的特征向量，并将所述各个片段的特征向量输入至多层感知机模型，得到所述各个片段的分值。在又一实施例中，所述将所述视频划分为多个片段，包括：采用视频镜头边界检测法，将所述视频划分为多个片段，得到所述视频的多个片段；或者基于滑动窗口将所述划分为多个片段，得到所述视频的多个所述片段。根据本公开实施例的第二方面，提供一种视频片段提取装置，包括：获取单元，用于获取视频，并将所述视频划分为多个片段。评估单元，用于将所述多个片段输入至预先训练的打分模型，得到所述各个片段的分值，其中，所述打分模型基于正片段和负片段组成的数据对训练得到，所述正片段和负片段组成的数据对基于标注有目标属性的标注片段得到，所述目标属性包括表征片段为目标片段或非目标片段的属性。提取单元，用于基于所述各个片段的分值在所述多个片段中提取目标片段。在一实施例中，所述正片段和负片段组成的数据对采用如下方式基于标注有目标属性的标注片段得到：获取包括有一个或多个标注片段的样本视频。基于所述一个或多个标注片段所标注的目标属性，以及所述样本视频中包括的非标注片段，得到正片段和负片段组成的数据对，其中，正片段成为目标片段的可能性大于负片段成为目标片段的可能性。在另一实施例中，所述正片段和负片段组成的数据对采用如下方式基于所述一个或多个标注片段所标注的目标属性，以及所述样本视频中包括的非标注片段，得到正片段和负片段组成的数据对：若所述一个或多个标注片段所标注的目标属性包括表征片段为目标片段的属性，则将所述一个或多个标注片段作为正片段，并在所述样本视频中包括的非标注片段中提取部分片段作为负片段，得到正片段和负片段组成的一个或多个数据对。或者若所述一个或多个标注片段所标注的目标属性包括表征片段为非目标片段的属性，则将所述一个或多个标注片段作为负片段，并在所述样本视频中包括的非标注片段中提取部分片段作为正片段，得到正片段和负片段组成的一个或多个数据对。或者若所述一个或多个标注片段所标注的目标属性包括表征片段为目标片段的属性和表征片段为非目标片段的属性，将标注表征目标片段属性的标注片段作为正片段，将标注表征非目标片段属性的标注片段作为负片段，并在所述样本视频中包括的非标注片段中提取部分片段，得到正片段和负片段组成的一个或多个数据对；其中，所述数据对至少包括以下数据对之一或组合：所述正片段和所述负片段组成的数据对、所述正片段和所述部分片段作为负片段组成的数据对、或者所述负片段和所述部分片段作为正片段组成的数据对。在又一实施例中，所述打分模型采用如下方式基于正片段和负片段组成的数据对训练得到：基于视频理解模型提取正片段和负片段组成的数据对中正片段的特征向量和负片段的特征向量。将所述正片段特征向量和所述负片段特征向量输入至双生神经网络，得到所述正片段的分值和所述负片段的分值，并利用排序损失进行反向传播，训练得到训练好的双生神经网络；其中，所述双生神经网络包括两个共享参数的多层感知机模型；所述打分模型为所述训练好的双生神经网络的一个多层感知机模型。在又一实施例中，所述评估单元采用下述方式将所述多个片段输入至预先训练的打分模型，得到所述各个片段的分值：将所述多个片段输入至视频理解模型，基于视频理解模型提取所述多个片段中各个片本文档来自技高网...

【技术保护点】
1.一种视频片段提取方法，其特征在于，所述视频片段提取方法包括：/n获取视频，并将所述视频划分为多个片段；/n将所述多个片段输入至预先训练的打分模型，得到所述各个片段的分值，其中，所述打分模型基于正片段和负片段组成的数据对训练得到，所述正片段和负片段组成的数据对基于标注有目标属性的标注片段得到，所述目标属性包括表征片段为目标片段或非目标片段的属性；/n基于所述各个片段的分值在所述多个片段中提取目标片段。/n

【技术特征摘要】
1.一种视频片段提取方法，其特征在于，所述视频片段提取方法包括：
获取视频，并将所述视频划分为多个片段；
将所述多个片段输入至预先训练的打分模型，得到所述各个片段的分值，其中，所述打分模型基于正片段和负片段组成的数据对训练得到，所述正片段和负片段组成的数据对基于标注有目标属性的标注片段得到，所述目标属性包括表征片段为目标片段或非目标片段的属性；
基于所述各个片段的分值在所述多个片段中提取目标片段。


2.根据权利要求1所述的视频片段提取方法，其特征在于，所述正片段和负片段组成的数据对采用如下方式基于标注有目标属性的标注片段得到：
获取包括有一个或多个标注片段的样本视频；
基于所述一个或多个标注片段所标注的目标属性，以及所述样本视频中包括的非标注片段，得到正片段和负片段组成的数据对，其中，正片段成为目标片段的可能性大于负片段成为目标片段的可能性。


3.根据权利要求2所述的视频片段提取方法，其特征在于，基于所述一个或多个标注片段所标注的目标属性，以及所述样本视频中包括的非标注片段，得到正片段和负片段组成的数据对，包括：
若所述一个或多个标注片段所标注的目标属性包括表征片段为目标片段的属性，则将所述一个或多个标注片段作为正片段，并在所述样本视频中包括的非标注片段中提取部分片段作为负片段，得到正片段和负片段组成的一个或多个数据对；或者
若所述一个或多个标注片段所标注的目标属性包括表征片段为非目标片段的属性，则将所述一个或多个标注片段作为负片段，并在所述样本视频中包括的非标注片段中提取部分片段作为正片段，得到正片段和负片段组成的一个或多个数据对；或者
若所述一个或多个标注片段所标注的目标属性包括表征片段为目标片段的属性和表征片段为非目标片段的属性，将标注表征目标片段属性的标注片段作为正片段，将标注表征非目标片段属性的标注片段作为负片段，并在所述样本视频中包括的非标注片段中提取部分片段，得到正片段和负片段组成的一个或多个数据对；其中，所述数据对至少包括以下数据对之一或组合：所述正片段和所述负片段组成的数据对、所述正片段和所述部分片段作为负片段组成的数据对、或者所述负片段和所述部分片段作为正片段组成的数据对。


4.根据权利要求2或3所述的视频片段提取方法，其特征在于，所述打分模型采用如下方式基于正片段和负片段组成的数据对训练得到：
基于视频理解模型提取正片段和负片段组成的数据对中正片段的特征向量和负片段的特征向量；
将所述正片段特征向量和所述负片段特征向量输入至双生神经网络，得到所述正片段的分值和所述负片段的分值，并利用排序损失进行反向传播，训练得到训练好的双生神经网络；其中，所述双生神经网络包括两个共享参数的多层感知机模型；所述打分模型为所述训练好的双生神经网络的一个多层感知机模型。


5.根据权利要求1所述的视频片段提取方法，其特征在于，将所述多个片段输入至预先训练的打分模型，得到所述各个片段的分值，包括：
将所述多个片段输入至视频理解模型，基于视频理解模型提取所述多个片段中各个片段的特征向量，并将所述各个片段的特征向量输入至多层感知机模型，得到所述各个片段的分值。


6.根据权利要求1所述的视频片段提取方法，其特征在于，所述将所述视频划分为多个片段，包括：
采用视频镜头边界检测法，将所述视频划分为多个片段，得到所述视频的多个片段；或者
基于滑动窗口将所述划分为多个片段，得到所述视频的多个所述片段。


7.一种视频片段提取装置，其特征在于，所述视频片段提取装置包括：
获取单元，用于获取视频，并将所述视频划分为多个片段；
评估单元，用于将所述多个片段输入至预先训练的打分模型，得到所述各个片段的分值，其中，所述打分模型基于正片段...

【专利技术属性】
技术研发人员：胡佳高，王飞，余鹏飞，周代国，
申请(专利权)人：北京小米松果电子有限公司，
类型：发明
国别省市：北京;11