一种视频片段处理方法、装置及计算机可读存储介质制造方法及图纸

本发明专利技术提供了一种视频片段处理方法、装置及计算机可读存储介质，包括：提取视频样本的视频特征，及视频特征对应的视频时间序列；根据视频特征和预设的行为片段生成模型，生成目标视频片段，目标视频片段包括片段时间序列；根据片段时间序列和视频时间序列的匹配，从视频特征中确定与目标视频片段对应的目标视频特征；将目标视频特征输入预设的行为类别分类器，得到目标视频片段中动作行为的分类类别，本发明专利技术利用了视频特征中对应的时间序列，找到目标视频片段对应的目标视频特征输入分类器，避免了重复对目标视频片段进行特征提取，提高了分类效率。

【技术实现步骤摘要】
一种视频片段处理方法、装置及计算机可读存储介质
本专利技术属于计算机
，特别是涉及一种视频片段处理方法、装置及计算机可读存储介质。
技术介绍
从未经处理的长视频中提取出用户感兴趣的行为片段，及确定行为片段的行为类别，对后续的视频分析具有重要意义。在实际应用中，可以为用户提供更丰富的个性化服务。现有技术中，通常采用基于边界敏感网络的双流网络模型，分别提取视频样本的图像特征和光流特征，并将图像特征和光流特征进行融合，得到融合特征。其中，光流特征是由于视频样本中前景目标本身的移动、相机的运动，或者两者的共同运动所产生的，表述了视频样本中运动特征的相关规律。在得到融合特征后，可以将融合特征输入行为片段生成模型，并输出行为片段，并将整个行为片段作为分类模型的输入，输出该行为片段的类别信息。但是，在进行行为片段的类别确定时，需将整个行为片段作为视频输入，重新提取特征并对其分类，增加了时间消耗。
技术实现思路
有鉴于此，本专利技术提供一种视频片段处理方法、装置及计算机可读存储介质，在一定程度上解决了目前方案中在进行行为片段的类别确定时，需将整个行为片段作为视频输入，重新提取特征并对其分类，增加了时间消耗的问题。依据本专利技术的第一方面，提供了一种视频片段处理方法，该方法可以包括：提取视频样本的视频特征，及所述视频特征对应的视频时间序列；根据所述视频特征和预设的行为片段生成模型，生成目标视频片段，所述目标视频片段包括片段时间序列；根据所述片段时间序列和所述视频时间序列的匹配，从所述视频特征中确定与所述目标视频片段对应的目标视频特征；将所述目标视频特征输入预设的行为类别分类器，得到所述目标视频片段中动作行为的分类类别。依据本专利技术的第二方面，提供了一种视频片段处理装置，该装置可以包括：提取模块，用于提取视频样本的视频特征，及所述视频特征对应的视频时间序列；生成模块，用于根据所述视频特征和预设的行为片段生成模型，生成目标视频片段，所述目标视频片段包括片段时间序列；确定模块，用于根据所述片段时间序列和所述视频时间序列的匹配，从所述视频特征中确定与所述目标视频片段对应的目标视频特征；分类模块，用于将所述目标视频特征输入预设的行为类别分类器，得到所述目标视频片段中动作行为的分类类别。第三方面，本专利技术实施例提供了一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现如第一方面所述的视频片段处理方法的步骤。针对在先技术，本专利技术具备如下优点：本专利技术提供的一种视频片段处理方法，通过提取视频样本的视频特征，及视频特征对应的视频时间序列；根据视频特征和预设的行为片段生成模型，生成目标视频片段，目标视频片段包括片段时间序列；根据片段时间序列和视频时间序列的匹配，从视频特征中确定与目标视频片段对应的目标视频特征；将目标视频特征输入预设的行为类别分类器，得到目标视频片段中动作行为的分类类别，本专利技术利用了提取的视频特征中包含的时间序列，找到目标视频片段对应的目标视频特征输入分类器，避免了重复对目标视频片段进行特征提取，提高了分类效率。上述说明仅是本专利技术技术方案的概述，为了能够更清楚了解本专利技术的技术手段，而可依照说明书的内容予以实施，并且为了让本专利技术的上述和其它目的、特征和优点能够更明显易懂，以下特举本专利技术的具体实施方式。附图说明通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本专利技术的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：图1是本专利技术实施例提供的一种视频片段处理方法的步骤流程图；图2是本专利技术实施例提供的另一种视频片段处理方法的步骤流程图；图3是本专利技术实施例提供一种视频特征提取的架构图；图4是本专利技术实施例提供的一种视频片段处理装置的框图。具体实施方式下面将参照附图更详细地描述本专利技术的示例性实施例。虽然附图中显示了本专利技术的示例性实施例，然而应当理解，可以以各种形式实现本专利技术而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本专利技术，并且能够将本专利技术的范围完整的传达给本领域的技术人员。图1是本专利技术实施例提供的一种视频片段处理方法的步骤流程图，应用于终端，如图1所示，该方法可以包括：步骤101、提取视频样本的视频特征，及所述视频特征对应的视频时间序列。在本专利技术实施例中，视频文件为维度较高的文件格式，为了降低对视频样本的处理难度，首先需要对视频样本进行视频特征提取，以降低视频样本的处理维度。具体的，提取的视频特征可以包括：图像特征及运动特征，视频特征的提取可以采用相关的端到端(end-to-end)模型实现。需要说明的是，特征是某一类对象区别于其他类对象的相应特点或特性，或是这些特点和特性的集合，特征是通过测量或处理能够抽取的数据，特征提取的主要目的是降维，且其主要思想是将原始样本投影到一个低维特征空间，得到最能反应样本本质或进行样本区分的低维样本特征。图像特征可以为视频样本的RGB(红(R)、绿(G)、蓝(B))图像特征，用于表示视频样本包含的视频帧图像的直观特征。另外，视频数据区别于其它媒体数据的一个重要特征是它包含有丰富的运动信息，可以提取视频的运动信息作为运动特征，使得这些运动信息广泛应用在视频分类和剪辑等领域。进一步的，由于视频样本包含了多个连续的视频帧图像，而且多个连续的视频帧图像是基于一个固定的视频时间序列进行排列的，在实际应用中，该时间序列可以表达为视频播放时的时间进度条。视频时间序列对于视频样本中相关信息的定位具有重要作用。如，确定视频样本中的某一片段，或确定该片段对应的视频特征。因此，由于视频样本的多个连续的视频帧图像是基于一个固定的视频时间序列进行排列的，本专利技术实施例可以在提取每一帧视频帧图像的视频特征的同时，记录该视频特征在视频时间序列上所对应的时间点，当视频样本中所有视频帧图像的视频特征都被提取完毕时，即获取到了视频样本的视频特征，及视频特征对应的视频时间序列。步骤102、根据所述片段时间序列和所述视频时间序列的匹配，从所述视频特征中确定与所述目标视频片段对应的目标视频特征。在视频应用领域中，视频样本通常由多个动作行为组成，如，跑步、跳跃、哭泣、欢笑等，动作行为有长有短，且内容各不相同。而通过对用户的大量用户行为分析，发现用户通常会对某几类动作行为感兴趣。例如，假设用户是一个科比布莱恩特的粉丝，若用户突然想回顾科比退役前最后一场比赛的所有精彩防守片段，则用户肯定不愿意再花2个小时连同中场休息的广告一起把比赛视频再看一遍，更好的方式是将该比赛视频中广告等不相关内容进行剔除，而将精彩防守片段进行单独提取并提供给用户。因此，在本专利技术实施例中，可以预设一个或多个动作行为，并将大量的用户历史行为数据作为训练数据，训练得到行为片段生成模型，该行为片段生成模型以视频样本的视频特征为输入，该行为片段生成模型的输出则包括：视频时间序列中的时间点被确定为片段起始点的概率，以及该时间点附近的若干帧视频帧包含动作行为的概率。根据行为片段生成模型的输出，可以进行起始点构建，得到包含了多个片段的集合，进一步可以对该集合中的片段进行筛选，将包含有完整的预设动作行为的本文档来自技高网...

【技术保护点】
1.一种视频片段处理方法，其特征在于，所述方法包括：提取视频样本的视频特征，及所述视频特征对应的视频时间序列；根据所述视频特征和预设的行为片段生成模型，生成目标视频片段，所述目标视频片段包括片段时间序列；根据所述片段时间序列和所述视频时间序列的匹配，从所述视频特征中确定与所述目标视频片段对应的目标视频特征；将所述目标视频特征输入预设的行为类别分类器，得到所述目标视频片段中动作行为的分类类别。

【技术特征摘要】
1.一种视频片段处理方法，其特征在于，所述方法包括：提取视频样本的视频特征，及所述视频特征对应的视频时间序列；根据所述视频特征和预设的行为片段生成模型，生成目标视频片段，所述目标视频片段包括片段时间序列；根据所述片段时间序列和所述视频时间序列的匹配，从所述视频特征中确定与所述目标视频片段对应的目标视频特征；将所述目标视频特征输入预设的行为类别分类器，得到所述目标视频片段中动作行为的分类类别。2.根据权利要求1所述的方法，其特征在于，所述根据所述视频特征和预设的行为片段生成模型，生成目标视频片段，包括：根据所述视频特征和预设的行为片段生成模型，获取至少一个候选片段；在所述至少一个候选片段中确定目标视频片段，所述目标视频片段还包括完整的预设动作行为。3.根据权利要求2所述的方法，其特征在于，所述根据所述视频特征和预设的行为片段生成模型，获取至少一个候选片段，包括：在所述视频样本中确定多个时间点；将所述视频特征输入所述行为片段生成模型，输出所述视频样本的时间点属于起始点的第一概率、所述时间点属于结束点的第二概率以及所述时间点包括所述动作行为的第三概率；在所述时间点中，确定所述第一概率大于第一预设阈值的候选起始点和所述第二概率大于第二预设阈值的候选结束点；将每个所述候选起始点分别和每个所述候选结束点进行组合，生成至少一个候选片段。4.根据权利要求3所述的方法，其特征在于，所述时间点关联有所述视频样本中的多帧连续视频帧，且所述多帧连续视频帧中，存在一帧视频帧与所述时间点对应；所述确定所述时间点包括所述动作行为的第三概率，包括：在所述行为片段生成模型中，根据所述时间点关联的多帧连续视频帧，确定所述时间点包括所述动作行为的第三概率。5.根据权利要求3所述的方法，其特征在于，所述在所述至少一个候选片段中确定目标视频片段，包括：将所述候选片段包括的时间点的第三概率，输入预设的片段评价模型，输出所述候选片段包括所述动作行为的第四概率；将所述候选片段包括的时间点的第三概率，以及相邻片段包括的时间点的第三概率，输入预设的完整性判断模型，输出所述候选片段包括所述完整的预设动作行为的第五概率，所述相邻片段为与所述候选片段相邻的视频片段；将所述第四概率和所述第五概率进行加权求和，得到所述候选片段的初始得分；根据所述初始得分，在所述至少一个候选片段中确定目标视频片段。6.根据权利要求5所述的方法，其特征在于，所述根据所述初始得分，在所述至少一个候选片段中确定目标视频片段，包括：在多个所述候选片段中，确定任意两个候选片段之间的重合度；在所述两个候选片段的重合度大于或等于预设阈值时，将所述两个候选片段中初始得分最高的候选片段确定为所述目标视频片段。7.根据权利要求1所述的方法，其特征在于，所述将所述目标视频特征输入预设的行为类别分类器，得到所述目标视频片段中动作行为的分类类别，包括：确定所述目标视频片段拆分得到的多个子片段，以及与所述目标视频片段相邻的相邻子片段；将所述目标视频片段对应的目标视频特征、所述子片段对应的子视频特征、所述相邻子片段对应的相邻视频特征输入预设的行为类别分类器，得到所述目标视频片段中动作行为的分类类别。8.根据权利要求7所述的方法，其特征在于，所述确定所述目标视频片段拆分得到的多个子片段，以及与所述目标视频片段相邻的相邻子片段，包括：从所述目标视频片段的中点，将所述目标视频片段剪切为第一子片段和第二子片段；根据所述片段时间序列和所述视频时间序列的匹配，从所述视频样本中确定与所述目标视频片段前后相邻的第一相邻子片段和第二相邻子片段。9.根据权利要求8所述的方法，其特征在于，所述将所述目标视频片段对应的目标视频特征、所述子片段对应的子视频特征、所述相邻子片段对应的相邻视频特征输入预设的行为类别分类器，得到所述目标视频片段中动作行为的分类类别，包括：根据所述目标视频片段对应的目标视频特征，计算得到第一平均向量；根据所述第一子片段对应的第一子视频特征和所述第二子片段对应的第二子视频特征，计算得到所述第一子片段对应的第二平均向量，以及所述第二子片段对应的第三平均向量；根据所述第一相邻子片段对应的第一相邻视频特征和所述第二相邻子片段对应的第二相邻视视频特征，计算得到所述第一相邻子片段对应的第四平均向量，以及所述第二相邻子片段对应的第五平均向量；将所述第一平均向量、所述第二平均向量、所述第三平均向量、所述第四平均向量和所述第五平均向量输入所述行为类别分类器，得到所述目标视频片段中动作行为的分类类别。10.根据权利要求2所述的方法，其特征在于，所述根据所述视频特征和预设的行为片段生成模型，获取至少一个候选片段；按照主成分分析降维算法，对所述视频特征进行降维处理，得到所述降维特征；根据所述降维特征和所述预设的行为片段生成模型，获取至少一个候选片段。11.根据权利要求1所述的方法，其特征在于，所述提取视频样本的视频特征，及所述视频特征对应的视频时间序列，包括：通过3D卷积神经网络模型，提取所述视频样本的视频特征，及所述视频特征对应的视频时间序列。12.一种视频片段处理装置...

【专利技术属性】
技术研发人员：王影影，
申请(专利权)人：北京奇艺世纪科技有限公司，
类型：发明
国别省市：北京,11