视频特征学习方法、装置、电子设备及可读存储介质制造方法及图纸

本发明专利技术实施例提供一种视频特征学习方法、装置、电子设备及可读存储介质。该方法包括：获得待训练的视频样本；按照预设帧数对所述视频样本进行等间隔采样，由采样的视频帧组成视频分段；针对各视频分段，提取各视频分段的视觉特征，并计算各视觉特征对应的运动基元数量；基于各视频分段的运动基元数量和预设约束条件对目标分类模型进行训练，得到训练后的目标分类模型，以实现对视频特征的学习。由此，相较于现有技术而言，本发明专利技术提供的技术方案无需获知视频的标签和分类信息就可以实现视频特征的无监督学习，降低资源和成本消耗，并且可以适应于广泛的视频场景。

【技术实现步骤摘要】
视频特征学习方法、装置、电子设备及可读存储介质
本专利技术涉及计算机
，具体而言，涉及一种视频特征学习方法、装置、电子设备及可读存储介质。
技术介绍
视频特征学习具有广泛的应用领域，例如可包括视频分类、相似视频检索、视频匹配等。目前的视频特征学习方法主要是基于视频标签和分类信息，而上述视频标签和分类信息需要人工标注作业，在数据量巨大的实际业务应用场景，非常消耗资源和成本。
技术实现思路
为了克服现有技术中的上述不足，本专利技术的目的在于提供一种视频特征学习方法、装置、电子设备及可读存储介质，无需获知视频的标签和分类信息就可以实现视频特征的无监督学习，降低资源和成本消耗，并且可以适应于广泛的视频场景。为了实现上述目的，本专利技术较佳实施例采用的技术方案如下：本专利技术较佳实施例提供一种视频特征学习方法，应用于电子设备，所述方法包括：获得待训练的视频样本；按照预设帧数对所述视频样本进行等间隔采样，由采样的视频帧组成视频分段；针对各视频分段，提取各视频分段的视觉特征，并计算各视觉特征对应的运动基元数量；基于各视频分段的运动基元数量和预设约束条件对目标分类模型进行训练，得到训练后的目标分类模型，以实现对视频特征的学习。在本专利技术较佳实施例中，所述提取各视频分段的视觉特征的方式，包括：通过预先配置的特征提取模型或者深度学习模型将各视频分段中的各帧图像信息进行融合后提取各视频分段的视觉特征。在本专利技术较佳实施例中，所述计算各视觉特征对应的运动基元数量的方式，包括：将所述视觉特征输入到预先配置的运动基元计算模型，得到所述视觉特征对应的运动基元数量。在本专利技术较佳实施例中，所述基于各视频分段的运动基元数量和预设约束条件对目标分类模型进行训练，得到训练后的目标分类模型，包括：基于各视频分段的运动基元数量对目标分类模型进行训练；在训练过程中根据预设损失函数计算该目标分类模型的Loss值，直到所述Loss值小于预设值时结束训练，得到训练后的目标分类模型，其中，当所述述Loss值小于预设值时，所述训练后的目标分类模型满足所述预设约束条件。在本专利技术较佳实施例中，所述预设损失函数为：Loss＝(N(F(X1))-N(F(X2))2)+max(0,C-(N(F(Y))-N(F(X1)))2)其中，X1和X2是同一个视频样本X中按照预设帧数间隔得到两个视频分段，Y为不同于视频样本X的另一个视频样本，函数F为对视频片段的特征表示方法，函数N为根据视频特征提取运动基元数量的方法，C为用于保证最优解非零的一个常数。在本专利技术较佳实施例中，所述预设约束条件包括：同一视频样本中的各个视频分段对应的运动基元数量之间的差异小于预设阈值；以及不同视频样本中的各个视频分段对应的运动基元数量之间的差异大于同一视频样本中的各个视频分段对应的运动基元数量之间的差异。在本专利技术较佳实施例中，所述同一视频样本中的各个视频分段对应的运动基元数量之间的差异小于预设阈值的表达式为：Diff(NumX1,NumX2)<KDiff(NumY1,NumY2)<K所述不同视频样本中的各个视频分段对应的运动基元数量之间的差异大于同一视频样本中的各个视频分段对应的运动基元数量之间的差异的表达式为：Diff(NumX1,NumY1)>Diff(NumX1,NumX2)其中，NumX1为视频样本X的一种视频分段的运动基元数量，NumX2为视频样本X的另一种视频分段的运动基元数量，NumY1为视频样本Y的一种视频分段的运动基元数量，NumY2为视频样本Y的视频分段的另一种运动基元数量，Diff()为计算运动基元数量差异的方法，K为预设阈值。本专利技术较佳实施例还提供一种视频特征学习装置，应用于电子设备，所述装置包括：获得模块，用于获得待训练的视频样本，所述视频样本包括有多帧图像。分段模块，用于按照预设帧数间隔对所述视频样本进行分段，得到多个视频分段。提取计算模块，用于针对各视频分段，提取各视频分段的视觉特征，并计算各视觉特征对应的运动基元数量。训练模块，用于基于各视频分段的运动基元数量和预设约束条件对目标分类模型进行训练，得到训练后的目标分类模型。本专利技术较佳实施例还提供一种电子设备，所述电子设备包括：存储器；处理器；以及视频特征学习装置，所述装置存储于所述存储器中并包括由所述处理器执行的软件功能模块，所述装置包括：获得模块，用于获得待训练的视频样本，所述视频样本包括有多帧图像。分段模块，用于按照预设帧数间隔对所述视频样本进行分段，得到多个视频分段。提取计算模块，用于针对各视频分段，提取各视频分段的视觉特征，并计算各视觉特征对应的运动基元数量。训练模块，用于基于各视频分段的运动基元数量和预设约束条件对目标分类模型进行训练，得到训练后的目标分类模型。本专利技术较佳实施例还提供一种可读存储介质，所述可读存储介质中存储有计算机程序，所述计算机程序被执行时实现上述的视频特征学习方法。相对于现有技术而言，本专利技术具有以下有益效果：本专利技术实施例提供的视频特征学习方法、装置、电子设备及可读存储介质，通过获得待训练的视频样本，并按照预设帧数对所述视频样本进行等间隔采样，由采样的视频帧组成视频分段，然后，针对各视频分段，提取各视频分段的视觉特征，并计算各视觉特征对应的运动基元数量，最后，基于各视频分段的运动基元数量和预设约束条件对目标分类模型进行训练，得到训练后的目标分类模型，以实现对视频特征的学习。由此，通过对运动基元统计分析，无需获知视频的标签和分类信息就可以实现视频特征的无监督学习，进而可对海量视频自动分析分类，同时降低资源和成本消耗，并且可以适应于广泛的视频场景。附图说明为了更清楚地说明本专利技术实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本专利技术的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它相关的附图。图1为本专利技术较佳实施例提供的视频特征学习方法的一种流程示意图；图2为本专利技术较佳实施例提供的视频分段组合的一种示意图；图3为本专利技术较佳实施例提供的运动基元分解的一种示意图；图4为本专利技术较佳实施例提供的视频分段组合提取运动基元的一种方框示意图；图5为本专利技术较佳实施例提供的用于实现上述视频特征学习方法的电子设备的方框示意图。图标：100-电子设备；110-存储器；120-处理器；200-视频特征学习装置；210-获得模块；220-分段模块；230-提取计算模块；240-训练模块。具体实施方式本申请专利技术人在实现本专利技术实施例的技术方案过程中，发现目前采用的有监督的视频特征学习方法基于视频标签和分类信息，需要人工标注作业，在数据量巨大的实际业务应用场景，非常消耗资源和成本，针对上述问题，目前已有的无监督视频特征学习方法虽然可以在一定程度上改善上述问题，但是经专利技术人仔细研究后发现，目前的无监督视频特征学习方法主要是利用了视频中主体物体的连续运动信息，对视频的视觉性质进行无监督学习。但是由于依赖于视频中的物体的运动，在对于视频画面或场景变化较小或无变化的情况下，效果不佳，因此目前的无监督视频特征学习方法无法很好地适应各种视频应用场景，具有极大的局限性。值得说明的是，以上现本文档来自技高网...

【技术保护点】
一种视频特征学习方法，其特征在于，应用于电子设备，所述方法包括：获得待训练的视频样本；按照预设帧数对所述视频样本进行等间隔采样，由采样的视频帧组成视频分段；针对各视频分段，提取各视频分段的视觉特征，并计算各视觉特征对应的运动基元数量；基于各视频分段的运动基元数量和预设约束条件对目标分类模型进行训练，得到训练后的目标分类模型，以实现对视频特征的学习。

【技术特征摘要】
1.一种视频特征学习方法，其特征在于，应用于电子设备，所述方法包括：获得待训练的视频样本；按照预设帧数对所述视频样本进行等间隔采样，由采样的视频帧组成视频分段；针对各视频分段，提取各视频分段的视觉特征，并计算各视觉特征对应的运动基元数量；基于各视频分段的运动基元数量和预设约束条件对目标分类模型进行训练，得到训练后的目标分类模型，以实现对视频特征的学习。2.根据权利要求1所述的视频特征学习方法，其特征在于，所述提取各视频分段的视觉特征的方式，包括：通过预先配置的特征提取模型或者深度学习模型将各视频分段中的各帧图像信息进行融合后提取各视频分段的视觉特征。3.根据权利要求1所述的视频特征学习方法，其特征在于，所述计算各视觉特征对应的运动基元数量的方式，包括：将所述视觉特征输入到预先配置的运动基元计算模型，得到所述视觉特征对应的运动基元数量。4.根据权利要求1所述的视频特征学习方法，其特征在于，所述基于各视频分段的运动基元数量和预设约束条件对目标分类模型进行训练，得到训练后的目标分类模型，包括：基于各视频分段的运动基元数量对目标分类模型进行训练；在训练过程中根据预设损失函数计算该目标分类模型的Loss值，直到所述Loss值小于预设值时结束训练，得到训练后的目标分类模型，其中，当所述述Loss值小于预设值时，所述训练后的目标分类模型满足所述预设约束条件。5.根据权利要求4所述的视频特征学习方法，其特征在于，所述预设损失函数为：Loss＝(N(F(X1))-N(F(X2))2)+max(0,C-(N(F(Y))-N(F(X1)))2)其中，X1和X2是同一个视频样本X中按照预设帧数间隔得到两个视频分段，Y为不同于视频样本X的另一个视频样本，函数F为对视频片段的特征表示方法，函数N为根据视频特征提取运动基元数量的方法，C为用于保证最优解非零的一个常数。6.根据权利要求1-5中任意一项所述的视频特征学习方法，其特征在于，所述预设约束条件包括：同一视频样本中的各个视频分段对应的运动基元数量之间的差异小于预设阈值；以及不同视频样本中的各个视频分段对应的运动基元数量之间的差异大于同一视频样本中的各个视频分段...

【专利技术属性】
技术研发人员：丁大钧，赵丽丽，刘旭，
申请(专利权)人：厦门美图之家科技有限公司，
类型：发明
国别省市：福建,35