视频表征方法及装置制造方法及图纸

本申请公开了一种视频表征方法及装置，属于计算机技术领域。所述方法包括：获取待处理视频片段；将待处理视频片段输入目标视频表征模型，得到待处理视频片段对应的第一视频表征数据。本申请实施例提供的技术方案中，通过训练样本中的视频片段对应的视频表征数据，可以确定视频片段之间的相似度信息，并在相似度信息的基础上引入视频片段之间的时序距离信息来确定距离衰减损失信息，以此在模型训练过程中调整时序距离信息与相似度信息之间的负相关程度，使得视频表征模型学习到不同视频片段在时间维度上的距离与其相似度之间的相关性，输出更加准确的视频表征数据对待处理视频进行特征表示，有效提升视频表征的准确性。有效提升视频表征的准确性。有效提升视频表征的准确性。

【技术实现步骤摘要】
视频表征方法及装置


[0001]本申请涉及计算机
，特别涉及一种视频表征方法及装置。

技术介绍

[0002]随着数字技术及互联网技术的发展，视频形式的信息内容服务受到大众喜爱，互联网中的视频量激增。因此，视频表征学习变得更加重要。
[0003]相关技术中，通过大量的标注类别数据训练视频表征模型进行视频表征学习，使得标注类别数据相同或相近的视频，其对应的视频表征数据之间的特征距离也是相近的。上述视频表征模型完成训练后可输出视频表征数据，以对输入视频进行特征表示，并应用于下游视频分类任务中。
[0004]然而，相关技术中的视频表征学习依赖标注类别数据，视频表征也仅与标注类别数据相关，视频表征的准确性较低。

技术实现思路

[0005]本申请实施例提供了一种视频表征方法及装置，能够提升视频表征的准确性。
[0006]根据本申请实施例的一个方面，提供了一种视频表征方法，所述方法包括：
[0007]获取待处理视频片段；
[0008]将所述待处理视频片段输入目标视频表征模型，得到所述待处理视频片段对应的第一视频表征数据；
[0009]其中，所述目标视频表征模型是基于训练样本以及距离衰减损失信息进行训练得到的机器学习模型，所述距离衰减损失信息基于所述训练样本中的视频片段之间对应的时序距离信息和相似度信息确定，所述相似度信息基于所述视频片段对应的视频表征数据确定，所述距离衰减损失信息用于调整所述时序距离信息与所述相似度信息之间的负相关程度。
[0010]根据本申请实施例的一个方面，提供了一种视频表征装置，所述装置包括：
[0011]视频获取模块，用于获取待处理视频片段；
[0012]视频表征模块，用于将所述待处理视频片段输入目标视频表征模型，得到所述待处理视频片段对应的第一视频表征数据；
[0013]其中，所述目标视频表征模型是基于训练样本以及距离衰减损失信息进行训练得到的机器学习模型，所述距离衰减损失信息基于所述训练样本中的视频片段之间对应的时序距离信息和相似度信息确定，所述相似度信息基于所述视频片段对应的视频表征数据确定，所述距离衰减损失信息用于调整所述时序距离信息与所述相似度信息之间的负相关程度。
[0014]根据本申请实施例的一个方面，提供了一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现
上述视频表征方法。
[0015]根据本申请实施例的一个方面，提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现上述视频表征方法。
[0016]根据本申请实施例的一个方面，提供了一种计算机程序产品，所述计算机程序产品包括计算机指令，所述计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取所述计算机指令，所述处理器执行所述计算机指令，使得所述计算机设备执行以实现上述视频表征方法。
[0017]本申请实施例提供的技术方案可以带来如下有益效果：
[0018]通过训练样本中的视频片段对应的视频表征数据，可以确定视频片段之间的相似度信息，并在相似度信息的基础上引入视频片段之间的时序距离信息来确定距离衰减损失信息，从而在模型训练过程中可以根据距离衰减损失信息调整时序距离信息与相似度信息之间的负相关程度，使得视频表征模型学习到不同视频片段在时间维度上的距离与其相似度之间的相关性，从而能够输出更加准确的视频表征数据对待处理视频进行特征表示，有效提升了视频表征的准确性。
附图说明
[0019]为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0020]图1是本申请一个实施例提供的应用程序运行环境的示意图；
[0021]图2是本申请一个实施例提供的视频表征方法的流程图；
[0022]图3是本申请一个实施例提供的相似视频确定方法的流程图；
[0023]图4是本申请一个实施例提供的视频片段定位方法的流程图；
[0024]图5是本申请一个实施例提供的视频表征模型训练的流程图一；
[0025]图6是本申请一个实施例提供的视频表征模型训练的流程图二；
[0026]图7是本申请一个实施例提供的视频表征模型训练的流程图三；
[0027]图8是本申请一个实施例提供的视频表征模型训练的流程图四；
[0028]图9示例性示出了一种视频表征模型的训练流程示意图一；
[0029]图10示例性示出了一种视频表征模型的训练流程示意图二；
[0030]图11是本申请一个实施例提供的视频表征装置的框图；
[0031]图12是本申请一个实施例提供的计算机设备的结构框图。
具体实施方式
[0032]本申请实施例提供的视频表征方法涉及人工智能技术，下面对此进行简要说明，以便于本领域技术人员理解。
[0033]人工智能(Artificial Intelligence，AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理
论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。
[0034]人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
[0035]计算机视觉技术(Computer Vision，CV)：计算机视觉是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和电脑代替人眼对目标进行识别、测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、OCR(Optical Character Recognition，光学字符识别)、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D(3
‑
Dimension，三维)技术本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种视频表征方法，其特征在于，所述方法包括：获取待处理视频片段；将所述待处理视频片段输入目标视频表征模型，得到所述待处理视频片段对应的第一视频表征数据；其中，所述目标视频表征模型是基于训练样本以及距离衰减损失信息进行训练得到的机器学习模型，所述距离衰减损失信息基于所述训练样本中的视频片段之间对应的时序距离信息和相似度信息确定，所述相似度信息基于所述视频片段对应的视频表征数据确定，所述距离衰减损失信息用于调整所述时序距离信息与所述相似度信息之间的负相关程度。2.根据权利要求1所述的方法，其特征在于，所述方法还包括：获取至少两个视频片段；将所述至少两个视频片段输入所述目标视频表征模型，得到所述至少两个视频片段对应的第二视频表征数据；基于所述第一视频表征数据与所述第二视频表征数据，确定所述待处理视频片段与所述至少两个视频片段之间的视频相似度；将所述视频相似度大于或等于相似度阈值的视频片段确定为所述待处理视频片段对应的相似视频片段。3.根据权利要求2所述的方法，其特征在于，所述方法还包括：基于所述相似视频片段，确定所述待处理视频片段对应的片段定位信息。4.根据权利要求1至3任一项所述的方法，其特征在于，所述训练样本包括目标视频片段以及所述目标视频片段关联的样本视频片段，所述目标视频表征模型的训练过程包括：基于所述目标视频片段与所述样本视频片段，确定所述时序距离信息；将所述目标视频片段与所述样本视频片段输入待训练的视频表征模型，得到所述目标视频片段对应的第三视频表征数据，以及所述样本视频片段对应的第四视频表征数据；基于所述第三视频表征数据与所述第四视频表征数据，确定所述相似度信息；基于所述时序距离信息与所述相似度信息，确定所述距离衰减损失信息；根据所述模型损失信息对所述待训练的视频表征模型进行模型训练，得到所述目标视频表征模型。5.根据权利要求4所述的方法，其特征在于，所述样本视频片段包括所述目标视频片段对应的正样本，所述基于所述目标视频片段与所述样本视频片段，确定所述时序距离信息，包括：确定所述目标视频片段与所述正样本之间的片段距离；确定所述目标视频片段对应的整体视频长度；基于所述片段距离与所述整体视频长度，确定温度指标数据，所述时序距离信息包括所述温度指标数据，所述温度指标数据与所述片段距离呈负相关。6.根据权利要求5所述的方法，其特征在于，所述正样本包括第一正样本，所述第一正样本包括目标视频中与所述目标视频片段不同的第一视频片段，所述片段距离包括所述目标视频片段与所述第一视频片段之间的第一片段距离；所述基于所述片段距离与所述整体视频长度，确定温度指标数据，包括：基于所述第一片段距离与所述整体视频长度，确定第一温度指标数据；
其中，所述温度指标数据包括所述第一温度指标数据，所述第一温度指标数据用于调整所述目标视频片段与所述第一视频片段之间的...

【专利技术属性】
技术研发人员：苏冰，张恒，李昱，祁仲昂，单瀛，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：