无监督的训练数据生成方法、装置、介质及设备制造方法及图纸

本申请公开了无监督的训练数据生成方法、装置、介质及设备，涉及人工智能技术领域，该方法包括：获取第一原始视频和第二原始视频；确定所述第一原始视频中的目标视频片段，任一目标视频片段中视频帧对应的场景相关性满足预设条件；将所述目标视频片段和所述第二原始视频进行合成，得到目标合成视频；确定所述目标视频片段在所述目标合成视频中的时序位置信息；基于所述目标合成视频和所述时序位置信息，生成时序定位模型的训练数据。本申请采用无监督的方式生成训练数据，节省了人工标注成本，同时突出训练数据中的时序标注信息而省去行为类别标注信息，能够提升所训练的时序定位模型在时序边界上的预测准确性和在场景上的自适应性。自适应性。自适应性。

【技术实现步骤摘要】
无监督的训练数据生成方法、装置、介质及设备


[0001]本申请涉及人工智能
，具体涉及无监督的训练数据生成方法、装置、介质及设备。

技术介绍

[0002]人工智能(Artificial Intelligence，AI)是计算机科学的一个综合技术，通过研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。人工智能技术是一门综合学科，涉及领域广泛，例如自然语言处理、机器学习、深度学习等几大方向。随着技术的发展，人工智能技术将在更多的领域得到应用，并发挥越来越重要的价值。
[0003]相关技术中，利用人工智能技术中的深度学习进行时序行为的定位预测。在以深度学习网络为基础构建时序行为定位模型时，因将时序行为的定位任务划分为时序边界上行为的识别与分类，故时序行为定位模型所采用的训练数据需要包含行为类别的标注信息，导致人工标注成本过高且时序行为定位模型对于时序边界的预测不够准确，此外时序行为定位模型的应用范围与所标注过的行为类别相关，这限制了时序行为定位模型的迁移。

技术实现思路

[0004]为了解决上述技术问题，本申请提供了无监督的训练数据生成方法、装置、介质及设备。所述技术方案如下：
[0005]第一方面，本申请提供了一种无监督的训练数据生成方法，所述方法包括：
[0006]获取第一原始视频和第二原始视频；
[0007]确定所述第一原始视频中的至少一个目标视频片段，任一目标视频片段中视频帧对应的场景相关性满足预设条件；
[0008]将所述至少一个目标视频片段和所述第二原始视频进行合成，得到目标合成视频；
[0009]确定所述至少一个目标视频片段在所述目标合成视频中的时序位置信息；
[0010]基于所述目标合成视频和所述时序位置信息，生成时序定位模型的训练数据。
[0011]可选的，所述确定所述第一原始视频中的至少一个目标视频片段，包括：
[0012]确定所述第一原始视频中的基准帧；
[0013]依次将所述基准帧之后的视频帧作为当前帧；
[0014]确定所述基准帧和所述当前帧的场景相关性；
[0015]在所述场景相关性满足所述预设条件的情况下，将所述当前帧作为所述基准帧的连续相似帧；
[0016]根据所述基准帧和所述基准帧的至少一个连续相似帧，得到以所述基准帧为起始帧的当前视频片段，所述当前视频片段为所述至少一个目标视频片段中的任一目标视频片段。
[0017]可选的，所述方法还包括：
[0018]在所述场景相关性不满足所述预设条件的情况下，将所述当前帧作为所述基准帧。
[0019]可选的，所述方法还包括：
[0020]获取预设帧数，依次将所述基准帧之后且与所述基准帧间隔所述预设帧数的视频帧作为所述当前帧；
[0021]确定所述基准帧和所述当前帧的场景相关性；
[0022]在所述场景相关性满足所述预设条件的情况下，将在所述基准帧和所述当前帧之间的视频帧以及所述当前帧作为所述基准帧的连续相似帧。
[0023]可选的，所述将所述至少一个目标视频片段和所述第二原始视频进行合成，得到目标合成视频，包括：
[0024]确定所述至少一个目标视频片段在所述第二原始视频中的插入位置信息；
[0025]按照所述插入位置信息，将所述至少一个目标视频片段插入至所述第二原始视频中，得到所述目标合成视频。
[0026]可选的，所述确定所述至少一个目标视频片段在所述目标合成视频中的时序位置信息，包括：
[0027]获取所述至少一个目标视频片段的时长信息；
[0028]根据所述插入位置信息和所述至少一个目标视频片段的时长信息，修正所述至少一个目标视频片段在所述第二原始视频中的插入位置信息；
[0029]根据修正后的所述插入位置信息和所述时长信息，确定所述至少一个目标视频片段在所述目标合成视频中的时序位置信息。
[0030]可选的，所述将所述至少一个目标视频片段和所述第二原始视频进行合成，得到目标合成视频，还包括：
[0031]将所述第二原始视频分割为至少一个视频片段；
[0032]将所述至少一个目标视频片段和所述至少一个视频片段排列组合，得到所述目标合成视频。
[0033]第二方面，本申请提供了一种无监督的训练数据生成装置，所述装置包括：
[0034]获取模块，用于获取第一原始视频和第二原始视频；
[0035]片段生成模块，用于确定所述第一原始视频中的至少一个目标视频片段，任一目标视频片段中视频帧对应的场景相关性满足预设条件；
[0036]合成模块，用于将所述至少一个目标视频片段和所述第二原始视频进行合成，得到目标合成视频；
[0037]时序确定模块，用于确定所述至少一个目标视频片段在所述目标合成视频中的时序位置信息；
[0038]训练数据确定模块，用于基于所述目标合成视频和所述时序位置信息，生成时序定位模型的训练数据。
[0039]第三方面，本申请提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一条指令或至少一段程序，所述至少一条指令或至少一段程序由处理器加载并执行以实现如第一方面所述的一种无监督的训练数据生成方法。
[0040]第四方面，本申请提供了一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条指令或至少一段程序，所述至少一条指令或至少一段程序由所述处理器加载并执行以实现如第一方面所述的一种无监督的训练数据生成方法。
[0041]第五方面，本申请提供了一种计算机程序产品，所述计算机程序产品包括计算机指令，所述计算机指令被处理器执行时实现如第一方面所述的一种无监督的训练数据生成方法。
[0042]本申请提供的无监督的训练数据生成方法、装置、介质及设备，具有如下技术效果：
[0043]本申请提供的方案首先获取第一原始视频和第二原始视频，第一原始视频和第二原始视频没有任何标注信息；其次从第一原始视频中确定至少一个目标视频片段，任意一个目标视频片段中视频帧对应的场景相关性满足预设条件，在本申请中并不限定目标视频片段需要包含行为实例；接着将第一原始视频中的至少一个目标视频片段与第二原始视频进行合成，得到目标合成视频；最后确定各目标视频片段在目标合成视频中的时序位置信息，目标合成视频和时序位置信息构成时序定位模型的训练数据，其中时序位置信息是目标合成视频的时序标注信息。第一方面，本申请采用无监督的方式生成训练数据，无需人工对第一原始视频或第二原始视频标注时序信息或行为类别信息，节省了人工标注成本，也提高了模型训练的效率；第二方面将目标视频片段在目标合成视频中的时序位置信息作为时序标注信息，突出训练数据中的时序标注信息而省去行为类别标注信息，能够提升训练后的时序定位模型在时序边界上的预测准确性，更契合时序定位的任务目标；第三方面，由于省去了行为类别的标注信息以及在本申请中并不限定目标视频片段需要包含行本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种无监督的训练数据生成方法，其特征在于，所述方法包括：获取第一原始视频和第二原始视频；确定所述第一原始视频中的至少一个目标视频片段，任一目标视频片段中视频帧对应的场景相关性满足预设条件；将所述至少一个目标视频片段和所述第二原始视频进行合成，得到目标合成视频；确定所述至少一个目标视频片段在所述目标合成视频中的时序位置信息；基于所述目标合成视频和所述时序位置信息，生成时序定位模型的训练数据。2.根据权利要求1所述的方法，其特征在于，所述确定所述第一原始视频中的至少一个目标视频片段，包括：确定所述第一原始视频中的基准帧；依次将所述基准帧之后的视频帧作为当前帧；确定所述基准帧和所述当前帧的场景相关性；在所述场景相关性满足所述预设条件的情况下，将所述当前帧作为所述基准帧的连续相似帧；根据所述基准帧和所述基准帧的至少一个连续相似帧，得到以所述基准帧为起始帧的当前视频片段，所述当前视频片段为所述至少一个目标视频片段中的任一目标视频片段。3.根据权利要求2所述的方法，其特征在于，所述方法还包括：在所述场景相关性不满足所述预设条件的情况下，将所述当前帧作为所述基准帧。4.根据权利要求2所述的方法，其特征在于，所述方法还包括：获取预设帧数，依次将所述基准帧之后且与所述基准帧间隔所述预设帧数的视频帧作为所述当前帧；确定所述基准帧和所述当前帧的场景相关性；在所述场景相关性满足所述预设条件的情况下，将在所述基准帧和所述当前帧之间的视频帧以及所述当前帧作为所述基准帧的连续相似帧。5.根据权利要求1所述的方法，其特征在于，所述将所述至少一个目标视频片段和所述第二原始视频进行合成，得到目标合成视频，包括：确定所述至少一个目标视频片段在所述第二原始视频中的插入位置信息；按照所述插入位置信息，将所述至少一个目标视频片段插入至所述第二原始视频中，得到所述目标合成视频。6.根据权利要...

【专利技术属性】
技术研发人员：张粲，杨田雨，翁俊武，曹蒙，王珏，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：