重复视频的识别方法、设备、储存介质及计算机程序产品技术

本公开实施例提供一种重复视频的识别方法、设备、储存介质及计算机程序产品，通过对第一视频提取第一多模态数据，对第二视频提取第二多模态数据，第一多模态数据和第二多模态数据均包括至少两种相同种类的模态数据；分别提取各模态数据对应的特征信息；根据各模态数据对应的特征信息确定第一视频和第二视频之间的综合相似度参数；若综合相似度参数大于预设相似度阈值，则将第一视频和第二视频识别为重复视频。通过考虑第一视频和第二视频的多模态数据，可准确得到综合相似度参数，基于综合相似度参数来准确科学的识别重复视频，避免基于单一模态特征相似度导致的不准确性。单一模态特征相似度导致的不准确性。单一模态特征相似度导致的不准确性。

【技术实现步骤摘要】
重复视频的识别方法、设备、储存介质及计算机程序产品


[0001]本公开实施例涉及计算机与网络通信
，尤其涉及一种重复视频的识别方法、设备、储存介质及计算机程序产品。

技术介绍

[0002]随着大数据时代的到来，视频作为一种新的交互形式，成为了整个人机交互中，甚至是人与人交流的重要组成部分。随着视频数据量的大幅度增长，在视频库中可能出现了许多相同视频，比如将某个视频的片段裁剪出来做成的短视频，或者通过不同渠道发布的相同视频等。为了实现对视频库中的相同视频进行去重处理，诞生了许多视频的去重技术。
[0003]现有技术中的去重技术在识别重复视频时，通常通过视频的关键帧检测，提取出一系列的视频关键帧，计算两个视频之间关键帧的图像相关性，然后通过多帧结果聚合得到两个视频之间相关程度，从而判断两个视频是否为重复视频。
[0004]但是现有技术中通过视频关键帧进行重复视频识别，其准确度并不高，容易产生错误的识别结果，将原本不一样的两个视频识别为重复视频。

技术实现思路

[0005]本公开实施例提供一种重复视频的识别方法、设备、储存介质及计算机程序产品，以提高重复视频识别的准确度。
[0006]第一方面，本公开实施例提供一种重复视频的识别方法，包括：
[0007]对待识别的第一视频提取第一多模态数据，其中，所述第一多模态数据包括至少两种模态数据；
[0008]对待识别的第二视频提取第二多模态数据，其中，所述第二多模态数据包括至少两种模态数据，且所述第一多模态数据的各模态数据种类与所述第二多模态数据的各模态数据种类相同；
[0009]针对所述第一多模态数据的各模态数据、以及所述第二多模态数据的各模态数据，分别提取各模态数据对应的特征信息；
[0010]根据所述各模态数据对应的特征信息，确定所述第一视频和所述第二视频之间的综合相似度参数的数值；
[0011]若所述第一视频和所述第二视频之间的综合相似度参数的数值大于预设相似度阈值，则将所述第一视频和所述第二视频识别为重复视频。
[0012]第二方面，本公开实施例提供一种重复视频的识别设备，包括：
[0013]提取单元，用于对待识别的第一视频提取第一多模态数据，其中，所述第一多模态数据包括至少两种模态数据；以及对待识别的第二视频提取第二多模态数据，其中，所述第二多模态数据包括至少两种模态数据，且所述第一多模态数据的各模态数据种类与所述第二多模态数据的各模态数据种类相同；
[0014]第一处理单元，用于针对所述第一多模态数据的各模态数据、以及所述第二多模
态数据的各模态数据，分别提取各模态数据对应的特征信息；
[0015]第二处理单元，用于根据所述各模态数据对应的特征信息，确定所述第一视频和所述第二视频之间的综合相似度参数的数值；
[0016]识别单元，用于在所述第一视频和所述第二视频之间的综合相似度参数的数值大于预设相似度阈值时，将所述第一视频和所述第二视频识别为重复视频。
[0017]第三方面，本公开实施例提供一种电子设备，包括：至少一个处理器和存储器；
[0018]所述存储器存储计算机执行指令；
[0019]所述至少一个处理器执行所述存储器存储的计算机执行指令，使得所述至少一个处理器执行如上第一方面以及第一方面各种可能的设计所述的方法。
[0020]第四方面，本公开实施例提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现如上第一方面以及第一方面各种可能的设计所述的方法。
[0021]第五方面，本公开实施例提供一种计算机程序产品，包括计算机指令，该计算机指令被处理器执行时实现如上第一方面以及第一方面各种可能的设计所述的方法。
[0022]本公开实施例提供的重复视频的识别方法、设备、储存介质及计算机程序产品，通过对待识别的第一视频提取第一多模态数据，其中，第一多模态数据包括至少两种模态数据；对待识别的第二视频提取第二多模态数据，其中，第二多模态数据包括至少两种模态数据，且第一多模态数据的各模态数据种类与第二多模态数据的各模态数据种类相同；针对第一多模态数据的各模态数据、以及第二多模态数据的各模态数据，分别提取各模态数据对应的特征信息；根据各模态数据对应的特征信息，确定第一视频和第二视频之间的综合相似度参数的数值；若第一视频和第二视频之间的综合相似度参数的数值大于预设相似度阈值，则将第一视频和第二视频识别为重复视频。本公开实施例中考虑了第一视频和第二视频的多种模态数据，可以准确提取各种模态下的特征信息，进而准确得到综合相似度参数，并基于综合相似度参数来准确科学的识别重复视频，避免了基于单一模态特征相似度导致的不准确性。
附图说明
[0023]为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0024]图1为本公开一实施例提供的重复视频的识别方法的应用场景示例图；
[0025]图2为本公开一实施例提供的重复视频的识别方法流程示意图；
[0026]图3为本公开另一实施例提供的重复视频的识别方法流程示意图；
[0027]图4为本公开另一实施例提供的重复视频的识别方法流程示意图；
[0028]图5为本公开另一实施例提供的重复视频的识别方法流程示意图；
[0029]图6为本公开另一实施例提供的重复视频的识别方法流程示意图；
[0030]图7为本公开另一实施例提供的重复视频的识别方法流程示意图；
[0031]图8为本公开另一实施例提供的重复视频的识别方法流程示意图；
[0032]图9为本公开另一实施例提供的重复视频的识别方法流程示意图；
[0033]图10a为本公开另一实施例提供的重复视频的识别方法流程示意图；
[0034]图10b为本公开一实施例提供的第一视频与第二视频的关键帧时序对齐的示意图；
[0035]图11为本公开另一实施例提供的重复视频的识别方法流程示意图；
[0036]图12为本公开实施例提供的重复视频的识别设备的结构框图；
[0037]图13为本公开实施例提供的电子设备的硬件结构示意图。
具体实施方式
[0038]为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本公开一部分实施例，而不是全部的实施例。基于本公开中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。
[0039]现有技术中的去重技术在识别重复视频时，通常通过视频的关键帧检测，提取出一系列的视频关键帧，计算两个视本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种重复视频的识别方法，其特征在于，包括：对待识别的第一视频提取第一多模态数据，其中，所述第一多模态数据包括至少两种模态数据；对待识别的第二视频提取第二多模态数据，其中，所述第二多模态数据包括至少两种模态数据，且所述第一多模态数据的各模态数据种类与所述第二多模态数据的各模态数据种类相同；针对所述第一多模态数据的各模态数据、以及所述第二多模态数据的各模态数据，分别提取各模态数据对应的特征信息；根据所述各模态数据对应的特征信息，确定所述第一视频和所述第二视频之间的综合相似度参数的数值；若所述第一视频和所述第二视频之间的综合相似度参数的数值大于预设相似度阈值，则将所述第一视频和所述第二视频识别为重复视频。2.根据权利要求1所述的方法，其特征在于，所述根据所述各模态数据对应的特征信息，确定所述第一视频和所述第二视频之间的综合相似度参数的数值，包括：分别获取所述第一视频和所述第二视频的每一相同种类模态数据的特征信息之间的相似度信息；根据所述每一相同种类模态数据的特征信息之间的相似度信息，确定所述第一视频和所述第二视频之间的综合相似度参数的数值。3.根据权利要求2所述的方法，其特征在于，所述根据所述每一相同种类模态数据的特征信息之间的相似度信息，确定所述第一视频和所述第二视频之间的综合相似度参数的数值，包括：根据所述第一视频和所述第二视频所属视频类型，获取各模态数据种类对应的预设权重；根据所述每一相同种类模态数据的特征信息之间的相似度信息、以及所述各模态数据种类对应的预设权重，确定所述第一视频和所述第二视频之间的综合相似度参数的数值。4.根据权利要求2所述的方法，其特征在于，所述根据所述每一相同种类模态数据的特征信息之间的相似度信息，确定所述第一视频和所述第二视频之间的综合相似度参数的数值，包括：根据所述每一相同种类模态数据的特征信息之间的相似度信息、以及所述第一视频和所述第二视频所属视频类型对应的预设相似度参数计算模型，确定所述第一视频和所述第二视频之间的综合相似度参数的数值。5.根据权利要求2
‑
4任一项所述的方法，其特征在于，所述至少两种模态数据包括视频关键帧数据和音频数据；所述根据所述第一多模态数据的各模态数据、以及所述第二多模态数据的各模态数据，分别提取各模态数据对应的特征信息，包括：根据预设的视频特征提取模型，对所述第一视频和所述第二视频的视频关键帧数据分别提取关键帧特征信息；根据预设的音频特征提取模型，对所述第一视频和所述第二视频的音频数据分别提取音频特征信息。
6.根据权利要求5所述的方法，其特征在于，所述根据预设的音频特征提取模型，对所述第一视频和所述第二视频的音频数据分别提取音频特征信息，包括：将所述第一视频和所述第二视频的音频数据分别划分为多个音频片段；根据所述音频特征提取模型，对于所述第一视频和所述第二视频的每一音频片段提取音频特征信息。7.根据权利要求5所述的方法，其特征在于，所述分别获取所述第一视频和所述第二视频的每一相同种类模态数据的特征信息之间的相似度信息，包括：...

【专利技术属性】
技术研发人员：任晖，
申请(专利权)人：北京字跳网络技术有限公司，
类型：发明
国别省市：