一种相似视频的筛选方法、装置、设备和存储介质制造方法及图纸

本发明专利技术实施例公开了一种相似视频的筛选方法、装置、设备和存储介质。其中，该方法包括：根据待选视频库内各个待选视频的视频级特征，构建每一待选视频在指定相似规模下的相似视频库；从每一待选视频的相似视频库中分别查找出与该待选视频之间的相似度超出预设相似阈值的相似视频，得到对应的视频对候选库；基于视频对候选库中每一候选视频对的视频双方在对应相似度权重下的帧级特征，从视频对候选库中筛选出对应的相似视频对。本发明专利技术实施例提供的技术方案，采用双重筛选的方式提高相似视频筛选的全面性和准确性，同时控制视频双方的帧级特征的提取运算量，降低了帧级特征的提取运算量，提高相似视频的筛选效率。

【技术实现步骤摘要】
一种相似视频的筛选方法、装置、设备和存储介质
本专利技术实施例涉及视频处理
，尤其涉及一种相似视频的筛选方法、装置、设备和存储介质。
技术介绍
随着短视频和直播行业的快速发展，线上视频的增长规模不断扩大，短视频的日增量甚至达到千万级别，此时重复内容的新增视频为审核工作带来了大量的审核冗余，也给视频原创者的版权保护工作带来了巨大风险，因此需要通过筛选出具有重复内容的相似视频，来对新增视频进行消重，从而保证视频审核的高效性和视频原创者的版权安全性。目前，通常通过提取各个视频在视频级粒度或图片级粒度下的特征，进而采用不同视频在视频级粒度或者图片级粒度下的特征，来计算不同视频之间的相似度。此时，对于视频级粒度下的特征，每一视频仅需执行一次特征提取步骤，将该视频在稀疏采样下的个别视频帧的特征进行融合，并降维得到该视频在视频级粒度下的特征，使得视频级粒度下的特征维度较低，无法精确的表示不同视频之间的相似性；对于图片级粒度下的特征，考虑了该视频在不用帧下的空间细节，但对于该视频内的多个视频帧均需要执行特征提取步骤，使得特征提取的计算量过大，而且割裂了不同视频帧在某个视频内的时序关联，极大增加了不同视频之间的相似性计算效率。
技术实现思路
本专利技术实施例提供了一种相似视频的筛选方法、装置、设备和存储介质，实现待选视频库内不同待选视频在视频级特征和帧级特征相结合下的相似判断，提高相似视频筛选的全面性和准确性。第一方面，本专利技术实施例提供了一种相似视频的筛选方法，该方法包括：根据待选视频库内各个待选视频的视频级特征，构建每一待选视频在指定相似规模下的相似视频库；从每一待选视频的相似视频库中分别查找出与该待选视频之间的相似度超出预设相似阈值的相似视频，得到对应的视频对候选库；基于所述视频对候选库中每一候选视频对的视频双方在对应相似度权重下的帧级特征，从所述视频对候选库中筛选出对应的相似视频对。第二方面，本专利技术实施例提供了一种相似视频的筛选装置，该装置包括：相似库构建模块，用于根据待选视频库内各个待选视频的视频级特征，构建每一待选视频在指定相似规模下的相似视频库；候选库生成模块，用于从每一待选视频的相似视频库中分别查找出与该待选视频之间的相似度超出预设相似阈值的相似视频，得到对应的视频对候选库；相似视频筛选模块，用于基于所述视频对候选库中每一候选视频对的视频双方在对应相似度权重下的帧级特征，从所述视频对候选库中筛选出对应的相似视频对。第三方面，本专利技术实施例提供了一种设备，该设备包括：一个或多个处理器；存储装置，用于存储一个或多个程序；当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本专利技术任意实施例所述的相似视频的筛选方法。第四方面，本专利技术实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本专利技术任意实施例所述的相似视频的筛选方法。本专利技术实施例提供的一种相似视频的筛选方法、装置、设备和存储介质，首先待选视频库内各个待选视频的视频级特征，构建每一待选视频在指定相似规模下的相似视频库，以采用指定相似规模执行相似视频的第一重筛选，后续进一步从每一待选视频的相似视频库中分别查找出与该待选视频之间的相似度超出预设相似阈值的相似视频，由该待选视频与所查找出的相似视频构成对应的视频对候选库，以在每一待选视频的相似视频库中采用预设相似阈值执行相似视频的第二重筛选，通过双重筛选来减少视频对候选库中的候选视频对数量，进而基于视频对候选库中每一候选视频对的视频双方在对应相似度权重下的帧级特征，从视频对候选库中筛选出对应的相似视频对，从而实现待选视频库内不同待选视频在视频级特征和帧级特征相结合下的相似判断，采用双重筛选的方式提高相似视频筛选的全面性和准确性，同时通过每一候选视频对的视频双方的相似度权重来控制视频双方的帧级特征的提取运算量，无需对待选视频库内的每一待选视频均提取帧级特征，降低了帧级特征的提取运算量，提高相似视频的筛选效率。附图说明通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本专利技术的其它特征、目的和优点将会变得更明显：图1A为本专利技术实施例一提供的一种相似视频的筛选方法的流程图；图1B为本专利技术实施例一提供的相似视频的筛选过程的原理示意图；图2A为本专利技术实施例二提供的一种相似视频的筛选方法的流程图；图2B为本专利技术实施例二提供的方法中视频级特征的提取过程的原理示意图；图2C为本专利技术实施例二提供的方法中深度分离残差网络的结构示意图；图2D为本专利技术实施例二提供的方法中深度分离残差网络执行卷积操作的原理示意图；图2E为本专利技术实施例二提供的方法中时空分离残差网络的结构示意图；图2F为本专利技术实施例二提供的方法中时空分离残差网络内每一时空卷积层的结构示意图；图3A为本专利技术实施例三提供的一种相似视频的筛选方法的流程图；图3B为本专利技术实施例三提供的方法中帧级特征的提取过程的原理示意图；图3C为本专利技术实施例三提供的方法中多尺度注意力残差网络的结构示意图；图4为本专利技术实施例四提供的一种相似视频的筛选装置的结构示意图；图5为本专利技术实施例五提供的一种设备的结构示意图。具体实施方式下面结合附图和实施例对本专利技术作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本专利技术，而非对本专利技术的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本专利技术相关的部分而非全部结构。此外，在不冲突的情况下，本专利技术中的实施例及实施例中的特征可以相互组合。实施例一图1A为本专利技术实施例一提供的一种相似视频的筛选方法的流程图，本实施例可适用于任一种从大批量视频数据中筛选相似视频的情况中。本实施例提供的相似视频的筛选方法可以由本专利技术实施例提供的相似视频的筛选装置来执行，该装置可以通过软件和/或硬件的方式来实现，并集成在执行本方法的设备中，该设备可以是专门负责视频数据上传后存储的后台服务器。具体的，参考图1A，该方法可以包括如下步骤：S110，根据待选视频库内各个待选视频的视频级特征，构建每一待选视频在指定相似规模下的相似视频库。在本实施例中，待选视频库是指当前包含有大批量视频数据，且需要对不同视频进行相似度分析的视频集合，例如在视频服务端每日新增的线上视频集合，此时审核员需要在该线上视频集合中审核出违规视频并下线处理，而为了降低审核工作的冗余，对于线上视频集合中具有重复内容的相似视频仅需要审核一次即可，因此在该线上视频集合中需要筛选出相似视频。待选视频的视频级特征是指以视频为粒度来提取能够表示该待选视频的画面内容的特征，此时对于每个待选视频的视频级特征仅需要执行一次特征提取过程，特征维度较低，因此待选视频的视频级特征仅能代表待选视频的局部画面特征，无法全面地表示出待选视频在不同视频帧下的画面细节。具体的，首先需要获取本本文档来自技高网...

【技术保护点】
1.一种相似视频的筛选方法，其特征在于，包括：/n根据待选视频库内各个待选视频的视频级特征，构建每一待选视频在指定相似规模下的相似视频库；/n从每一待选视频的相似视频库中分别查找出与该待选视频之间的相似度超出预设相似阈值的相似视频，得到对应的视频对候选库；/n基于所述视频对候选库中每一候选视频对的视频双方在对应相似度权重下的帧级特征，从所述视频对候选库中筛选出对应的相似视频对。/n

【技术特征摘要】
1.一种相似视频的筛选方法，其特征在于，包括：
根据待选视频库内各个待选视频的视频级特征，构建每一待选视频在指定相似规模下的相似视频库；
从每一待选视频的相似视频库中分别查找出与该待选视频之间的相似度超出预设相似阈值的相似视频，得到对应的视频对候选库；
基于所述视频对候选库中每一候选视频对的视频双方在对应相似度权重下的帧级特征，从所述视频对候选库中筛选出对应的相似视频对。


2.根据权利要求1所述的方法，其特征在于，在从所述视频对候选库中筛选出对应的相似视频对之前，还包括：
根据所述视频对候选库中每一候选视频对的视频双方的相似度权重，确定视频双方的帧采样率，并分别抽取出视频双方在对应帧采样率下的目标视频帧；
通过预先构建的多尺度注意力残差网络提取视频双方在对应帧采样率下的每一目标视频帧在不同空间尺度下的注意力特征，并将该目标视频帧在各个空间尺度下的注意力特征进行拼接，得到该目标视频帧的多尺度注意力特征；
对视频双方在对应帧采样率下的各个目标视频帧的多尺度注意力特征进行融合，得到视频双方在对应相似度权重下的帧级特征。


3.根据权利要求2所述的方法，其特征在于，所述多尺度注意力残差网络在每一空间尺度下配置有满足特定空间概率分布的注意力权重；
通过预先构建的多尺度注意力残差网络提取视频双方在对应帧采样率下的每一目标视频帧在不同空间尺度下的注意力特征，包括：
提取视频双方在对应帧采样率下的每一目标视频帧在不同空间尺度下的帧级子特征，并采用每一空间尺度下的注意力权重，调整该目标视频帧在对应空间尺度下的帧级子特征，得到该目标视频帧在不同空间尺度下的注意力特征。


4.根据权利要求1所述的方法，其特征在于，在从所述视频对候选库中筛选出对应的相似视频对之前，还包括：
针对所述视频对候选库内每一候选视频对中的任一方视频，根据该视频在所述视频对候选库中与其他视频之间的相似度，确定该视频的相似度权重。


5.根据权利要求1所述的方法，其特征在于，基于所述视频对候选库中每一候选视频对的视频双方在对应相似度权重下的帧级特征，从所述视频对候选库中筛选出对应的相似视频对，包括：
将所述视频对候选库中每一候选视频对的视频双方在对应相似度权重下的帧级特征输入预先构建的三层感知机网络中，得到该候选视频对的相似得分；
根据所述视频对候选库中每一候选视频对的相似得分，筛选对应的相似视频对。


6.根据权利要求1所述的方法，其特征在于，在构建每一待选视频在指定相似规模下的相似视频库之前，还包括：
针对所述待选视频库内的每一待选视频，从该待选视频中抽取出对应的稀疏视频帧；
按照该待选视频中稀疏视频帧的时序信息，对该待选视频中每一稀疏视频帧的深度分离特征进行融合，得到该待选视频的二维空间特征；
根据该待选视频中稀疏视频帧的时序信息和每一稀疏视频帧的深度分离特征，确定该待选视频的三维时空分离特征；
对该待选视频的二维空间特征和三维时空分离特征进行拼接，得到该待选视频...

【专利技术属性】
技术研发人员：罗雄文，刘振强，卢江虎，项伟，
申请(专利权)人：广州市百果园信息技术有限公司，
类型：发明
国别省市：广东;44