一种视频内容去重的处理方法技术

本发明专利技术涉及一种视频内容去重的处理方法，所述的视频内容去重的处理方法包括如下步骤：（1）根据视频的时长进行排序形成链表；（2）在设置的窗口内，计算所述链表中的视频与待验视频的时长相似度；如所述时长相似度达到设定的阈值范围，执行步骤（3）；否则，将所述待验视频插入到所述链表中；（3）在所述的窗口内进一步计算其他元数据相似度，并结合所述时长相似度和所述其他元数据相似度，所述其他元数据包括：视频标题、标签、关键词、上传时间、文件大小，判定所述链表中是否已存在所述的待验视频；如所述链表中不存在所述的待验视频，将所述待验视频插入到所述链表中；否则，放弃该待验视频。该处理方法在降低计算复杂度的同时，能保障视频内容去重处理的有效性。

【技术实现步骤摘要】
【专利摘要】本专利技术涉及，所述的视频内容去重的处理方法包括如下步骤：(1)根据视频的时长进行排序形成链表；（2)在设置的窗口内，计算所述链表中的视频与待验视频的时长相似度；如所述时长相似度达到设定的阈值范围，执行步骤（3);否则，将所述待验视频插入到所述链表中；（3)在所述的窗口内进一步计算其他元数据相似度，并结合所述时长相似度和所述其他元数据相似度，所述其他元数据包括：视频标题、标签、关键词、上传时间、文件大小，判定所述链表中是否已存在所述的待验视频；如所述链表中不存在所述的待验视频，将所述待验视频插入到所述链表中；否则，放弃该待验视频。该处理方法在降低计算复杂度的同时，能保障视频内容去重处理的有效性。【专利说明】
本专利技术涉及多媒体通信领域，特别涉及。
技术介绍
互联网视频业务中，在视频获取、搜索、推荐时，如何识别出高相似度视频成为限 制硬件资源节省、用户体验的提高。 现有的视频去重处理方法有下面几种： (1)根据视频文件MD5值去重。为了完整性校验和版权保护，每个视频文件中都 保存有一个MD5值，具有相同的MD5值的视频可以认为是同一视频。这种方法的局限性在 于，只能识别出具有完全相同来源的视频，视频经过转码后MD5值就会变化，而且无法识别 出内容高度相似的视频。 (2)根据视频文本元数据信息去重，最常用的是基于向量空间模型（VSM)的方 法，根据视频的描述信息提取出视频的文本特征，为视频建立一个文本向量空间模型： ，term是提取出的视频文本特征tag, weight是这个tag的权重。 在为每个视频建立文本向量空间模型后，计算两个向量的距离就得到了对于视频相似度的 度量，计算向量距离的方法有很多，例如余弦定理、欧式距离、曼哈顿距离、汉明距离等；这 种方法的计算时间复杂度为θ (η2)，面对大量的互联网视频，计算代价太大； (3)根据视频内容去重，视频内容并不能完全由元数据信息来衡量，视频是由一帧 一帧的图像组成的，可以通过关键帧的图像匹配来计算视频的相似度，但是这种方法也存 在不足，首先，这种方法的计算时间复杂度为θ (η2)，而且单个相似度的计算量过于复杂， 不具有实际工程应用性；其次，有些视频内容具有很高的相似性，但是由于拍摄期间或者后 期处理等的差异性，使得关键帧不相同造成漏识别。 在已公开的专利中，申请号：201210239076. 0的中国专利公开了"一种互联网资 源去重的处理方法及系统"，该方法利用资源包名和资源的名字进行去重，但不适合互联网 视频剔重。
技术实现思路
本专利技术的目的在于，为了克服现有的视频去重处理方法存在着上述使用的局限 性，本专利技术提供，该处理方法在降低计算复杂度的同时，能保 障视频内容去重处理的有效性。 为实现上述目的，本专利技术提供，所述的视频内容去 重的处理方法包括如下步骤： (1)根据视频的时长进行排序形成链表； (2)在设置的窗口内，计算所述链表中的视频与待验视频的时长相似度；如所述时 长相似度达到设定的阈值范围，执行步骤（3);否则，将所述待验视频插入到所述链表中； (3)在所述的窗口内进一步计算其他元数据相似度，所述其他元数据包括：视频标 题、标签、关键词、上传时间、文件大小，并结合所述时长相似度和所述其他元数据相似度， 判定所述链表中是否已存在所述的待验视频；如所述链表中不存在所述的待验视频，将所 述待验视频插入到所述链表中；否则，放弃该待验视频。 作为上述技术方案的进一步改进，所述判定的方法为： (1)对所述时长相似度和其他元数据相似度进行加权，得出总相似度； (2)如所述总相似度达到设定的阈值范围，则所述链表中已存在所述的待验视频， 否则，所述链表中不存在所述的待验视频。 作为上述技术方案的进一步改进，所述窗口的设置方法包括：静态设置和动态设 置；所述静态设置按时长或数量设置窗口；所述动态设置按链表不同区间视频数目和链表 视频总数目，或链表密度，或待比较的视频时长设置窗口。 作为上述技术方案的进一步改进，所述链表按所述视频的时长的粗细粒度进行排 序形成多层桶结构，所述多层桶包括粗粒度桶和细粒度桶，该粗粒度桶由多个细粒度桶组 成；每个粗粒度桶均按时长通过计数排序算法排序组成一个链表，所有细粒度桶按视频时 长排序组成一个总链表。 本专利技术的的优点在于： 1.由于视频的时长是一个区分性很高元数据，本专利技术只计算窗口内的待验视频的 时长相似度，结合链表按所述视频的时长的粗细粒度进行计数排序形成多层桶结构，计算 复杂度从θ (η2)降低到〇 (η);进一步结合其他元数据相似性，提高了识别率。 2.根据去重处理的需要，窗口可以动态调整，保障了视频内容去重处理的有效性。 【专利附图】【附图说明】 图1是本专利技术的的流程图。 图2是本专利技术的的多层桶结构示意图。 【具体实施方式】 下文将结合附图和【具体实施方式】对本专利技术作进一步的说明。 如图1所示，本专利技术提供，所述的视频内容去重的 处理方法包括如下步骤： 101)根据视频的时长进行排序形成链表，当一个待验视频要插入所述链表中时， 进入102); 102)在设置的窗口内，计算所述链表中的视频与待验视频的时长相似度，进入 103)； 103)判断所述时长相似度是否达到设定的阈值范围，如果达到，进入104)，否则， 进入108); 104)在所述的窗口内进一步计算其他元数据相似度，所述其他元数据包括：视频 标题、标签、关键词、上传时间、文件大小，进入105); 105)结合所述时长相似度和所述其他元数据相似度，判定所述链表中是否已存在 所述的待验视频；所述的判定可采用对所述时长相似度和其他元数据相似度进行加权，得 出总相似度的方法；在本实施中仅以上述方法为例进行判定，进入106); 106)比较步骤105)中得到的总相似度，如果总相似度达到设定阀值，则表明所述 链表中存在与待验视频相同的视频，进入107);否则，表明所述链表中不存在与待验视频相 同的视频，进入108); 107)放弃所述待验视频，进入109); 108)将所述待验视频插入到所述链表中，进入109); 109)本待验视频去重执行完毕，下一个待验视频去重开始。 基于上述实施例，所述窗口的设置方法可通过静态设置和动态设置；所述静态设 置按时长或数量设置窗口；所述动态设置按链表不同区间视频数目和链表视频总数目，或 链表密度，或待比较的视频时长设置窗口。 如图2所示，所述链表可按所述视频的时长的粗细粒度进行排序形成多层桶结 构，所述多层桶包括粗粒度桶和细粒度桶，该粗粒度桶由多个细粒度桶组成；每个粗粒度桶 均按时长通过计数排序算法排序组成一个链表，所有细粒度桶按视频时长排序组成一个总 链表。在本实施例中，所述链表的排序结构采用二层桶模型，所述视频的时长的粗细粒度分 别以小时和分钟划分。 最后所应说明的是，以上实施例仅用以说明本专利技术的技术方案而非限制。尽管参 照实施例对本专利技术进行了详细说明，本领域的普通技术人员应当理解，对本专利技术的技术方 案进行修改或者等同替换，都不脱离本专利技术技术方案的精神和本文档来自技高网...

【技术保护点】
一种视频内容去重的处理方法，其特征在于，所述的视频内容去重的处理方法包括如下步骤：（1）根据视频的时长进行排序形成链表；（2）在设置的窗口内，计算所述链表中的视频与待验视频的时长相似度；如所述时长相似度达到设定的阈值范围，执行步骤（3）；否则，将所述待验视频插入到所述链表中；（3）在所述的窗口内进一步计算其他元数据相似度，所述其他元数据包括：视频标题、标签、关键词、上传时间、文件大小，并结合所述时长相似度和所述其他元数据相似度，判定所述链表中是否已存在所述的待验视频；如所述链表中不存在所述的待验视频，将所述待验视频插入到所述链表中；否则，放弃该待验视频。

【技术特征摘要】

【专利技术属性】
技术研发人员：刘学，江佳伟，徐开诚，
申请(专利权)人：中国科学院声学研究所，上海尚恩华科网络科技股份有限公司，
类型：发明
国别省市：北京;11