一种实时的多维特征融合视频拷贝检测方法技术

本发明专利技术公开一种实时的多维特征融合视频拷贝检测方法，其包括：S1：对视频进行解码，将解码出的任一帧与上一次进行检索的视频帧进行帧间差比对，若帧间差大于预设值则记录对应视频帧并进入下一步；否则继续解码；S2：进行图像增强操作；S3：增强后先提取全局特征，之后提取局部特征；S4：将全局特征与局部特征进行拼接，拼接后在特征库中进行最近邻检索，挑选出最近似的特征；S5：计算任意两个最近似特征之间的汉明距离：若汉明距离小于预设阈值，则认定为对应的两个视频帧相似，并根据匹配上的视频帧序号进一步比对帧序特征；若比对结果为命中特征库内的视频，则终止检测并输出命中结果；若直至视频解码结束还未命中，则输出未命中的结果。中的结果。中的结果。

【技术实现步骤摘要】
一种实时的多维特征融合视频拷贝检测方法


[0001]本专利技术涉及视频检测
，具体而言，涉及一种实时的多维特征融合视频拷贝检测方法。

技术介绍

[0002]随着多媒体技术的发展，互联网上的音视频数量急剧增加，相同内容的音视频文件常常会经过再次编辑，成为许多拷贝版本出现在不同的网站上。然而，由于网络数据规模十分庞大，依靠人力在海量数据中找出拷贝视频是不现实的，视频拷贝检测技术也因此被提出。该技术的应用场景是基于已有的视频源，在海量数据中寻找与之相同或近似的拷贝视频。视频拷贝检测技术可以应对版权保护与非法内容检测的问题，还可以处理视频监控计数问题、视频推荐问题等，例如获取某视频片段在网络流媒体上某个时间段内出现的次数等。
[0003]早期的视频拷贝检测技术主要是使用各类传统特征进行检测，近几年，随着深度学习方法的引入，已经出现了大量基于深度网络模型的视频拷贝检测技术，相比于传统方法取得了更优秀的识别效果。基于内容的视频拷贝检测是通过测量从待检测视频和原始视频中提取的能唯一标识视频内容的特征之间的距离来判断待检测视频是否是原始视频的拷贝版本，其主要包含了镜头分割、关键帧提取、特征提取和相似性度量这4个部分。随着版权意识的提高，出于保护音视频文件版权以及避免资源浪费等多方面需要，基于内容的视频拷贝检测技术获得了越来越多研究者的关注，成为了本领域一大研究热点。
[0004]申请号为CN201310513718.6的专利技术公开了一种进行广告检测的视频拷贝检测方法，如图1所示，其通过对广告视频的关键帧进行抽取后对其进行不均匀分块获取HSV特征，并通过将提取的特征与特征库进行映射以检测拷贝视频。但是此技术方案采用的4x4的分块计算平均亮度特征后进行排序的方式很容易被攻击，比如区域遮挡、加水印、顶部密集弹幕、加黑白边框等，因而降低了视频拷贝检测的准确率。
[0005]2015年CVPR上发表的论文“Learning to Compare Image Patches via Convolutional Neural Networks”公开了一种采用双胞胎卷积神经网络SCNN的方法，其架构如图2所示，是由2个结构相同、参数共享的子网络组成，它以图像对作为训练输入，通过预测的相似度与实际相似度之间的误差进行前项反馈以调节网络模型参数。将这一网络用于拷贝检测中的视频特征提取的原理为：当网络输入2张视频帧图像时，预测的相似度通过欧氏距离计算，模型训练的目标是使得拷贝对距离越小、非拷贝对距离越大。采用SCNN的方法需要准备一定量的训练数据，通过模拟拷贝效果的方式制造拷贝对数据，非拷贝对数据可直接抽样随机配对获得。然而，SCNN需进行深度学习方法计算，其计算开销很大，难以做到视频的实时处理，并且SCNN方法需要保存大量样本库视频图片作为比对输入，存储开销也很大，而且至少需要与每个样例库视频中的一帧进行比对，整个计算开销巨大，只有在样本库数据量较小时可用。

技术实现思路

[0006]为解决上述问题，本专利技术提供一种实时的多维特征融合视频拷贝检测方法，通过对图像进行增强操作以抵抗加（减）边框、对比度变换、灰度化的攻击，通过局部特征与全局特征融合的特征提取方式提升鲁棒性，以抵抗运镜、剪裁、画中画、旋转的攻击，通过低维特征融合保证了特征的有效性、存储的便利性、检索的高效性。
[0007]为达到上述目的，本专利技术提供了一种实时的多维特征融合视频拷贝检测方法，其包括：步骤S1：对输入的视频进行解码，将解码出的任一帧与上一次进行检索的视频帧进行帧间差比对，若帧间差大于预设值则记录对应视频帧并进入下一步；否则对输入视频继续解码；步骤S2：对视频帧进行图像增强操作；步骤S3：对增强后的图像先提取全局特征，之后提取局部特征；步骤S4：将提取的全局特征与局部特征进行拼接，拼接后在特征库中进行最近邻检索，挑选出最近似的特征；步骤S5：计算任意两个最近似特征之间的汉明距离：若汉明距离小于预设阈值，则认定为对应的两个视频帧相似，并根据匹配上的视频帧序号进一步比对帧序特征；若比对结果为命中特征库内的视频，则终止检测并输出命中结果；若直至视频解码结束还未命中，则输出未命中的结果。
[0008]在本专利技术一实施例中，其中，步骤S2的图像增强操作具体包括：步骤S201：对视频帧图像进行灰度化处理；步骤S202：去除灰度化视频帧的纯色边框；步骤S203：对去除边框后的视频帧进行直方图均衡操作。
[0009]在本专利技术一实施例中，其中，步骤S3中全局特征的提取过程具体为：步骤S301：将图像缩放到固定大小；步骤S302：计算全部像素值的中值；步骤S303：生成二值化特征，具体为：若某个像素的像素值大于中值，则该像素的二值化特征为1；否则，该像素的二值化特征为0。
[0010]在本专利技术一实施例中，其中，步骤S301的固定大小为32*32，步骤S303的二值化特征的特征维度为32*32=1024位。
[0011]在本专利技术一实施例中，其中，步骤S3中局部特征提取的过程具体为：将图像平均切分为2*2的四宫格，每个宫格中提取一个fast角点特征，特征维度为256位。
[0012]在本专利技术一实施例中，其中，步骤S4进行特征拼接后成为2048位特征图像。
[0013]在本专利技术一实施例中，其中，步骤S4的最近邻检索的检索方式是基于层次聚类树的。
[0014]在本专利技术一实施例中，其中，步骤S5中比对帧序特征的逻辑具体为：步骤S501：若当前视频帧为匹配上的第一帧时，则直接跳过该视频帧，即不比对对
应的帧序特征；若当前视频帧不是匹配上的第一帧时，则比较当前匹配上的视频帧序号与上一个匹配上的视频帧序号；步骤S502：若当前匹配上的视频帧序号大于等于上一个匹配上的视频帧序号，则表明符合视频的帧序特征，为有效的连续命中，并将连续命中帧数+1；否则记录当前视频帧为匹配上的第一帧，继续比对；步骤S503：若待检测视频中包括连续5个及以上的视频帧与特征库内同一视频相似，且均符合视频的帧序特征，则认定待检测视频命中特征库内的视频。
[0015]本专利技术提供的实时的多维特征融合视频拷贝检测方法，与现有技术相比至少具备以下优点：1.可以抵抗缩放、剪裁、对比度变化、灰度化、运镜、画中画、弹幕、字幕、水印、遮挡、加减边框、旋转类型的攻击；2. 特征提取过程与检索过程均十分高效，可以实现对视频流的实时检测；3. 特征的维度很低，对内存与磁盘的占用很小，并可以提高检索与检测的效率。
附图说明
[0016]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0017]图1为一现有技术进行广告检测的视频拷贝检测方法流程图；图2为另一现有技术采用的SCNN架构示意图；图3为本专利技术一实施例的流程示意图。
实施方式
[00本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种实时的多维特征融合视频拷贝检测方法，其特征在于，包括：步骤S1：对输入的视频进行解码，将解码出的任一帧与上一次进行检索的视频帧进行帧间差比对，若帧间差大于预设值则记录对应视频帧并进入下一步；否则对输入视频继续解码；步骤S2：对视频帧进行图像增强操作；步骤S3：对增强后的图像先提取全局特征，之后提取局部特征；步骤S4：将提取的全局特征与局部特征进行拼接，拼接后在特征库中进行最近邻检索，挑选出最近似的特征；步骤S5：计算任意两个最近似特征之间的汉明距离：若汉明距离小于预设阈值，则认定为对应的两个视频帧相似，并根据匹配上的视频帧序号进一步比对帧序特征；若比对结果为命中特征库内的视频，则终止检测并输出命中结果；若直至视频解码结束还未命中，则输出未命中的结果。2.根据权利要求1所述的实时的多维特征融合视频拷贝检测方法，其特征在于，步骤S2的图像增强操作具体包括：步骤S201：对视频帧图像进行灰度化处理；步骤S202：去除灰度化视频帧的纯色边框；步骤S203：对去除边框后的视频帧进行直方图均衡操作。3.根据权利要求1所述的实时的多维特征融合视频拷贝检测方法，其特征在于，步骤S3中全局特征的提取过程具体为：步骤S301：将图像缩放到固定大小；步骤S302：计算全部像素值的中值；步骤S303：生成二值化特征，具体为：若某个像素的像素值大于中值，则该像素的二值化特征为1；否则，该像素的二值化特征为0。4.根据权利要求...

【专利技术属性】
技术研发人员：琚午阳，罗鑫，
申请(专利权)人：北京睿芯高通量科技有限公司，
类型：发明
国别省市：