一种基于连续拷贝帧序列的拷贝视频检测方法技术

本发明专利技术公开了一种基于连续拷贝帧序列的拷贝视频检测方法，目的是提供一种能实现对待检测视频由拷贝片段和非拷贝片段拼接情况有效检测的方法。技术方案是先提取参考视频和待检测视频的关键帧及关键帧特征，得到参考视频关键帧特征矩阵和待检测视频关键帧特征矩阵；然后对待检测视频关键帧特征矩阵中的每一行在参考视频关键帧特征矩阵中搜索欧式距离最小的行向量，得到最相似参考视频关键帧序号列表R*和最相似帧距离d1,d2,...di,...,dM；基于R*和d1,d2,...di,...,dM判断待检测视频关键帧是否为拷贝帧，判断待检测视频是否为拷贝视频，并对拷贝视频中的拷贝片段进行定位。采用本发明专利技术可有效解决待检测视频由拷贝片段和非拷贝片段拼接的情况，提高相似关键帧匹配的速度和准确性。

A copy video detection method based on continuous copy frame sequence

The invention discloses a copy video detection method based on continuous copy frame sequence, which aims to provide a method for effectively detecting a video stitched by a copy fragment and a non-copy fragment. The technical scheme firstly extracts the key frame and key frame features of the reference video and the video to be detected, obtains the key frame feature matrix of the reference video and the key frame feature matrix of the video to be detected, and then searches the row with the minimum Euclidean distance in the key frame feature matrix of the reference video for each row of the key frame feature matrix of the detected video. Vector, get the most similar reference video key frame sequence number list R * and the most similar frame distance d1, d2,... Di,..., dM; based on R * and d1, d2,... Di,..., dM to determine whether the video key frame to be detected is a copy frame, determine whether the video to be detected is a copy video, and locate the copy fragment in the copy video. The invention can effectively solve the situation that the video to be detected is joined by the copy fragment and the non-copy fragment, and improve the speed and accuracy of similar key frame matching.

【技术实现步骤摘要】
一种基于连续拷贝帧序列的拷贝视频检测方法
本专利技术涉及多媒体信息处理
关于拷贝视频检测的方法，是一种能够适应多种不同编辑变换的视频检测方法。
技术介绍
随着网络技术，视频硬件处理技术和软件处理技术的飞速发展，视频数据在众多领域呈现海量增长的趋势。与此同时，互联网用户的快速增加和视频技术的普遍化，社交媒体平台视频共享等因素，使得视频数据的下载，再编辑和重新上传更加方便快捷，互联网上的视频数量和种类呈爆炸型增长。以YouTube视频网站为例，每分钟就有超过100小时数据量的视频被下载，在一些社交网站，每天同样有大量的视频被下载和分享，这就导致互联网上充斥着大量的相似或者拷贝视频，且越来越多。相关研究结果显示，在YouTube，GoogleVideo和Yahoo_Video上基于一些流行的关键词进行视频检索，返回结果中有将近27％的视频是相似视频，这大大降低了视频检索的效率和准确度。这些相似视频中除了部分是完全一模一样的视频之外，更多的是一些经过了视觉变换或者后期制作等再编辑的拷贝视频。常见的拷贝视频编辑变换的方式如图1所示，包括模糊变换、亮度对比度变化、比例变化、内容变化、画中画、拉伸变换、组合编辑以及镜像等。大量拷贝视频的存在会带来许多问题，例如视频内容监管难度增大、视频版权侵犯现象普遍、视频检索效果不理想，视频存储空间浪费等多方面影响。拷贝视频检测技术可以实现对这些相同或者几乎相同的视频的筛选，这对于视频内容监管、视频版权保护和提高检索效率等都有很大的意义。利用计算机进行拷贝视频检测研究是近年来人们普遍关注的新兴研究课题，主要涉及的关键帧(指按一定的时间间隔提取的视频数据帧，图像处理领域的常用术语，并不是指关键帧的内容有何特殊之处)相似性匹配、视频子序列相似性匹配等技术已经得到了众多学者和机构的关注。特别是关键帧相似性匹配已经作为一项重要任务出现在视频检索权威评测机构TRECVID(TRECVideoRetrievalEvaluation)的任务列表中。在2014年第一届全国特定音视频检索识别挑战赛和2016年第一届全国网络舆情大赛中，视频内容拷贝检测也被作为检测任务之一。目前，拷贝视频片段检测技术研究主要集中于基于视频关键帧特征的相似性匹配以及视频子序列的相似性匹配两方面。基于视频关键帧特征的相似性匹配主要运用关键帧的全局特征和局部特征进行相似性匹配。关键帧的全局特征主要是指颜色、形状、纹理以及空间关系等全局视觉特征，将一幅关键帧某个特征的全局信息用简单的向量进行表示。全局特征的优点是计算量小，对相同内容或者变化不是很大的拷贝视频比较有效，但全局特征极易受到光照、裁剪等因素的干扰，很难应对经过了复杂编辑变换的拷贝视频，因此不够鲁棒。与全局特征相比，局部特征的鲁棒性要高很多，主要包括尺度不变特征转换(ScaleInvariantFeatureTransform，SIFT)、加速鲁棒特征(SpeededUpRobustFeatures，SURF)、ORB(OrientedFASTandRotatedBRIEF)等，可以应对拷贝视频中的光照变换、旋转变换、尺度变换和几何变换等复杂的编辑变换。但是，局部特征点检测算法复杂，特征点数量多，局部描述子维度高，都使得采用局部特征进行关键帧相似性匹配的计算量比采用全局特征大很多，匹配效率较低，在应对大规模数据集时算法的耗时较高。对于视频子序列相似性匹配方面的研究主要包含两类：基于模板序列匹配的视频子序列相似性匹配和基于帧融合的视频子序列相似性匹配。模板序列匹配是指以待检测视频序列的长度为窗口长度，然后以一个固定步长在参考视频序列中依次滑动，度量窗口内对应视频序列的相似度值，找到整个滑动过程中相似度值最大的位置，如果此时的相似度值大于事先设定的阈值，则此时窗口中的序列即为对应的待检测视频和参考视频中的拷贝序列。基于模板序列匹配的视频子序列相似性匹配方法计算简单、容易实现，但它很难应对帧率改变、插帧、丢帧等视频编辑变换，在视频规模较大时，基于模板序列匹配的方法时间复杂度较高，而且也无法解决待检测视频由拷贝片段和非拷贝片段拼接的情况，适用性较低。基于帧融合的视频子序列相似性匹配方法从待检测视频序列入手，对于待检测视频序列中的每一个关键帧，采用基于关键帧特征的相似性匹配方法在参考视频关键帧中查找与待检测帧最相似的前K个关键帧。为所有的待检测关键帧都得到前K个最相似的参考视频关键帧后，再通过视频子序列的时序信息进行拷贝视频片段的判别和定位。基于帧融合的方法能够应对视频帧率改变、插帧、丢帧等编辑变换，也能够解决视频中只存在部分拷贝片段的情况，但基于帧融合的方法计算复杂，算法实现也比较难。因此这一系列研究面临拷贝视频检测中的一些典型限制：一是当前绝大多数研究在都采用鲁棒性较高的局部特征进行关键帧的相似性匹配，导致关键帧相似性匹配速度仍然较慢。影响速度的原因主要有两个：(1)视频库的关键帧数量巨大，要在整个库中进行关键帧相似性匹配是一项费时的任务；(2)关键帧的局部关键点数量庞大，关键点描述向量维度高，在关键帧之间进行局部关键点的一一匹配需要耗费大量时间。二是当前绝大多数的拷贝视频检测研究均侧重于待检测视频与参考视频长度相等的情况和待检测视频是参考视频子集的情况，这两种情况中待检测视频是纯拷贝的，没有非拷贝片段。虽然这些方法在解决各自的应用问题时都取得了比较好的效果，但是应用面太窄，适用性不高，当待检测视频本身也为拷贝片段和非拷贝片段拼接且拷贝片段仅为参考视频中的子集时，当前研究方法就无法解决，检测的准确率也会大大降低。因此，拷贝视频检测的研究现状还不能有效满足视频检索、版权保护、视频内容监管的需要，提出一种快速有效的拷贝视频检测方法尤为重要。
技术实现思路
本专利技术要解决的技术问题是提供一种可以应对多种编辑变换的基于连续拷贝帧序列的拷贝视频检测方法，实现对待检测视频由拷贝片段和非拷贝片段拼接情况的有效检测，提高相似关键帧匹配的速度和准确性，满足视频检索、版权保护、视频内容监管的需求。本专利技术的具体技术方案是：第一步，对参考视频进行处理，即提取参考视频的关键帧、提取关键帧特征，并将关键帧的所属参考视频和帧号信息及其特征存储到参考视频数据库中。具体方法是：1.1、从参考视频提取关键帧。每隔T秒从参考视频提取一帧关键帧，T为自然数(实验证明T＝1时检测速度和准确率效果最好)，提取出的关键帧构成关键帧集合R'，R'＝{r'1,r'2,...,r'j,...,r'N}，r'j为第j个参考视频关键帧，1≤j≤N，N为参考视频关键帧的数量，是一个大于1的自然数。1.2、提取参考视频关键帧集合R'中各参考视频关键帧的特征。将R'中各关键帧图像的尺寸归一化(对图像的尺寸进行一系列标准的处理变换，使之变换为一固定尺寸形式的过程)为227×227，得到归一化后的关键帧集合R＝{r1,r2,...,rj,...,rN}，rj为第j个归一化后的参考视频关键帧，然后将归一化后的关键帧与各关键帧图像的图像均值的差值输入到AlexNet卷积神经网络模型(见文献“ImageNetClassificationwithDeepConvolutionalNeuralNetworks[J],Advancesin本文档来自技高网...

【技术保护点】
1.一种基于连续拷贝帧序列的拷贝视频检测方法，其特征在于包括以下步骤：第一步，对参考视频进行处理，即提取参考视频的关键帧、提取关键帧特征，并将关键帧的所属参考视频和帧号信息及其特征存储到参考视频数据库中，具体方法是：1.1、从参考视频提取关键帧：每隔T秒从参考视频提取一帧关键帧，T为自然数，提取出的关键帧构成关键帧集合R'，R'＝{r1',r2',...,rj',...,r'N}，rj'为第j个参考视频关键帧，1≤j≤N，N为参考视频关键帧的数量，是一个大于1的自然数；1.2、提取参考视频关键帧集合R'中各参考视频关键帧的特征：将R'中各关键帧图像的尺寸归一化为227×227，得到归一化后的关键帧集合R＝{r1,r2,...,rj,...,rN}，rj为第j个归一化后的参考视频关键帧，然后将归一化后的关键帧与各关键帧图像的图像均值的差值输入到AlexNet卷积神经网络模型中，选择模型中FC7层的4096维向量作为关键帧的特征，得到N个4096维的特征向量，将这N个4096维的特征向量存储在参考视频数据库中；参考视频数据库还包含一张参考视频关键帧表，该表包含N个表项，每个表项包含4个域，即关键帧序号、关键帧所属的参考视频标号，关键帧在所属参考视频中的帧序号，关键帧特征的存放路径；第二步，提取待检测视频的关键帧，并提取关键帧的特征，具体方法是：2.1、从待检测视频提取关键帧，每隔t秒从待检测视频提取视频关键帧，t为自然数；提取出的关键帧构成待检测视频关键帧集合Q，Q＝{q1,q2,...qi,...,qM}，qi为按时间先后排序的待检测视频关键帧，1≤i≤M，M表示待检测视频关键帧的数量，是一个大于1的整数；2.2、提取待检测视频关键帧集合Q中各待检测视频关键帧特征：将所有关键帧图像的尺寸归一化为227×227，然后将其与图像均值的差值输入到AlexNet卷积神经网络模型中，选择模型中FC7层的4096维向量作为待检测视频关键帧的特征；提取M个待检测视频关键帧特征，得到M个4096维的特征向量；第三步，基于参考视频关键帧特征和待检测视频关键帧特征，进行关键帧的相似性计算和最相似关键帧匹配，方法为：3.1、依次访问参考视频关键帧表中的关键帧特征存放路径并读取关键帧特征，将N个参考视频关键帧的4096维特征向量组合在一起，构成一个4096×N的参考视频关键帧特征矩阵；3.2、将待检测视频关键帧集合Q的M个4096维特征向量组合在一起，构成一个4096×M的待检测视频关键帧特征矩阵；3.3、采用近似最邻近搜索算法对待检测视频关键帧特征矩阵中的每一行在参考视频关键帧特征矩阵中搜索欧式距离最小的行向量，找到距离待检测关键帧qi最近的一个关键帧...

【技术特征摘要】
1.一种基于连续拷贝帧序列的拷贝视频检测方法，其特征在于包括以下步骤：第一步，对参考视频进行处理，即提取参考视频的关键帧、提取关键帧特征，并将关键帧的所属参考视频和帧号信息及其特征存储到参考视频数据库中，具体方法是：1.1、从参考视频提取关键帧：每隔T秒从参考视频提取一帧关键帧，T为自然数，提取出的关键帧构成关键帧集合R'，R'＝{r1',r2',...,rj',...,r'N}，rj'为第j个参考视频关键帧，1≤j≤N，N为参考视频关键帧的数量，是一个大于1的自然数；1.2、提取参考视频关键帧集合R'中各参考视频关键帧的特征：将R'中各关键帧图像的尺寸归一化为227×227，得到归一化后的关键帧集合R＝{r1,r2,...,rj,...,rN}，rj为第j个归一化后的参考视频关键帧，然后将归一化后的关键帧与各关键帧图像的图像均值的差值输入到AlexNet卷积神经网络模型中，选择模型中FC7层的4096维向量作为关键帧的特征，得到N个4096维的特征向量，将这N个4096维的特征向量存储在参考视频数据库中；参考视频数据库还包含一张参考视频关键帧表，该表包含N个表项，每个表项包含4个域，即关键帧序号、关键帧所属的参考视频标号，关键帧在所属参考视频中的帧序号，关键帧特征的存放路径；第二步，提取待检测视频的关键帧，并提取关键帧的特征，具体方法是：2.1、从待检测视频提取关键帧，每隔t秒从待检测视频提取视频关键帧，t为自然数；提取出的关键帧构成待检测视频关键帧集合Q，Q＝{q1,q2,...qi,...,qM}，qi为按时间先后排序的待检测视频关键帧，1≤i≤M，M表示待检测视频关键帧的数量，是一个大于1的整数；2.2、提取待检测视频关键帧集合Q中各待检测视频关键帧特征：将所有关键帧图像的尺寸归一化为227×227，然后将其与图像均值的差值输入到AlexNet卷积神经网络模型中，选择模型中FC7层的4096维向量作为待检测视频关键帧的特征；提取M个待检测视频关键帧特征，得到M个4096维的特征向量；第三步，基于参考视频关键帧特征和待检测视频关键帧特征，进行关键帧的相似性计算和最相似关键帧匹配，方法为：3.1、依次访问参考视频关键帧表中的关键帧特征存放路径并读取关键帧特征，将N个参考视频关键帧的4096维特征向量组合在一起，构成一个4096×N的参考视频关键帧特征矩阵；3.2、将待检测视频关键帧集合Q的M个4096维特征向量组合在一起，构成一个4096×M的待检测视频关键帧特征矩阵；3.3、采用近似最邻近搜索算法对待检测视频关键帧特征矩阵中的每一行在参考视频关键帧特征矩阵中搜索欧式距离最小的行向量，找到距离待检测关键帧qi最近的一个关键帧j*为最相似关键帧序号，并计算出qi和之间的距离得到待检测视频关键帧集合Q的最相似参考视频关键帧序号列表R*和每个待视频关键帧与其最相似参考帧之间的距离，即最相似帧距离d1,d2,...di,...,dM；第四步，基于待检测视频关键帧集合Q的最相似帧列表R*和最相似帧距离d1,d2,...di,...,dM，判断待检测视频关键帧是否为拷贝帧，寻找连续拷贝帧序列，从而判断待检测视频是否为拷贝视频，并对拷贝视频进行定位，具体方法为：4.1、根据最相似帧距离d1,d2,...di,...,dM，初步判断每个待检测视频关键帧是否为拷贝帧，方法是：4.1.1归一化q1,q2,...qi,...,qM的最相似帧距离d1,d2,...di,...,dM，得到归一化最相似帧距离D1,D2,...,Di,...,DM，计算归一化最相似帧距离D1,D2,...,Di,...,DM的平均值K；4.1.2根据待检测视频关键帧的归一化最相似帧距离D1,D2,...,Di,...,DM确定待检测视频关键帧q1,q2,...qi,...,qM的拷贝属性值y1,y2,...,yi,...yM；4.2、基于待检测视频关键帧q1,q2,...qi,...,qM的拷贝属性值y1,y2,...yi,...,yM，检测并纠正错判的关键帧拷贝属性：4.2.1根据关键帧的拷贝属性值，根据关键帧的拷贝属性值，对待检测视频关键帧进行区间划分，得到待检测视频关键帧区间集合W、正区间集合W+和待验证关键帧区间集合W*，方法是：4.2.1.1初始化变量i＝1；4.2.1.2初始化变量j1＝2，令第一分界点x1＝1；4.2.1.3如果yi≠yi+1，则令第j1分界点转4.2.1.4；如果yi＝yi+1，令j1＝j1+1,转4.2.1.3；4.2.1.4i＝i+1；4.2.1.5如果i＜M，则执行4.2.1.3；否则，说明已经找出所有的区间分界点，完成对待检测视频关键帧区间的划分，分界点个数m＝j1+1，第m分界点xm＝M，待检测视频关键帧区间集合W＝{w1,w2,...,wn,...wm-1}，wn为第n个区间，1≤n≤m-1，转4.2.1.6；4.2.1.6初始化关键帧区间个数变量j#＝1，初始化待验证关键帧区间计数变量n*＝1，初始化待验证区间总数N*＝1，初始化正区间计数变量n+＝1，初始化正区间总数N+＝1，初始化正区间集合W+和待验证关键帧区间集合W*为空集；4.2.1.7令区间的长度如果区间内的关键帧属性值为1，则该区间属于正区间集合W+，n+＝n++1；如果l为长度阈值，则为待验证关键帧区间属于待验证区间集合W*，区间的起始边界为结束边界为n*＝n*+1；4.2.1.8j#＝j#+1；4.2.1.9如果j#≤m，执行4.2.1.7，否则，说明已经找出所有待验证区间和正区间，令N*＝n*,N+＝n+，令待验证区间集合为正区间集合为转4....

【专利技术属性】
技术研发人员：谢毓湘，张莉莉，栾悉道，张芯，贺竟锰，
申请(专利权)人：中国人民解放军国防科技大学，
类型：发明
国别省市：湖南,43