一种基于深度学习和图论的拷贝视频检测方法和系统技术方案

本发明专利技术公开了一种基于深度学习和图论的拷贝视频检测方法，包括：抽取参考库视频中的关键帧，从关键帧中提取关键帧特征，并将该关键帧特征存储在参考库视频数据库中；抽取待检测视频中的关键帧，并从关键帧中提取关键帧特征；采用近似最近邻搜索算法对得到的参考库视频数据库中的关键帧特征和得到的待检测视频中的关键帧特征进行相似性匹配，根据图论的方法对得到的相似性匹配列表进行拷贝视频片段的判断与定位。本发明专利技术能够解决现有方法中存在的拷贝视频检测时间消耗大以及对部分视频编辑变换方式难以应对的技术问题。

A method and system for copy video detection based on depth learning and graph theory

The invention discloses a video copy detection method based on graph theory and deep learning, including: key frame extraction in video reference library, key frame extraction features from the key frame, and the features of key frames are stored in the reference library of video database; to extract key frames detection in video, and key frame extraction features from the key frame; the approximate nearest neighbor search algorithm for key frame feature reference library in the video database and get the key frame feature detection in video similarity matching, according to the method of graph theory to get the similarity matching list judgment and location of copy video clips. The invention can solve the technical problems existing in the existing method that the time consumption of copy video detection is large and the partial video editing transformation mode is difficult to deal with.

【技术实现步骤摘要】
一种基于深度学习和图论的拷贝视频检测方法和系统
本专利技术属于多媒体信息处理
，更具体地，涉及一种基于深度学习和图论的拷贝视频检测方法和系统。
技术介绍
随着信息技术、视频采集设备和视频编辑软件的发展，视频数据呈现海量增长的趋势。互联网上每天都有大量的视频被上传和下载，这就导致互联网上存在着大量的相似或者拷贝视频。大量拷贝视频的产生给视频内容监管、视频版权保护、视频搜索引擎结果排序等多方面带来技术性的难题。利用计算机进行拷贝视频检测研究是近年来人们普遍关注的新兴研究课题，其涉及到的关键帧相似性匹配、视频子序列相似性匹配等技术已引起了越来越多学者和机构的关注。目前，拷贝视频片段检测技术研究主要集中于基于视频关键帧特征的相似性匹配以及视频子序列的相似性匹配两方面。基于视频关键帧特征的相似性匹配目前研究主要集中于基于关键帧的局部特征进行相似性匹配，局部特征即通过提取关键帧的局部关键点并对关键点进行描述从而对关键帧进行描述。对于视频子序列相似性匹配方面的研究主要是采用模板序列匹配的方法，模板序列匹配是指以待检测视频序列的长度为窗口长度，然后以一个步长在参考视频序列中依次滑动，度量窗口内对应视频序列的相似度值。然而，现有的拷贝视频检测方法存在以下的技术问题：第一，局部特征点检测算法较为复杂，局部描述子的维度高，且使采用局部特征进行关键帧相似性匹配需要对关键帧进行两两相似度计算，因此时间消耗过大，在应对大规模数据集时算法的效率不高；第二，基于模板序列匹配的视频子序列相似性匹配方法很难应对帧率改变、插帧、丢帧等视频编辑变换，而且在视频规模较大时，基于模板序列匹配的方法时间复杂度较高；第三，当前绝大多数的拷贝视频检测研究均侧重于待检测视频与参考视频长度相等的情况和待检测视频是参考视频子集的情况，但是当待检测视频本身也为拷贝片段和非拷贝片段拼接且拷贝片段仅为参考库视频中的子集时，当前研究方法就变得难以应对，检测的准确率也会大大降低。
技术实现思路
针对现有技术的以上缺陷或改进需求，本专利技术提供了一种基于深度学习和图论的拷贝视频检测方法和系统，其目的在于，解决现有方法中存在的拷贝视频检测时间消耗大以及对部分视频编辑变换方式难以应对的技术问题。为实现上述目的，按照本专利技术的一个方面，提供了一种基于深度学习和图论的拷贝视频检测方法，包括以下步骤：(1)抽取参考库视频中的关键帧，从关键帧中提取关键帧特征，并将该关键帧特征存储在参考库视频数据库中；(2)抽取待检测视频中的关键帧，并从关键帧中提取关键帧特征；(3)采用近似最近邻搜索算法对步骤(1)中得到的参考库视频数据库中的关键帧特征和步骤(2)中得到的待检测视频中的关键帧特征进行相似性匹配；(4)根据图论的方法对步骤(3)得到的相似性匹配列表进行拷贝视频片段的判断与定位。优选地，步骤(1)具体包括以下子步骤：(1-1)抽取参考库视频中的多个关键帧，具体是按照时间间隔T秒抽取一个关键帧，其中T为自然数；(1-2)将步骤(1-1)中获取的多个关键帧进行归一化，将归一化的关键帧大小减去图像均值，并将结果输入到卷积神经网络模型进行处理，并将处理得到的W维向量作为关键帧特征，其中W为自然数；(1-3)将步骤(1-2)中获得的关键帧特征按生成时间的先后顺序保存在参考库视频数据库中，并记录每个关键帧特征所对应的参考库视频序号。优选地，步骤(1-2)中采用的是AlexNet卷积神经网络模型FC7层输出的的4096维向量，即W＝4096。优选地，步骤(2)具体包括以下步骤：(2-1)抽取待检测视频中的多个关键帧，具体是按照时间间隔S秒抽取一个关键帧，其中S为自然数；(2-2)将步骤(2-1)中获取的多个关键帧进行归一化，将归一化的关键帧大小减去图像均值，并将结果输入到卷积神经网络模型中进行处理，并将处理得到的W维向量作为关键帧特征。优选地，步骤(3)具体包括以下步骤：(3-1)读取参考库视频数据库中的关键帧特征R＝{r1,r2,...,rn}，并将所有关键帧特征组合为W×n的矩阵，其中n表示参考库视频数据库中关键帧的数量，rj为参考视频关键帧，且j∈(1,n)；(3-2)读取待检测视频中的关键帧特征Q＝{q1,q2,...,qm}，并将所有关键帧特征组合为W×m的矩阵，其中，m表示待检测视频关键帧的数量，qi为按时间先后排序的待检测视频关键帧，且i∈(1,m)；(3-3)采用近似最近邻搜索算法对获得的W×m的矩阵和W×n的矩阵进行关键帧的相似性匹配，以得到关键帧相似性匹配结果。优选地，步骤(3-3)具体为，采用近似最近邻搜索算法，针对步骤(3-2)得到的矩阵W×m中的每一行，在步骤(3-1)得到的矩阵W×n中搜索与其欧式距离最小的前K个行向量，并按欧式距离由小到大的顺序对结果进行排序，即得到参考库视频数据库关键帧集合R中与其距离最近的前K个关键帧rj，并得到待检测视频关键帧集合Q与参考库视频数据库中关键帧集合R的相似性匹配结果，其中K为自然数。优选地，步骤(4)具体包括以下子步骤：(4-1)根据步骤(3)得到的关键帧相似性匹配结果构造匹配结果图中的结点，即对于待检测关键帧qi，如果参考库视频数据库关键帧集合R中与其距离最近的前K个关键帧中包含rj，则得到结点Mi,j；(4-2)判断匹配结果图中的相邻两个结点是存在连边，如果是则进入步骤(4-3)，否则转入步骤(4-4)；(4-3)将该两个结点之间距离设为1，然后转入步骤(4-5)；(4-4)将该两个结点之间距离设为-1；(4-5)针对匹配结果图中的所有任意两个结点，重复上述步骤(4-2)至(4-4)，直到得到所有结点之间的距离为止，利用获得的所有向结点之间的距离，并使用Floyd_Warshall算法查找匹配结果图中任意两结点之间的最长路径Dist(Mi,j,Mu,v)，其中u∈(1,m)，v∈(1,n)。(4-6)根据步骤(4-5)得到的结果对待检测视频中的拷贝片段进行判断，以获取非拷贝视频。优选地，步骤(4-2)具体为，判断两个结点Mi,j和Mu,v是否存在连边需要同时两个条件：一是满足时间方向的一致性，即(i-u)*(j-v)＞0；二是满足两结点之间的跳跃度其中τ为结点之间的时间跳跃度阈值。优选地，步骤(4-6)具体为，查找匹配结果图中的最长路径maxDist(Mi,j,Mu,v)，如果maxDist(Mi,j,Mu,v)≥λ，则判断该待检测视频为包含拷贝片段，拷贝片段的关键帧序列为从qi到qu，对应的参考视频库关键帧序列为从rj到rv，λ是对最大路径长度的限制阈值，如果maxDist(Mi,j,Mu,v)＜λ，则判断该待检测视频不包含拷贝片段，即为非拷贝视频。按照本专利技术的另一方面，提供了一种基于深度学习和图论的拷贝视频检测系统，包括：第一模块，用于抽取参考库视频中的关键帧，从关键帧中提取关键帧特征，并将该关键帧特征存储在参考库视频数据库中；第二模块，用于抽取待检测视频中的关键帧，并从关键帧中提取关键帧特征；第三模块，用于采用近似最近邻搜索算法对第一模块得到的参考库视频数据库中的关键帧特征和第二模块得到的待检测视频中的关键帧特征进行相似性匹配；第四模块，用于根据图论的方法对第三模块得到的相似性匹配列表进行拷贝视频片段的判断与定位。总本文档来自技高网...

【技术保护点】
一种基于深度学习和图论的拷贝视频检测方法，其特征在于，包括以下步骤：(1)抽取参考库视频中的关键帧，从关键帧中提取关键帧特征，并将该关键帧特征存储在参考库视频数据库中；(2)抽取待检测视频中的关键帧，并从关键帧中提取关键帧特征；(3)采用近似最近邻搜索算法对步骤(1)中得到的参考库视频数据库中的关键帧特征和步骤(2)中得到的待检测视频中的关键帧特征进行相似性匹配；(4)根据图论的方法对步骤(3)得到的相似性匹配列表进行拷贝视频片段的判断与定位。

【技术特征摘要】
1.一种基于深度学习和图论的拷贝视频检测方法，其特征在于，包括以下步骤：(1)抽取参考库视频中的关键帧，从关键帧中提取关键帧特征，并将该关键帧特征存储在参考库视频数据库中；(2)抽取待检测视频中的关键帧，并从关键帧中提取关键帧特征；(3)采用近似最近邻搜索算法对步骤(1)中得到的参考库视频数据库中的关键帧特征和步骤(2)中得到的待检测视频中的关键帧特征进行相似性匹配；(4)根据图论的方法对步骤(3)得到的相似性匹配列表进行拷贝视频片段的判断与定位。2.根据权利要求1所述的拷贝视频检测方法，其特征在于，步骤(1)具体包括以下子步骤：(1-1)抽取参考库视频中的多个关键帧，具体是按照时间间隔T秒抽取一个关键帧，其中T为自然数；(1-2)将步骤(1-1)中获取的多个关键帧进行归一化，将归一化的关键帧大小减去图像均值，并将结果输入到卷积神经网络模型进行处理，并将处理得到的W维向量作为关键帧特征，其中W为自然数；(1-3)将步骤(1-2)中获得的关键帧特征按生成时间的先后顺序保存在参考库视频数据库中，并记录每个关键帧特征所对应的参考库视频序号。3.根据权利要求1所述的拷贝视频检测方法，其特征在于，步骤(1-2)中采用的是AlexNet卷积神经网络模型FC7层输出的的4096维向量，即W＝4096。4.根据权利要求2所述的拷贝视频检测方法，其特征在于，步骤(2)具体包括以下步骤：(2-1)抽取待检测视频中的多个关键帧，具体是按照时间间隔S秒抽取一个关键帧，其中S为自然数；(2-2)将步骤(2-1)中获取的多个关键帧进行归一化，将归一化的关键帧大小减去图像均值，并将结果输入到卷积神经网络模型中进行处理，并将处理得到的W维向量作为关键帧特征。5.根据权利要求4所述的拷贝视频检测方法，其特征在于，步骤(3)具体包括以下步骤：(3-1)读取参考库视频数据库中的关键帧特征R＝{r1,r2,...,rn}，并将所有关键帧特征组合为W×n的矩阵，其中n表示参考库视频数据库中关键帧的数量，rj为参考视频关键帧，且j∈(1,n)；(3-2)读取待检测视频中的关键帧特征Q＝{q1,q2,...,qm}，并将所有关键帧特征组合为W×m的矩阵，其中，m表示待检测视频关键帧的数量，qi为按时间先后排序的待检测视频关键帧，且i∈(1,m)；(3-3)采用近似最近邻搜索算法对获得的W×m的矩阵和W×n的矩阵进行关键帧的相似性匹配，以得到关键帧相似性匹配结果。6.根据权利要求5所述的拷贝视频检测方法，其特征在于，步骤(3-3)具体为，采用近似最近邻搜索算法，针对步骤(3-2)得到的矩阵W×m中的每一行，在步骤(3-1)得到的矩阵W×n中搜索与...

【专利技术属性】
技术研发人员：杨欧，
申请(专利权)人：深圳职业技术学院，
类型：发明
国别省市：广东,44