基于视觉特征的视频指纹检测及视频序列匹配方法及系统技术方案

本发明专利技术提出一种基于视觉特征的视频指纹检测方法，具体为：按照帧间相关性对视频序列分段，在分段中提取关键帧；在各关键帧中提取视频特征；利用像素点特征字典对像素点分类；对各关键帧分别进行多次不同数量的分块，在各子块中依据像素点的分类结果统计像素点特征字典各元素的出现次数，得到该子块的特征向量；将所有子块的特征向量拼接得到关键帧的高维视频指纹；对各高维视频指纹进行降维；将各视频片段关键帧的低维视频指纹按照时间先后顺序连成关键帧视频指纹串。本发明专利技术还提供了基于上述指纹检测方法的视频匹配方法。本发明专利技术通过对视频内容的关键信息进行有效描述，在不影响匹配率的情况下，大大降低了算法的复杂度，有效提高了检测效率。

【技术实现步骤摘要】
基于视觉特征的视频指纹检测及视频序列匹配方法及系统
本专利技术属于视频分析领域，尤其是涉及一种基于视觉特征的视频指纹检测及视频序列匹配方法。
技术介绍
随着计算机技术及网络的快速发展，网络视频数量正在急剧增长。与此同时，随着视频处理技术的发展，视频编辑变得越发容易，针对视频内容进行内容的删减、分辨率改变、内容遮挡、内容替换、增加噪声等等都增加对相关视频内容检测的困难。如何有效地建立视频指纹从而能够在存在一定视频编辑的前提下仍然能够检测到相关视频内容成为一项日益迫切的需求。目前主要的视频序列匹配方法主要可以分成两类。第一种方法是全局的亮度分析方法。该方法通过对视频帧的亮度分布进行分析，从而形成一种简单的特征用于视频比对。这种技术的优点是简单，而且计算迅速，可以快速生成用以匹配的视频指纹。缺点是该方法对视频内容的一致性要求较高，当视频内容经过编辑发生一定程度的变化时，该方法就无法检测到相关的视频。第二种方法基于运动轨迹的分析。这种方法首先获得视频序列的一些关键对象，并分析关键对象在整段视频序列中的变化情况，并依此作为视频指纹来进行相关视频检测。这类基于运动轨迹分析的方法能够对关键对象进行跟踪，从而相对基于全局亮度的方法鲁棒性较好，但是其计算复杂度很高，需要对关键对象进行检测并跟踪，从而在效率上具有一定的局限性。
技术实现思路
针对现有技术的以上缺陷或改进需求，本专利技术提供了一种基于视觉特征的视频指纹检测及视频序列匹配方法及系统，其目的在于通过对视频内容的关键信息进行有效描述，在不影响匹配率的情况下，大大降低了算法的复杂度，有效提高了检测效率。一种基于视觉特征的视频指纹检测方法，包括以下步骤：（1）按照帧间相关性对视频序列分段，在得到的每个视频分段中提取最具有代表性的关键帧；（2）分别在各关键帧中采样，对采样得到的像素点提取视频特征；（3）依据视频特征，利用离线样本聚类得到的像素点特征字典对采样像素点分类；（4）对各关键帧分别进行多次不同数量的分块；在每次分块得到的子块中，依据采样像素点的分类结果统计像素点特征字典各元素的出现次数，从而得到该子块对应的特征向量；将统计得到的所有子块特征向量拼接得到关键帧的高维视频指纹；（5）对各高维视频指纹进行降维得到低维视频指纹；（6）将各视频片段关键帧的低维视频指纹按照时间先后顺序连成关键帧视频指纹串。进一步地，所述步骤（1）按照帧间相关性对视频序列分段，在得到的每个视频分段中提取最具有代表性的关键帧的具体过程为：计算视频序列中相邻两帧间的色彩直方图距离，将色彩直方图距离归一化处理后作为相邻帧间的相关性度量；若相关性度量低于分段阈值，则将该相关性度量对应的相邻帧间设为分割点；相邻分割点之间的视频划分为一个视频片断。进一步地，所述视频特征为SIFT视频特征、颜色直方图、颜色矩、灰度统计特征、边缘特征或角点特征。进一步地，所述像素点特征字典是采用K均值聚类算法、凝聚层次聚类算法或DBSCAN聚类算法聚类得到。进一步地，所述步骤（5）采用主成份分析法、独立成分分析法、线性决策分析法或局部特性分析法对各高维视频指纹进行降维得到低维视频指纹。总体而言，通过本专利技术所构思的以上技术方案与现有技术相比，本专利技术方法通过视频帧的视觉相似性的变化，首先获得多个连续的视频片段，并为每一个视频片段提取一个视频关键帧。接下来对每个视频关键帧进行具有空间位置信息描述的视频指纹提取，这种空间位置信息以例如SIFT特征的形式被提取出来。与每一帧都提取视频指纹相比，这种基于关键帧的视频指纹提取，在基本不影响匹配率的情况下，大大降低了算法的复杂度，有效提高了运算效率。进一步地，由于色彩直方图距离描述了不同颜色在图像中所占的比例，反映了图像颜色的统计分布和基本色调。因此，本专利技术采用色彩直方图距离来表征两帧间的相关性，在低算法复杂度的条件下可以准确的对视频进行分段。本专利技术还提供了一种视频序列匹配方法，具体为：针对待分析视频序列和基准视频序列，分别按照所述的视频指纹检测方法进行检测，得到各自的关键帧视频指纹串；采用串匹配方法对两关键帧视频指纹串进行匹配。进一步地，所述采用串匹配方法对两关键帧视频指纹串进行匹配的具体实现过程为：令待检索视频Q的关键帧集合表示为nq为待检索视频Q的关键帧数目；基准视频片段Clipi的关键帧集合表示为ni为基准视频片段Clipi的关键帧数目；计算待检索视频Q中第s个关键帧kfq,s与基准视频片段Clipi中第t个关键帧kfi,t之间的欧式距离：d(kfq,s,kfi,t)＝norm(feaq,s,feai,t)，式中，s＝1,…,nq，t＝1,…,ni，feaq,s和feai,t分别是关键帧kfq,s与kfi,t的视觉特征向量，norm()表示求向量feaq,s和feai,t之差的2-范数；若欧式距离d(kfq,s,kfi,t)＜阈值T1，则判定kfq,s与kfi,t匹配；一旦待检索视频存在一帧与基准视频片段Clipi中关键帧kfi,t匹配，则认为关键帧kfi,t匹配成功，计算基准视频中匹配成功的关键帧数与基准视频的关键帧总数的比值即为匹配率。进一步地，所述匹配的具体实现过程还包括下述步骤：若待检索视频的某个关键帧与基准视频中的第t个关键帧kfi,t匹配，则匹配标志flagt＝1，否则为flagt＝0，该关键帧kfi,t所代表视频片段与待检索视频某片段的相似度为flagt×wkf(kfi,t)；计算基准视频与待检索视频总相似度为计算总的匹配时长为综合考虑匹配时长与匹配率确定待检索视频与基准视频是否匹配。一种基于视觉特征的视频指纹检测系统，其特征在于，包括第一模块，用于按照帧间相关性对视频序列分段，在得到的每个视频分段中提取最具有代表性的关键帧；第二模块，用于分别在各关键帧中采样，对采样得到的像素点提取视频特征；第三模块，用于依据视频特征，利用离线样本聚类得到的像素点特征字典对采样像素点分类；第四模块，用于对各关键帧分别进行多次不同数量的分块；在每次分块得到的子块中，依据采样像素点的分类结果统计像素点特征字典各元素的出现次数，从而得到该子块对应的特征向量；将统计得到的所有子块特征向量拼接得到关键帧的高维视频指纹；第五模块，用于对各高维视频指纹进行降维得到低维视频指纹；第六模块，用于将各视频片段关键帧的低维视频指纹按照时间先后顺序连成关键帧视频指纹串。本专利技术匹配方法的技术效果体现在：本专利技术基于该视频指纹，采用串匹配方法对关键视频进行有效检测，通过计算两个视频之间的任意两个关键帧的欧式距离，可以准确判断两个视频是否匹配。作为优化，在匹配率的基础上，还考虑到每个关键帧相似度对整个视频序列相似性的贡献不同，关键帧所在视频片段时长越长，其对视频序列的相似性贡献越大，反之贡献越小。因此，将匹配的关键帧视频指纹串的相似度进行加权，权值由关键帧所在视频片段的时长获得。最后由匹配时长与匹配率共同决定待检索视频与基准视频是否匹配。本方法不仅考虑关键帧像素点的特征，同时考虑整体空间的分布，因此能对视频内容的关键信息进行描述，从而获得更好的视频序列检测结果。本专利技术方法设计简单，易于实现。附图说明图1为本专利技术的基于视觉特征的视频指纹检测及视频序列匹配方法流程图；图2为本专利技术的应用实例的数据图；图3为本专利技术的应本文档来自技高网...

【技术保护点】
一种基于视觉特征的视频指纹检测方法，其特征在于，包括以下步骤：（1）按照帧间相关性对视频序列分段，在得到的每个视频分段中提取最具有代表性的关键帧；（2）分别在各关键帧中采样，对采样得到的像素点提取视频特征；（3）依据视频特征，利用离线样本聚类得到的像素点特征字典对采样像素点分类；（4）对各关键帧分别进行多次不同数量的分块；在每次分块得到的子块中，依据采样像素点的分类结果统计像素点特征字典各元素的出现次数，从而得到该子块对应的特征向量；将统计得到的所有子块特征向量拼接得到关键帧的高维视频指纹；（5）对各高维视频指纹进行降维得到低维视频指纹；（6）将各视频片段关键帧的低维视频指纹按照时间先后顺序连成关键帧视频指纹串。

【技术特征摘要】
1.一种基于视觉特征的视频指纹检测方法，其特征在于，包括以下步骤：(1)按照帧间相关性对视频序列分段，在得到的每个视频分段中提取最具有代表性的关键帧；(2)分别在各关键帧中采样，对采样得到的像素点提取视频特征；(3)依据视频特征，利用离线样本聚类得到的像素点特征字典对采样像素点分类；(4)对各关键帧分别进行多次不同数量的分块；在每次分块得到的子块中，依据采样像素点的分类结果统计像素点特征字典各元素的出现次数，从而得到该子块对应的特征向量；将统计得到的所有子块特征向量拼接得到关键帧的高维视频指纹；(5)对各高维视频指纹进行降维得到低维视频指纹；(6)将各视频片段关键帧的低维视频指纹按照时间先后顺序连成关键帧视频指纹串。2.根据权利要求1所述的基于视觉特征的视频指纹检测方法，其特征在于，所述步骤(1)按照帧间相关性对视频序列分段，在得到的每个视频分段中提取最具有代表性的关键帧的具体过程为：计算视频序列中相邻两帧间的色彩直方图距离，将色彩直方图距离归一化处理后作为相邻帧间的相关性度量；若相关性度量低于分段阈值，则将该相关性度量对应的相邻帧间设为分割点；相邻分割点之间的视频划分为一个视频片断。3.根据权利要求1或2所述的基于视觉特征的视频指纹检测方法，其特征在于，所述视频特征为SIFT视频特征、颜色直方图、颜色矩、灰度统计特征、边缘特征或角点特征。4.根据权利要求1或2所述的基于视觉特征的视频指纹检测方法，其特征在于，所述像素点特征字典是采用K均值聚类算法、凝聚层次聚类算法或DBSCAN聚类算法聚类得到。5.根据权利要求1或2所述的基于视觉特征的视频指纹检测方法，其特征在于，所述步骤(5)采用主成份分析法、独立成分分析法、线性决策分析法或局部特性分析法对各高维视频指纹进行降维得到低维视频指纹。6.一种视频序列匹配方法，其特征在于，具体为：针对待分析视频序列和基准视频序列，分别按照权利要求1～5任意一项所述的视频指纹检测方法进行检测，得到各自的关键帧视频指纹串；采用串匹配方法对两关键帧视频指纹串进行匹配。7.根据权利要求6所述的一种视频序列匹配方法，其特征在于，所述采用串匹配方法对两关键帧视频指纹串进行匹配的具体实现过程为：令待检索视频Q的关键帧集合表示为nq为待检索视频Q...

【专利技术属性】
技术研发人员：刘琼，杨铀，喻莉，吴伟民，高跃，于国星，
申请(专利权)人：华中科技大学，
类型：发明
国别省市：