基于多模式特征和张量分解的视频拷贝检测方法技术

本发明专利技术提供了一种基于张量分解的视频拷贝提取方法，包括以下步骤：(1)视频预处理：通过时空采样是视频片段标准化；(2)视频张量建模和张量分解：分别提取视频的全局、局部和时域特征，进行张量建模，利用Tucker模型进行张量分解，得到核张量和低阶张量；(3)视频指纹匹配：利用核张量进行粗匹配，利用视频指纹在粗选集中进行精细匹配。与现有技术相比，本发明专利技术实现了视频多模式特征的真正互补融合，不仅克服了单一模式特征构造视频指纹鲁棒性差的缺点，而且还实现了多种模式特征之间的时序关联共生性，提高了视频拷贝检测的精确性和效率。

【技术实现步骤摘要】
【专利摘要】本专利技术提供了一种基于张量分解的视频拷贝提取方法，包括以下步骤：(1)视频预处理：通过时空采样是视频片段标准化；(2)视频张量建模和张量分解：分别提取视频的全局、局部和时域特征，进行张量建模，利用Tucker模型进行张量分解，得到核张量和低阶张量；(3)视频指纹匹配：利用核张量进行粗匹配，利用视频指纹在粗选集中进行精细匹配。与现有技术相比，本专利技术实现了视频多模式特征的真正互补融合，不仅克服了单一模式特征构造视频指纹鲁棒性差的缺点，而且还实现了多种模式特征之间的时序关联共生性，提高了视频拷贝检测的精确性和效率。【专利说明】
本专利技术涉及一种视频拷贝检测方法，尤其涉及一种基于多模式特征和张量分解的 视频拷贝检测方法，属于视频、多媒体信号处理
。
技术介绍
数字视频因其直观、具体和生动而逐渐成为用户首要关注的多媒体形式。随着网 络技术的发展和网络带宽的不断提高，视频的传输和存储已经变得越来越便捷，因此，互联 网视频网站越来越多，视频内容变得越来越丰富，但随之而来的网络信息安全问题也变得 日渐突出。网络用户可W随意地下载、编辑视频并再次上传，由此网络中出现大量重复视 频，极大的影响了视频检索的效率。同时，由于互联网上对于海量视频的管理缺乏规划和统 一性，而用户又可W非常容易地编辑和修改视频的内容，因此网络中出现了很多盗版视频， 常常引起一些知识产权等的纠纷，盗版和非法下载的出现极大地危害了版权所有者的利 益，挫伤了创新的积极性。基于内容的视频拷贝检测技术正是解决上述问题的主要方法。 基于内容的视频指纹技术，或称为鲁棒视频哈希技术是基于内容的视频拷贝检测 技术的具体表现形式，该类技术与数字视频水印不同，它不需要在视频发布或传播之前，人 工地在视频对象中嵌入附加信息，因此，基于内容的视频拷贝检测对于尚未发布和已经发 布的视频都有效；同时，由于不需要在视频上嵌入附加信息，它解决了数字视频水印技术中 水印的不可见性和鲁棒性之间的矛盾，从而提高了对于常见攻击的鲁棒性。利用基于内容 的视频拷贝检测技术不但可W在视频检索中搜索到多余的视频拷贝，并将其屏蔽，而且有 助于规范数字视频版权和传播的管理；同时，从另一个方面，也可W通过该类技术来对商 业视频及其视频拷贝进行跟踪分析，W获得有价值的营销策略信息。因此，在个人视频制 作与网络传播日益流行的情况下，基于内容的视频拷贝检测技术具有重要的理论价值和应 用价值，近年来已经成为了多媒体信息处理领域的研究热点，目前基于内容的视频拷贝检 测技术从不同的角度可W有不同的种类划分，但总体来说，可分为两大类，一类是基于全局 特征的方法，例如颜色直方图、分块灰度顺序度量等等，基于频域的方法也属于此类别，此 类方法的优点是速度快，运算量小，缺点是对于视频的一些局部攻击和后期处理攻击（例 如添加视频字幕，局部剪切等）的效果不好；第二类是基于局部特征的方法，主要是峽局 部特征点描述子，例如 Harris 特征点、SIFT(Scale Invariant Fea1:ure "Transform)和 SURF (Speed-up Robust Fea化re),此类方法对视频局部攻击具有较好的鲁棒性，但有时算 法的复杂度较高。
技术实现思路
本专利技术针对现有视频拷贝检测技术方法的不足，提供一种利用张量分解融合多模 式特征的视频拷贝检测方法，本专利技术分别提取视频的全局特征、局部特征和时域特征，利用 张量分析理论，把视频多模式特征进行融合来计算视频指纹。与现有技术相比，本专利技术克服 了单一特征构造视频指纹的局限性，提高了视频拷贝检索的效率和精确性，同时，本专利技术利 用高阶张量表示视频，实现了视频特征的真正互补融合。现有的文献和技术中，也有基于多 特征融合的视频拷贝检测方法，此类方法一部分是利用同一模式下的不同特征（例如利用 不同的全局特征或不同的局部特征），另一部分是对多特征简单拼接综合或者利用线性、非 线性的加权来融合特征，该些方法不仅忽视了不同特征之间的量纲的不同，而且还减弱甚 至忽略了视频中该些多种模式特征之间的时序关联共生性。与传统融合特征方法相比，本 专利技术的方法利用多线性几何即高阶张量来表达和分析视频，张量分解过程中由于对组成张 量的所有阶按交错次序采样，并非简单先采样完某一类型特征再采样另外类型特征，而是 在采样过程中对不同类型特征混合在一起交错采样，该样的采样展开过程体现了不同类 型特征的传递和融合，该是传统的"拼接"和"加权"无法实现的。 本专利技术采用的技术方案为： 一种，其特征在于该方法包括W 下步骤： (1)视频预处理；利用时空采样把待测视频转换为标准视频； (2)多模式视频特征提取；提取视频的全局特征、局部特征和时域特征； (3)多模式特征融合；对多模式视频特征构造高阶张量，并进行张量分解获得高 阶张量的低阶逼近，利用低阶张量构造视频指纹； (4)视频指纹匹配：利用张量分解中的核张量缩小匹配范围，利用视频指纹进行 详细匹配。 优选地，所述步骤（1)的具体实现步骤是： ①对视频进行空域和时域下采样，把视频转化为标准视频F e恨，w、H和K的 值根据具体系统设定，使得预处理过程不会更改视频的主要内容。 优选地，所述步骤（2)的具体实现步骤是： ①提取视频的全局特征，所述全局特征从峽颜色直方图、峽分块灰度秩序列和DCT 系数等特征中选择； ②提取视频的局部特征，所述局部特征从Harris特征点，SIFT特征点、SURF特征 点等特征中选择； ③提取时域特征，利用相邻峽之间的归一化灰度差作为时域特征。 优选地，所述步骤（3)的具体实现步骤是： ①对于步骤（2)提取的H种模式的特征构造H阶张量，其中，张量的H阶分别为 融合特征、特征向量索引和峽序列索引； ②对视频张量进行化Cker分解，化Cker分解把一个高阶张量分解为核张量和低 阶张量的外积的形式，如式（1)所示： 【权利要求】1. 一种，其特征在于该方法包括以下 步骤： (1) 视频预处理：利用时空采样把待测视频转换为标准视频； (2) 多模式视频特征提取：提取视频的全局特征、局部特征和时域特征； (3) 多模式特征融合：对多模式视频特征构造高阶张量，并进行张量分解获得高阶张 量的低阶逼近，利用低阶张量构造视频指纹； (4) 视频指纹匹配：利用张量分解中的核张量缩小匹配范围，利用视频指纹进行详细 匹配。2. 如权利要求1所述的，其特征在 于：所述步骤（1)的具体实现步骤是： ①对视频进行空域和时域下采样，把视频转化为标准视频F e，W、H和K的值根 据具体系统设定，使得预处理过程不会更改视频的主要内容。3. 如权利要求1所述的，其特征在 于：所述步骤（2)的具体实现步骤是： ① 提取视频的全局特征，所述全局特征从帧颜色直方图、帧分块灰度秩序列和DCT系 数等特征中选择； ② 提取视频的局部特征，所述局部特征从Harris特征点，SIFT特征点、SURF特征点等 特征中选择； ③ 提取时域特征，利用相邻帧之间的归一化灰度差作为时域特征。4. 如权利要求1所述的，其特征在 于：所述步骤（3)的具体实现步骤是本文档来自技高网...

【技术保护点】
一种基于多模式特征和张量分解的视频拷贝检测方法，其特征在于该方法包括以下步骤：(1)视频预处理：利用时空采样把待测视频转换为标准视频；(2)多模式视频特征提取：提取视频的全局特征、局部特征和时域特征；(3)多模式特征融合：对多模式视频特征构造高阶张量，并进行张量分解获得高阶张量的低阶逼近，利用低阶张量构造视频指纹；(4)视频指纹匹配：利用张量分解中的核张量缩小匹配范围，利用视频指纹进行详细匹配。

【技术特征摘要】

【专利技术属性】
技术研发人员：聂秀山，
申请(专利权)人：聂秀山，
类型：发明
国别省市：山东;37