基于光流周期特性的视频帧率上转篡改检测方法技术

本发明专利技术涉及一种基于光流周期特性的视频帧率上转篡改检测方法。采用的技术方案如下：采用Horn‑Schunck光流法计算帧图像的每个像素点在相邻帧间运动信息，得到水平方向和垂直方向的光流矢量，再计算相邻帧光流变化率，并利用快速傅里叶变换进行频谱分析，得到光流变化率的频率幅值谱图。根据频谱图的最大幅值与平均幅值的比值判别视频是否经过帧率上转篡改，若水平方向、垂直方向的相邻帧间光流变化率频谱图的最大幅值与平均幅值的比值均超过一定阈值，则说明视频经过帧率上转篡改，否则说明视频未经过帧率上转篡改。该法不仅能够准确识别待测视频是否经过帧率上转篡改，并且提高了视频压缩的鲁棒性能，具有一定的实际应用价值。

【技术实现步骤摘要】
基于光流周期特性的视频帧率上转篡改检测方法
本专利技术涉及一种电子取证
，具体涉及一种基于光流周期特性的视频帧率上转篡改检测方法。
技术介绍
随着时代的进步，数字视频已成为人们日常生活中不可缺少的组成部分。同时，随着多媒体技术的发展，视频编辑软件的不断更新，即使是普通的计算机用户都能轻易地编辑视频，使得视频数据的可信度严重降低。因此开展对数字视频的取证研究变得日益迫切和重要。时域篡改是视频篡改手段中最简单和常见的篡改方式，主要包含：帧删除、帧插入、帧复制-粘贴等等。帧率上转是一种特殊的帧插入操作，它通过周期性地在原始视频帧序列中插入一些新的帧，实现将视频从较低帧率转为较高帧率的目的，提高视频质量。但帧率上转技术也能被用于伪造：篡改者为了骗取网络点击量，或为了合并两个不同帧率的视频等一些不合法的目的而故意将低帧率的视频转为高帧率的视频。因此对帧率上转篡改类型的研究是必要的。典型的插帧算法是通过参考相邻帧的图像信息进行线性插帧，算法模型为：其中，f[i]表示视频序列的第i帧图像，wj表示插帧权重，f[i+j]表示参考帧图像，参考帧的帧序号范围为[-k1,0)∪(0,k2]，k1，k2为整数。在实际应用中，商业软件在设计时不仅要满足功能需求，同时还要兼顾时间效率和存储要求，因此目前大多数的商业软件采用的是参考前后帧进行权重估计的方式产生新视频帧的方法来实现视频帧率的上转操作。，如ImTOOvideoConverter，AVSvideoconverter，Anyvideoconverter，WinAVIVideoConverter等等，通常在插帧时只参考了前一帧图像，即在算法模型中，k1＝1，k2＝0，w-1＝0。目前针对帧率上转篡改检测的研究成果还比较少。一种基于结构相似度分析的检测方法通过分析采用权重估计方式产生新的视频帧与前后帧存在一定相似关系的帧率上转原理，提出了通过计算帧间结构相似度的周期性变化来判断视频是否经过帧率上转篡改，该算法能够有效检测未经压缩的视频和H.264/AVC格式视频，对噪声具有一定的鲁棒性，但这种算法受视频二次压缩影响较大，对于经过压缩的视频算法检测结果不理想。
技术实现思路
：为了提高视频帧率上转篡改检测方法对压缩操作的鲁棒性，本专利技术提出了一种基于光流周期特性的检测方法，它适用于典型的帧率上转篡改技术。这种篡改方式是指在原始帧序列中通过复制相邻帧图像信息的方法进行周期性地插入一些新的帧。从帧率上转典型的插帧原理分析可知，插帧操作时仅仅是复制了前一帧的图像信息，并未考虑相邻帧图像的连续运动信息，因此，本专利技术通过分析视频每帧图像的像素点在相邻帧间的光流信息判断视频是否经过帧率上转篡改。如果视频经过帧率上转篡改操作，那么在插帧位置处会丢失一定的运动信息，造成光流不连续。同时，由于帧率上转篡改是周期性的插帧操作，因此，这种光流的不连续现象也是周期性的。首先将视频转化为帧图像序列，然后采用Horn-Schunck光流法计算帧图像的每个像素点在相邻帧间运动信息，得到水平方向和垂直方向的光流矢量，再计算相邻帧光流变化率，并利用快速傅里叶变换进行频谱分析，得到光流变化率的频率幅值谱图。对于篡改视频，光流变化率的频率幅值谱图中会有明显的尖峰存在。因此本专利技术依据频谱图的最大幅值与平均幅值的比值判别视频是否经过帧率上转篡改，若比值超过一定阈值，说明视频经过帧率上转篡改，否则说明视频未经过帧率上转篡改。为实现本专利技术的目的采用的技术方案如下：第一步，计算相邻帧间像素点光流。光流是指空间运动物体在观测成像面上的像素运动的瞬时速度。假设帧图像的大小为M×N，像素点(x,y)在t时刻的灰度值为I(x,y,t)，在t+dt时刻，该像素点运动到(x+dx,y+dy)，此时对应的灰度值为I(x+dx,y+dy,t+dt)。像素点(x,y)的光流矢量计算公式如下：其中，分别表示该像素点灰度值沿x、y、t方向的变化率。表示该像素点沿着x和y方向(水平方向和垂直方向)的移动速度，即光流，和分别表示u邻域和v领域中的均值。k表示迭代的次数，光流初始值u(0)、v(0)为0。迭代结束后得到像素点(x,y)沿着水平方向和垂直方向的光流u、v。第二步，计算光流变化率。分别计算水平方向、垂直方向的光流变化率，计算公式如下：其中，uRate、rRate分别表示相邻帧水平方向、垂直方向的光流变化率，U_MV(t)表示第t帧图像的水平方向光流矢量总和，V_MV(t)表示第t帧图像的垂直方向光流矢量总和，计算公式如下：其中，u(i,j)表示第t帧图像在(i,j)位置像素点的水平光流矢量。v(i,j)表示第t帧图像在(i,j)位置像素点的垂直光流矢量。同理，U_MV(t+1)表示第t+1帧图像的水平方向光流矢量总和，V_MV(t+1)表示第t+1帧图像的垂直方向光流矢量总和。第三步，分别对水平方向光流变化率数据和垂直方向光流变化率数据进行快速傅里叶变换(FFT变换)，得到光流变化率数据的频谱图，计算频谱图中最大幅值与平均幅值的比值。本专利技术采用FFT变换进行信号分析，这种做法的优势在于，能够清晰地得到信号所包含的频率成分，并且，计算速度快，有助于提高检测方法的执行效率，对视频应用非常有利。FFT的基本思想是：将大点数的离散傅里叶变换(DFT)分解为若干个小点数DFT的组合，从而减少运算量，FFT的运算结果与DFT是等效的。DFT变换幅值计算公式如下：其中，N表示待测视频的帧序列长度，j是一个等于-1的平方根的虚数，即x(n)是输入信号，即水平方向或垂直方向光流变化率数据，Fk则表示经过DFT变换后的幅值。对于篡改视频，谱图中有明显的尖峰存在，而原始视频的幅度是平稳的。计算谱图最大幅值与平均幅值的比值：其中，max表示频谱图中的最大幅值，mean表示平均幅值。当最大幅值与平均幅值的比值大于一定阈值T时，说明频谱图中存在一定高度的尖峰。若水平方向、垂直方向的相邻帧间光流变化率频谱图的最大幅值与平均幅值的比值均大于阈值T，则判定该视频经过帧率上转篡改，否则，判定该视频未经过篡改。利用本专利技术所述的方法，不仅能够准确识别待测视频是否经过帧率上转篡改，并且提高了视频压缩的鲁棒性能，具有一定的实际应用价值。附图说明图1是本专利技术实施例1所述的检测流程图。图2是原始视频与篡改视频的水平方向相邻帧间光流变化率曲线。图3是原始视频与篡改视频的频率幅值谱图。具体实施方式下面将结合本专利技术实施例中的附图，详细叙述本专利技术的具体步骤和实施例。图1中，首先将视频转为帧图像序列，然后采用Horn-Schunck光流法计算每帧图像每个像素点的光流矢量，并计算相邻帧图像光流的变化率。最后利用快速傅里叶变换对光流变化率数据进行频谱分析，根据最高谱线的幅值与平均幅值的比值阈值来判别视频是否经过篡改。图2中，表示一段视频序列“bus”(来源于YUV公共网站视频库)在帧率上转篡改前后的相邻帧图像水平方向上的光流变化率曲线。横轴表示该段视频的前100帧序号，纵轴表示水平方向的相邻帧间光流变化率，黑色曲线为原始视频(帧率＝20fps)，红色线表示篡改视频(帧率＝30fps)。从图2中可以看出，原始视频的相邻帧间光流变化率非常小，而且数据是平稳的，而对于篡改视频，相邻帧间光流矢量变化本文档来自技高网...

【技术保护点】
一种基于光流周期特性的视频帧率上转篡改检测方法，该方法适用于典型的帧率上转篡改，帧率上转是一种特殊的帧插入篡改操作，它通过在原始帧序列中周期性地插入一些新的帧，典型的插帧算法是通过复制前一帧图像来产生新的帧图像信息，来实现将视频从较低帧率转为较高帧率的目的，提高视频质量；篡改者为了骗取网络点击量，或为了合并两个不同帧率的视频等一些不合法的目的而故意将低帧率的视频转为高帧率的视频；其特征在于所述方法包括如下步骤：第一步，计算相邻帧间像素点光流，得到帧图像每个像素点(x,y)的水平方向光流矢量u，垂直方向光流矢量v；第二步，计算光流变化率；分别计算水平方向、垂直方向的光流变化率uRate、rRate；第三步，分别对水平方向光流变化率数据和垂直方向光流变化率数据进行快速傅里叶变换，得到光流变化率数据的频谱图，计算频谱图中最大幅值与平均幅值的比值；若水平方向、垂直方向的相邻帧间光流变化率频谱图的最大幅值与平均幅值的比值均大于阈值T，则判定该视频经过帧率上转篡改，否则，判定该视频未经过篡改。

【技术特征摘要】
1.一种基于光流周期特性的视频帧率上转篡改检测方法，该方法适用于典型的帧率上转篡改，帧率上转是一种特殊的帧插入篡改操作，它通过在原始帧序列中周期性地插入一些新的帧，典型的插帧算法是通过复制前一帧图像来产生新的帧图像信息，来实现将视频从较低帧率转为较高帧率的目的，提高视频质量；篡改者为了骗取网络点击量，或为了合并两个不同帧率的视频等一些不合法的目的而故意将低帧率的视频转为高帧率的视频；其特征在于所述方法包括如下步骤：第一步，计算相邻帧间像素点光流，得到帧图像每个像素点(x,y)的水平方向光流矢量u，垂直方向光流矢量v；第二步，计算光流变化率；分别计算水平方向、垂直方向的光流变化率uRate、rRate；第三步，分别对水平方向光流变化率数据和垂直方向光流变化率数据进行快速傅里叶变换，得到光流变化率数据的频谱图，计算频谱图中最大幅值与平均幅值的比值；若水平方向、垂直方向的相邻帧间光流变化率频谱图的最大幅值与平均幅值的比值均大于阈值T，则判定该视频经过帧率上转篡改，否则，判定该视频未经过篡改。2.根据权利要求1所述的一种基于光流周期特性的视频帧率上转篡改检测方法，其特征在于所述的第一步中，相邻帧间像素点光流计算公式如下：假设帧图像的大小为M×N，像素点(x,y)在t时刻的灰度值为I(x,y,t)，在t+dt时刻，该像素点运动到(x+dx,y+dy)，此时对应的灰度值为I(x+dx,y+dy,t+dt)，像素点(x,y)的光流矢量计算公式如下：其中，分别表示该像素点灰度值沿x、y、t方向的变化率；表示该像素点沿着水平方向x和垂直方向y的移动速度，即光流，和分别表示u邻域和v领域中的均值，k表示迭代的次数，光流初始值u(0)、v(0)为0，迭代结束后得到像素点(x,y)沿着水平方向和垂直方向的光流u、v。3.根据权利要求1所述的一种基于光流周期特性的视频帧率上转篡改检测方法，其...

【专利技术属性】
技术研发人员：黄添强，林晶，
申请(专利权)人：福建师范大学，
类型：发明
国别省市：福建,35