一种带约束条件的多目标优化H.264视频隐写方法技术

本发明专利技术涉及一种带约束条件的多目标优化H.264视频隐写方法，包括带约束条件的多目标优化代价函数包括时空域运动矢量相关性衡量因子的表达式，运动矢量局部最优约束条件的表达式和计算方式以及基于运动矢量分类的重建帧误差约束条件的表达式和计算方式；本发明专利技术大幅度地提高了隐写算法对抗不同种类的隐写分析算法时的安全性能，扩大了算法的适用范围，并减小对视频客观质量的影响，并且进一步提升了算法在对抗基于运动矢量局部最优特性的隐写分析算法时的性能，提升了安全性。

A Multi-objective Optimized H.264 Video Steganography Method with Constraints

【技术实现步骤摘要】
一种带约束条件的多目标优化H.264视频隐写方法
本专利技术涉及信息加密领域，更具体的，涉及一种带约束条件的多目标优化H.264视频隐写方法。
技术介绍
多媒体信息隐写是一种通过对多媒体文件中的某些数据进行少量的修改，从而往多媒体文件中嵌入秘密信息，并隐藏信息传输事实的信息安全技术。目前已有许多应用于图像的隐写算法，并取得了很好的效果。然而，由于对隐藏容量的需求不对提升和针对行为的隐写分析方法的发展，图像隐写算法渐渐不能满足不断变化的需求，对新的隐写载体的研究也越发迫切。在此情况下，视频由于其数据量巨大，日益成为多媒体信息隐写研究的焦点。目前已经有一些研究者提出了一些基于视频的隐写方法，这些隐写方法的载体包含了视频中的各种不同类型的数据，如运动矢量，宏块模式，量化DCT(离散余弦变换)系数等。本专利技术是一种以运动矢量为载体的多媒体信息隐写技术。与本专利技术创造相似的，基于运动矢量的视频隐写算法主要有以下几个：(1)由Aly提出的基于预测误差的视频信息隐藏算法。该方法在视频的宏块层级上对运动矢量进行修改，通过判断宏块所对应的预测是否超过一个预先设定好的阈值来决定对应的运动矢量是否需要被修改。如果预测误差超过阈值，则在运动矢量的水平分量和垂直分量的最低位比特(LSB)上进行信息的嵌入。在信息嵌入之后，由于对应的预测误差会发生改变，因此需要再次计算修改后的运动矢量所对应的预测误差。无论预测误差是否大于既定阈值，运动矢量都不会再次进行修改。但是如果修改后的运动矢量对应的预测误差小于既定阈值，则认为嵌入信息失败(因为在解码时无法通过预测误差正确识别出这是带有秘密信息的运动矢量)，嵌入的信息作废，此时需要在后续的编码过程中寻找合适的运动矢量再次尝试秘密信息的嵌入。而提取秘密信息时，只需要判断运动矢量对应的预测误差是否超过阈值，如果超过阈值就把运动矢量的水平分量和垂直分量的LSB提取出来，最后把提取出来的信息组合起来即得到所隐藏的秘密信息。更具体的内容参考论文【1】。(2)由Yao所提出的基于运动矢量的视频隐写方法。该方法是在图像组(GOP)的层级上进行隐写的，应用于视频编码的过程之中。隐写算法采用了ternarySTC(三元校正子编码)对秘密信息进行编码，并限制了在同一个运动矢量中，最多只有一个运动矢量能被进行修改。因此，如果运动矢量被修改，最多有四种可能的情况。对于第t帧中位于(i，j)块上的运动矢量，记为mvi,j,t＝(mvxi,j,t,mvyi,j,t)，其中mvxi,j,t和mvyi,j,t分别为运动矢量的水平分量和垂直分量，则该运动矢量所有可能的修改方案有(mvxi,j,t-1,mvyi,j,t)，(mvxi,j,t+1,mvyi,j,t)，(mvxi,j,t,mvyi,j,t-1)和(mvxi,j,t,mvyi,j,t+1)这四种。这四种对应的修改方案记为运动矢量mvi,j,t的候选运动矢量，即CMVi,j,t。在实际隐写时，先对一段视频进行编码，在编码过程中获取每个宏块的运动矢量，将其按照空间和时间位置组成运动矢量场(MVfield)MVt(其中t为当前编码视频帧在时间顺序上的位置)，并获取每个候选运动矢量所对应的预测误差，组成一个预测误差矩阵Et以用于修改代价的计算。在编码完一个P帧之后，利用MVt和Et对每个运动矢量的修改代价进行计算，修改代价的计算公式为其中SDCi,j,t和PECi,j,t的定义分别为：PECi,j,t＝|ei,j,t(mvi,j,t)-ei,j,t(mvi,j,t′)|。上面两式中的变量均由运动矢量场MVt和预测误差矩阵Et计算得到。在对一个图像组完成了编码，并按照上面的步骤计算对图像组中的每一个运算矢量的修改代价进行计算之后，就开始对运动矢量进行修改，以进行信息的隐藏。在修改前，先对编码过程中获得的运动矢量的水平分量和垂直分量按顺序分离，分别获得水平分量向量和垂直分量向量，然后根据上面计算出来的误差利用ternarySTC对水平分量向量进行修改。之后根据水平分量向量的修改情况对垂直分量向量的修改代价进行修正，如果一个运动矢量的水平分量已经被修改，则对应的垂直分量则不能再被修改，此时该垂直分量的修改代价应该修改为无穷大。在对垂直分量的修改代价进行修改后，同样利用ternarySTC对垂直分量进行修改，然后再重新构建修改后的运动矢量场，并利用修改后的运动矢量场进行二次编码，得到携带了秘密信息的压缩视频文件。在提取秘密信息时，只需要对压缩视频进行解码，然后从中提取出运动矢量，并分成水平分量向量和垂直分量向量，再利用ternarySTC的解码方法分别从水平分量向量和垂直分量向量中提取出秘密信息，最后再把提取出的秘密信息按序组合起来即可。更具体详细的内容参考论文【2】。(3)由Zhang所提出的MVMPLO(MotionVectorModificationwithPreservedLocalOptimality，保持局部最优特性的运动矢量修改方法)。该方法所使用的秘密信息载体依然是运动矢量，是一种在帧层级上进行信息嵌入的视频隐写方法。该方法也是在编码过程中进行。在编码器进行编码时，如果编码的是P帧或者B帧，则会收集这一帧内的运动矢量。在获得运动矢量之后，先通过一个既定的奇偶校验函数P(mv)＝LSB(mvx+mvy)，将运动矢量转化为一个只包含0和1的二元序列。然后在一个划定的范围内进行运动搜索，选择一个合适的运动矢量作为最终修改的运动矢量，该最合适的运动矢量应该符合三个条件：1.奇偶校验值和原运动矢量不同；2.该运动矢量对应的率失真值与原运动矢量对应的率失真值最接近；3.该运动矢量在SAD(误差绝对值之和)的标准下符合局部最优准则。然后将该最合适的运动矢量所对应的率失真值与原运动矢量对应的率失真值的差值的绝对值作为运动矢量的修改代价，并使用STC进行信息嵌入。在嵌入信息之后，查找被修改的运动矢量，并将被修改的运动矢量替换成所对应的最合适的运动矢量，最后再对当前帧进行重编码，以获得新的编码帧。重复以上步骤直到完成一个视频的编码，即可完成信息的嵌入过程。在进行信息提取时，只需要在解码完一个P帧或B帧之后，将运动矢量提取出来并用奇偶校验函数进行处理，得到含密的二元序列，再使用STC进行解码即可获得秘密信息。具体内容参考论文【3】。上述现有技术的缺点分别如下：1)第一种由Aly所提出的信息隐藏方法提出的时间比较早，基本只考虑了信息隐藏方法对压缩视频的编码质量(如解码后视频的PSNR(峰值信噪比)和压缩视频的码率)的影响，而没有考虑到信息隐藏方法的安全性，基于宏块的运动矢量修改对运动矢量的相关性的影响较大，在对抗基于运动矢量相关性和基于运动矢量局部最优性的视频隐写分析方法时性能都比较差，很容易被检测出来，安全性较差。2)第二种由Yao提出的方法的缺点在于只考虑了保留运动矢量之间的相关性和保持压缩视频的编码质量(包括解码视频的PSNR(峰值信噪比)和压缩视频的码率)，但是没有考虑保持运动矢量的局部最优性，因此虽然能较好地抵抗基于运动矢量相关性的隐写分析方法和保持压缩视频的质量，但是其在对抗基于运动矢量局部最优性的隐写分析方法时性能较差，比较容易被识别出来。3)第三个由Zhang提出本文档来自技高网...

【技术保护点】
1.一种带约束条件的多目标优化H.264视频隐写方法，其特征在于，包括以下步骤：步骤S1：按照运动矢量在一个视频中的时间和空间上的位置，建立运动矢量的三维集合，在运动矢量的三维集合上确定运动矢量相关性衡量因子；步骤S2：确认视频中局部最优运动矢量集合ΩS和ΩT，并修正局部最优运动矢量集合ΩS和ΩT；步骤S3：确认视频中每一个运动矢量的水平分量禁止模式集合Fh和垂直分量的禁止模式集合Fv；步骤S4：根据ΩS、ΩT、Fh以及Fv这四个集合求解运动矢量的三维集合中任意一个运动矢量的局部最优约束条件；步骤S5：对运动矢量进行分类并建立集合，根据运动矢量分类的集合求解重建帧误差约束条件；步骤S6：对于一个运动矢量，根据运动矢量相关性衡量因子、运动矢量的局部最优约束条件以及重建帧误差约束条件构建多目标优化修改代价函数；步骤S7：在多目标优化修改代价函数的基础上设立负载动态分配技术；根据负载动态分配技术对参考帧和非参考帧中的前向和后向运动矢量的水平分量和垂直分量进行复合STC编码。

【技术特征摘要】
1.一种带约束条件的多目标优化H.264视频隐写方法，其特征在于，包括以下步骤：步骤S1：按照运动矢量在一个视频中的时间和空间上的位置，建立运动矢量的三维集合，在运动矢量的三维集合上确定运动矢量相关性衡量因子；步骤S2：确认视频中局部最优运动矢量集合ΩS和ΩT，并修正局部最优运动矢量集合ΩS和ΩT；步骤S3：确认视频中每一个运动矢量的水平分量禁止模式集合Fh和垂直分量的禁止模式集合Fv；步骤S4：根据ΩS、ΩT、Fh以及Fv这四个集合求解运动矢量的三维集合中任意一个运动矢量的局部最优约束条件；步骤S5：对运动矢量进行分类并建立集合，根据运动矢量分类的集合求解重建帧误差约束条件；步骤S6：对于一个运动矢量，根据运动矢量相关性衡量因子、运动矢量的局部最优约束条件以及重建帧误差约束条件构建多目标优化修改代价函数；步骤S7：在多目标优化修改代价函数的基础上设立负载动态分配技术；根据负载动态分配技术对参考帧和非参考帧中的前向和后向运动矢量的水平分量和垂直分量进行复合STC编码。2.根据权利要求1所述的一种带约束条件的多目标优化H.264视频隐写方法，其特征在于，步骤S1中建立运动矢量的三维集合的具体步骤如下：首先判断一个运动矢量所对应的像素块在一个视频帧中对应的范围，并将其划分为若干个4x4像素块；在每个4x4像素块的对应位置上使用当前块的运动矢量填充，即可把一个像素块的运动矢量投射到某一帧的运动矢量平面上；重复以上步骤，把一帧所有分块的运动矢量都投射到运动矢量平面上，最后得到一个帧的运动矢量平面；把运动矢量平面按照帧的自然播放顺序集合起来，即得到运动矢量三维集合。3.根据权利要求2所述的一种带约束条件的多目标优化H.264视频隐写方法，其特征在于，在运动矢量的三维集合上确定运动矢量相关性衡量因子的具体步骤如下：运动矢量相关性衡量因子可分为运动矢量水平分量的时空域运动矢量相关性因子以及运动矢量的垂直分量的时空域运动矢量相关性因子；设运动矢量三维集合中的一个运动矢量其中d代表了运动矢量的预测方向，指明运动矢量是属于前向运动矢量三维集合还是后向运动矢量三维集合，i,j,t为运动矢量在运动矢量三维集合中的水平坐标，垂直坐标和时间坐标；时空域运动矢量相关性因子主要与相邻的运动矢量的差分值有关，运动矢量水平分量的时空域运动矢量相关性因子定义为：相似地，运动矢量的垂直分量的时空域运动矢量相关性因子定义为：其中Δh和Δv为运动矢量的水平分量和垂直分量的修改方式，且Δh,Δv∈{0,±1}，Sn为相邻运动矢量坐标的集合，且定义为其中n为正整数，S＝{-1,0,+1}，当p所指定的位置在运动矢量三维集合中没有运动矢量或所指定位置超出运动矢量三维集合的范围时，该项的计算结果设置为0。4.根据权利要求3所述的一种带约束条件的多目标优化H.264视频隐写方法，其特征在于，所述的步骤S2中确认视频中局部最优运动矢量集合ΩS和ΩT的具体步骤如下：对于任意一个运动矢量V，如果对于所有的Δh,Δv∈{0,±1}，Δh,Δv不同时为0，都有C1(V)<C1(VΔh,Δv)，则该运动矢量在SAD的意义上具有局部最优特性，记为V∈ΩS，其中VΔh,Δv＝V+(Δh,Δv)，ΩS为在SAD意义上具有局部最优特性的运动矢量的集合，C1(V)为以SAD为基础的R-Dcost函数，定义为C1(V)＝SAD(Pr(V),Pp(V))+λR(V)，(4)其中SAD(X,Y)为尺寸相同的两个像素块X,Y的SAD计算函数，Pr(V)为根据运动矢量V得到的重建块，Pp(V)为根据运动矢量V得到的预测块，λ为进行运动搜索时编码器所使用的拉格朗日因子，R(V)为对运动矢量进行熵编码时所需要的比特数；判断每个原始运动矢量V及所有可能的修改后的运动矢量VΔh,Δv在SAD意义上的局部最优特性，以确定其是否属于集合ΩS；对于任意一个运动矢量V，如果对于所有的Δh,Δv∈{0,±1}，Δh,Δv不同时为0，都有C2(V)<C2(VΔh,Δv)，则该运动矢量在SATD的意义上具有局部最优特性，记为V∈ΩT，其中VΔh,Δv＝V+(Δh,Δv)，ΩT为在SATD意义上具有局部最优特性的运动矢量的集合，C2(V)为以SATD为基础的R-Dcost函数，定义为C2(V)＝SATD(Pr(V),Pp(V))+λR(V)，(5)其中SATD(X,Y)为尺寸相同的两个像素块X,Y的SATD计算函数，Pr(V)为根据运动矢量V得到的重建块，Pp(V)为根据运动矢量V得到的预测块，λ为进行运动搜索时编码器所使用的拉格朗日因子，R(V)为对运动矢量进行熵编码时所需要的比特数；判断每个原始运动矢量V及所有可能的修改后的运动矢量VΔh,Δv在SATD意义上的局部最优特性，以确定其是否属于集合ΩT；通过以上的方法，即可判断一个视频中的每个原始运动矢量及其在修改后所有可能的候选运动矢量是否属于集合ΩS和ΩT。5.根据权利要求4所述的一种带约束条件的多目标优化H.264视频隐写方法，其特征在于，所述的步骤S2中修正局部最优运动矢量集合ΩS和ΩT的具体步骤如下：对于一个经过了修改，并具有某种局部最优特性的运动矢量VΔh,Δv，由编码器获取其预测运动矢量，并对其预测运动矢量的水平分量和垂直分量进行加1或减1的修改，如果存在一种对预测运动矢量的修改方式，使得运动矢量VΔh,Δv失去了局部最优特性，则判定该修改后的运动矢量的局部最优特性不具有鲁棒性，将其从失去的局部最优特性的类型所对应的局部最优运动矢量集合ΩS或ΩT中剔除；对载体视频中每个候选的修改运动矢量进行上述操作，即可完成局部最优运动矢量集合ΩS和ΩT的修正。6.根据权利要求5所述的一种带约束条件的多目标优化H.264视频隐写方法，其特征在于，步骤S3中确认视频中每一个运动矢量的水平分量禁止模式集合Fh和垂直分量的禁止模式集合Fv的具体步骤如下：步骤S301：找出所有令原始运动矢量失去局部最优特性的修改方式，将其设为集合F，并令Fh＝Fv＝F，且标记预测运动矢量是来自同一个运动矢量；步骤S302：寻找预测运动矢量水平分量和垂直分量中未确定来源的分量的来源，并获取其来源的运动矢量所属的分块的预测模式；步骤S303：如果预测运动矢量水平分量和垂直分量的来源都没有确定，且被标记为来自与同一个运动矢量，则执行步骤S304；如果不符合上述条件，则执行步骤S305；步骤S304：判断预测运动矢量的水平分量和垂直分量是否属于同一个运动矢量，如果是，继续执行步骤S305；如果不是，则标记水平分量和垂直分量来自不同的运动矢量，并需要重新确定Fh和Fv；如果F中包含的修改方式中涉及到对预测运动矢量的水平分量进行减1操作的修改方式，则所有涉及到减1操作的修改方式，即(-1,-1)，(-1,0)和(-1,+1)，都要被包含到Fh中；如果F中包含的修改方式涉及到对预测运动矢量的水平分量进行加1操作，则所有涉及到加1操作的修改方式，即(+1,-1)，(+1,0)和(+1,+1)，都要被包含到Fh中；通过以上操作，即可完成水平分量禁止模式集合的更新；同时，判断F中是否包含对垂直分量进行加1或减1的操作，如果存在，则把所有涉及到垂直分量加1或减1操作的修改方式添加到Fv中，完成垂直分量禁止模式的更新；步骤S305：根据获得的预测运动矢量水平分量和垂直分量的来源，判断其是否来自H.264编码标准中宏块的预测模式的SKIP块或者Direct块；如果不是，则对应分量的...

【专利技术属性】
技术研发人员：朱宝林，倪江群，
申请(专利权)人：中山大学，
类型：发明
国别省市：广东,44