用视频压缩编码信息提取视频关键帧的方法技术

一种用视频压缩编码信息提取视频关键帧的方法，由提取深度和帧比特数特征、镜头切换检测和提取关键帧组成。本发明专利技术采用视频码流中的编码单元深度信息和帧比特数压缩域特征进行镜头切换检测，得到镜头片段，并进行关键帧提取。本发明专利技术充分利用压缩域视频无需解压即可进行处理，减小了计算过程，缩短了处理时间，提高了处理速度。本发明专利技术与现有的方法经对比试验，实验结果表明，本发明专利技术方法的准确率提高了12.1％，召回率提高了5.3％，F值提高了8.4％，所提取的关键帧能很好地表达原始视频的主要内容。本发明专利技术方法具有计算量小、效率高、准确率高、处理速度快等优点，可用于对视频图像的处理。

【技术实现步骤摘要】
用视频压缩编码信息提取视频关键帧的方法技术领城本专利技术属于数字视频检索
，具体涉及到用视频压缩编码信息提取视频关键帧的方法。
技术介绍
随着多媒体技术和网络技术的快速发展，视频数据迅速增长，出现了规模空前的数据，如何有效地管理视频以及快速获取视频中重要的信息，成为一个研究的热点。在这种背景下，提取关键帧成为解决这一难题的有效途径，通过提取关键帧,不仅能大大减少视频的数据量，而且能很好地将原始视频的重要信息表达出来，节省了检索时间，提高了视频检索的效率。目前，对于关键帧的提取方法，国内外学者做了大量的研究工作，根据所处理的视频数据对象，可以将这些方法分为像素域的关键帧提取和压缩域的关键帧提取。像素域的关键帧提取方法是在视频完全解压缩后进行，计算量比较大，效率低，难以满足实时要求。压缩域视频处理技术是直接面向数据量较小的压缩视频数据，在不解压或者部分解压的情况下对视频进行处理，可以大大提高视频的处理速度，因此压缩域上的关键帧提取方法研究引起了广泛关注。AliReza等人提出了一种在H.265/HEVC压缩域中的关键帧提取方法，采用从H.265/HEVC编码视频中提取帧内预测模式的归一化直方图进行相似帧检测，使用模糊c均值聚类对相似帧进行分类，并提取关键帧。朱树明等人提出了一种视频编码压缩域的视频摘要关键帧提取方法，在解码端统计视频编码帧内编码PU块的亮度预测模式数目，并构建成模式特征向量，再利用融合迭代自组织数据分析算法(ISODATA)的自适应聚类算法对模式特征向量进行聚类得到候选关键帧，并通过相似度对候选关键帧进行再次筛选，剔除冗余帧，得到最终的关键帧。上述方法的共同点是采用帧内预测模式值作为特征，且所做的实验仅针对全帧内模式，对视频帧的处理速度慢，处理时间长，不具有实用性。
技术实现思路
本专利技术所要解决的技术问题在于克服上述视频帧处理方法的缺点，提供了一种无需解码、计算量小、处理速度快、提取效率高的用视频压缩编码信息提取视频关键帧的方法。解决上述技术问题所采用的技术方案由下述步骤组成：(1)提取深度和帧比特数特征按式(1)确定编码单元的率失真代价J：其中Dx,y和Rx,y分别表示编码单元中第(x,y)个像素的失真和编码比特数，x∈{1,2,…,H}，y∈{1,2,…,W}，W×H为视频分辨率，λ≥0为拉格朗日系数，W和H为有限的正整数、且W＞H。按式(2)确定编码帧的深度特征向量Fn：Fn＝{f1,f2,…,fα}(2)其中n表示视频的第n个编码帧，n∈{1,2,…,N}，N为视频总帧数，N取值为有限的正整数，round()为向上取整函数，fα为编码单元的深度值，fα的取值为0、1、2、3中的任意一个数。按式(3)确定帧比特数Rn：(2)镜头切换检测统计编码帧的帧比特数Rn并绘制折线图进行分析，将呈现先逐渐增加后逐渐减少的地方标记为镜头切换，相邻两个镜头切换之间为1个镜头片段，镜头片段的长度为M，M取值为有限的正整数，且M＜N，得到K个镜头片段，K取值为有限的正整数。(3)提取关键帧按式(4)确定拉普拉斯图矩阵L：其中Fi和Fj分别表示第i和j个编码帧的深度特征向量，i∈{1,2,…,N}，j∈{1,2,…,N}。按式(5)确定L的前K个特征值对应的特征向量y，并按式(6)构造N×K阶矩阵Y：L×y＝β×D×y(5)Y＝[y1,y2,…,yK](6)其中y1,y2,...,yK依次为前K个特征值对应的N×1阶特征向量。对矩阵Y进行k-means聚类，并按式(7)确定聚类中心μ与该镜头中其他所有帧的距离dm：dm＝||ym-μ||2(7)其中m∈{1,2,…,M}，M为每个镜头片段的长度，M取值为有限的正整数，且M＜N。将距离dm最小的帧被记为关键帧。在本专利技术的提取深度和帧比特数特征步骤(1)中，所述的W的取值为176～7680，H的取值为144～4320，N的取值为1000～7000。在本专利技术的镜头切换检测步骤(2)中，所述的K的取值为5～20。本专利技术采用视频码流中的CU深度值和帧比特数压缩域特征进行镜头切换检测，得到镜头片段，并进行关键帧提取。本专利技术充分利用压缩域视频无需解压即可进行处理，减小了计算过程，缩短了处理时间，提高了处理速度。本专利技术与现有的方法经对比试验，实验结果表明，本专利技术方法的准确率提高了12.1％，召回率提高了5.3％，F值提高了8.4％，所提取的关键帧能很好地表达原始视频的主要内容。本专利技术方法具有计算量小、效率高、准确率高、处理速度快等优点，可用于对视频图像的处理。附图说明图1是本专利技术的流程图。具体实施方式下面结合附图和实施例对本专利技术进一步详细说明，但本专利技术不限于这些实施例。实施例1以国际通用的VSUMM数据集中的视频序列ANewHorizon,segment02为例，本实施例的用视频压缩编码信息提取视频关键帧的方法步骤如下(参见图1)：(1)提取深度和帧比特数特征按式(1)确定编码单元的率失真代价J：其中Dx,y和Rx,y分别表示编码单元中第(x,y)个像素的失真和编码比特数，x∈{1,2,…,H}，y∈{1,2,…,W}，W×H为视频分辨率，λ≥0为拉格朗日系数，W和H为有限的正整数、且W＞H，本实施例的W取值为352，H取值为240。按式(2)确定编码帧的深度特征向量Fn：Fn＝{f1,f2,…,fα}(2)其中n表示视频的第n个编码帧，n∈{1,2,…,N}，N为视频总帧数，N取值为有限的正整数，本实施例的N取值为1797，round()为向上取整函数，fα为编码单元的深度值，fα的取值为0、1、2、3中的任意一个数，fα的具体取值应根据n的取值来确定。按式(3)确定帧比特数Rn：(2)镜头切换检测统计编码帧的帧比特数Rn并绘制折线图进行分析，将呈现先逐渐增加后逐渐减少的地方标记为镜头切换，相邻两个镜头切换之间为1个镜头片段，镜头片段的长度为M，M取值为有限的正整数，且M＜N，得到K个镜头片段，K取值为有限的正整数，本实施例的K取值为13，M的具体取值为376、232、128、108、80、76、72、80、116、120、68、72、108。(3)提取关键帧按式(4)确定拉普拉斯图矩阵L：其中Fi和Fj分别表示第i和j个编码帧的深度特征向量，i∈{1,2,…,N}，j∈{1,2,…,N}。按式(5)确定L的前K个特征值对应的特征向量y，并按式(6)构造N×K阶矩阵Y：L×y＝β×D×y(5)Y＝[y1,y2,…,yK](6)其中y1,y2,...,yK依次为本文档来自技高网...

【技术保护点】
1.一种用视频压缩编码信息提取视频关键帧的方法，其特征在于由下述步骤组成：/n用视频压缩编码信息提取视频关键帧的方法/n(1)提取深度和帧比特数特征/n按式(1)确定编码单元的率失真代价J：/n

【技术特征摘要】
1.一种用视频压缩编码信息提取视频关键帧的方法，其特征在于由下述步骤组成：
用视频压缩编码信息提取视频关键帧的方法
(1)提取深度和帧比特数特征
按式(1)确定编码单元的率失真代价J：



其中Dx，y和Rx，y分别表示编码单元中第(x，y)个像素的失真和编码比特数，x∈{1，2，…，H}，y∈{1，2，…，W}，W×H为视频分辨率，λ≥0为拉格朗日系数，W和H为有限的正整数、且W＞H；
按式(2)确定编码帧的深度特征向量Fn：
Fn＝{f1，f2，…，fα}(2)



其中n表示视频的第n个编码帧，n∈{1，2，…，N}，N为视频总帧数，N取值为有限的正整数，round()为向上取整函数，fα为编码单元的深度值，fα的取值为0、1、2、3中的任意一个数；
按式(3)确定帧比特数Rn：



(2)镜头切换检测
统计编码帧的帧比特数Rn并绘制折线图进行分析，将呈现先逐渐增加后逐渐减少的地方标记为镜头切换，相邻两个镜头切换之间为1个镜头片段，镜头片段的长度为M，M取值为有限的正整数，且M＜N，得到K个镜头片段，K取值为有限的正整数；
(3)提取关键帧
按式(4)确定拉普拉斯图矩阵L...

【专利技术属性】
技术研发人员：艾达，梁嘉倩，
申请(专利权)人：西安邮电大学，
类型：发明
国别省市：陕西;61