一种融合HEVC压缩域和像素域的镜头边界检测方法技术

本发明专利技术涉及一种融合HEVC压缩域和像素域的镜头边界检测方法，包括以下步骤：（1）输入视频码流；（2）解析并统计码流；（3）基于CU深度的运动矢量幅值滤波；（4）基于Intra模式和运动矢量的候选突变P帧分级；（5）突变P帧检测；（6）基于直方图的突变I帧检测；（7）基于突变帧的视频分段；（8）渐变候选帧选取；（9）每帧编码比特数平滑滤波；（10）渐变帧检测；（11）渐变帧合并；以突变P帧、突变I帧和渐变帧为镜头边界。本发明专利技术充分利用了HEVC编码过程中产生的编码信息并且辅以直方图比较法，能够有效地检测镜头突变和镜头渐变，相比完全像素域的处理方法极大地减少了计算复杂度。

【技术实现步骤摘要】
一种融合HEVC压缩域和像素域的镜头边界检测方法
本专利技术涉及数字视频编码领域，具体涉及一种融合HEVC压缩域和像素域的镜头边界检测方法。
技术介绍
随着视频信息技术的快速发展，海量视频数据正在呈现井喷式地增长，传统人为分析视频数据的方法已经难以跟上发展的步伐，视频数据的自动挖掘技术的需求不断增大。视频挖掘的最高目标是实现高层语义的挖掘，其第一步就是分割视频的镜头。镜头间的变化主要分为突变和渐变：突变就是镜头间直接地切换，即上一镜头尾帧和下一镜头首帧直接相连；而渐变是通过人为处理后逐渐变化的帧序列，即两个镜头间存在若干帧的过渡。镜头边界检测就是找出视频中两个连续镜头之间的变换位置，即准确的定位哪一帧发生了突变以及哪一段发生了渐变。近些年，高清1080P(1920×1080)视频已经普及，超高清4K(3840×2160)视频正逐渐进入我们的生活和工作。为了应对多样化和高清化的视频压缩性能，国际标准化组织ITU-T的视频编码专家组(VCEG)和ISO/IEC的运动图像专家组(MPEG)于2013年共同推出了新一代的高效率视频编码标准(HEVC)，与上一代编码标准H.264相比，HEVC本文档来自技高网...

【技术保护点】
1.一种融合HEVC压缩域和像素域的镜头边界检测方法，其特征在于，所述的检测方法包括以下步骤：(1)输入视频码流：输入的视频码流为HEVC码流，支持的帧类型为帧内编码帧I帧和前向帧间编码帧P帧；(2)解析并统计码流：解析视频码流，得到的HEVC码流信息包括每帧视频码流的亮度分量子帧的所有CU深度、PU模式、4×4像素块水平和垂直方向上的运动矢量MVx和MVy、以及整个编码帧的帧比特数；取4×4块为基本粒度单位块进行统一的数据统计，分别记NumIntrai、NumInteri和NumSkipi为第i帧中所有PU为Intra模式、除SKIP模式的Inter模式和SKIP模式的4×4块个数，记Num...

【技术特征摘要】
1.一种融合HEVC压缩域和像素域的镜头边界检测方法，其特征在于，所述的检测方法包括以下步骤：(1)输入视频码流：输入的视频码流为HEVC码流，支持的帧类型为帧内编码帧I帧和前向帧间编码帧P帧；(2)解析并统计码流：解析视频码流，得到的HEVC码流信息包括每帧视频码流的亮度分量子帧的所有CU深度、PU模式、4×4像素块水平和垂直方向上的运动矢量MVx和MVy、以及整个编码帧的帧比特数；取4×4块为基本粒度单位块进行统一的数据统计，分别记NumIntrai、NumInteri和NumSkipi为第i帧中所有PU为Intra模式、除SKIP模式的Inter模式和SKIP模式的4×4块个数，记NumBytesi为第i帧的帧比特数；(3)基于CU深度的运动矢量幅值滤波：对每帧的运动矢量进行基于CU深度的运动矢量幅值滤波，并统计其滤波后运动矢量幅值非零的个数NumMvsi；(4)基于Intra模式和运动矢量的候选突变P帧分级：利用步骤(2)统计的Intra模式4×4块数量NumIntrai将全部编码P帧分为0、1、2三个等级的候选突变P帧，然后用步骤(3)统计得到的NumMvsi来对上述候选突变P帧进行二次筛选；(5)突变P帧检测：经步骤(4)筛选后的候选突变P帧，对应不同的候选突变等级使用不同的突变P帧选取方法，检测出突变P帧；(6)基于直方图的突变I帧检测：利用直方图比较法对I帧进行突变检测，检测出突变I帧；(7)基于突变帧的视频分段：利用步骤(5)和步骤(6)已检测到的突变P帧和突变I帧对整个编码视频进行分段；(8)渐变候选帧选取：利用Intra模式PU和编码帧的帧比特数对步骤(7)的片段视频选出渐变候选帧；(9)每帧编码比特数平滑滤波：对步骤(2)中统计的所有帧比特数NumBytesi进行中值滤波和均值滤波，对符合实际码流的镜头之间的渐变区域的帧比特数先逐渐增加后逐渐减少的特点的帧区域进行帧数统计，得到Wbi；(10)渐变帧检测：在步骤(8)选取渐变候选帧后，利用SKIP模式的PU数量和步骤(9)中统计的Wbi确定最终的渐变帧；(11)渐变帧合并：对检测出的渐变帧进行合并；将合并的帧间距离设为Nmerge，将检测到的渐变帧按从小到大排序，对于前后帧间序号差小于等于Nmerge的渐变帧聚成若干个集合，取每个集合靠近中心位置的帧作为此渐变区域的渐变帧，Nmerge∈[10,30]；最终输出步骤(5)检测到的突变P帧，步骤(6)检测到的突变I帧，以及当前步骤检测到的渐变帧，这些检测到的突变帧和渐变帧即为镜头边界。2.如权利要求1所述的一种融合HEVC压缩域和像素域的镜头边界检测方法，其特征在于，所述的步骤(3)中包含以下子步骤：(3-1)对运动矢量按式(1)计算得到运动矢量幅值MVap，MVap＝|MVx|+|MVy|(1)对得到的运动矢量幅值按式(2)进行基于CU深度的运动矢量幅值滤波，滤除极小的和极大的运动矢量幅值，其中，CUdep表示所属CU的深度；T0、T1、T2、T3分别表示CUdep为0、1、2、3时的运动矢量幅值滤波下限阈值，Tm表示全部深度CU的运动矢量幅值滤波上限阈值，这五个阈值之间的关系需满足式(3)，Tm>T0≥T1≥T2≥T3(3)且T0∈[1,8]、T1∈[1,6]、T2∈[1,4]、T3∈[0,2]、Tm∈[120,200]；(3-2)统计滤波后运动矢量幅值MVap非零的4×4块个数NumMvsi。3.如权利要求1所述的一种融合HEVC压缩域和像素域的镜头边界检测方法，其特征在于，所述的步骤(4)中包含以下子步骤：(4-1)利用步骤(2)统计的Intra模式4×4块数量NumIntrai将全部编码帧以式(4)分为0、1、2三个等级的候选突变P帧，记第i帧的候选突变P帧等级为Clevpi，其级别越大表示当前帧i为突变帧的可能越大；NumTotali表示第i帧中全部4×4块的个数；(4-2)使用步骤(3)统计得到的滤波后运动矢量NumMvsi对所述候选突变P帧进行二次筛选，如式(5)，若第i帧滤波后的4×4块运动矢量NumMvsi大于等于4×4块总个数NumTotali的四分之一，则认为此帧为0级候选突变P帧，即不可能是突变P帧。4.如权利要求1所述的一种融合HEVC压缩域和像素域的镜头边界检测方法，其特征在于，所述的步骤(5)中，以式(6)～(10)对所有的切换候选P帧按等级选取真正的突变P帧，Tcui＝α1×Dvavg(8)Tcs＝α2×NumBytesmax(9)Csbytei＝|NumBytesi-NumBytesi-1|(10)其中，Ctfpi表示突变P帧标识，其值为0则表示第i帧为非突变P帧，其值为1则表示第i帧为突变P帧；记Dv为当前帧中Intra模式PU数量与Inter模式PU数量的比例，Dvi表示第i帧中Intra模式PU数量与Inter模式PU数量的比例；Tcui表示第i帧的Intra模式PU比例阈值；Dvavg表示距第i帧最近的前后各M个P帧的Dv平均值，M∈[1,10]...

【专利技术属性】
技术研发人员：朱威，商明将，陈康，吴远，钱丽萍，郑雅羽，
申请(专利权)人：浙江工业大学，
类型：发明
国别省市：浙江,33