一种基于X264压缩视频的镜头分割方法技术

本发明专利技术涉及一种基于X264压缩视频的镜头分割方法。所述方法包括：以X264压缩视频的图像组GOP为单位逐帧解码提取帧序号、帧类型和帧内预测宏块比例；对待测GOP中的I帧进行镜头检测，根据待测GOP的长度判断当前I帧是否发生镜头突变；以所述待测GOP中所有P帧的帧内预测宏块比例为样本数据，根据样本数据的波动程度判断是否需要镜头分割；基于预测宏块比例进行镜头分割。本发明专利技术可以对GOP长度和结构均不固定的压缩视频进行镜头分割。在镜头分割发生在I帧时，现有技术普遍利用I帧相邻帧中预测宏块比例的变化来进行检测，要求视频具有固定的GOP长度和结构。而本发明专利技术只利用I帧自身的参数即可实现对I帧的镜头转换检测。

【技术实现步骤摘要】

本专利技术属于视频镜头分割领域，具体涉及一种基于X264压缩视频的镜头分割方法。
技术介绍
随着多媒体、互联网技术的发展，一方面，人们足不出户就可方便地享受到视频点播、在线观看等各种服务，对视频服务的要求越来越高。另一方面，媒体行业长期以来带给人们信息和娱乐，海量的存储也使得媒体资产管理的重要性日益突出。镜头分割技术对于以上两方面问题的解决都具有重要的意义。首先，镜头分割技术是基于视频内容检索的第一步也是最重要的步骤之一，其准确性将直接影响到后续处理的效果。其次，在媒体资料编目中，镜头分割技术依据内容差异自动找出镜头切换点，供编目人员选择，大大提高了编目系统的自动化程度。镜头是组成视频的基本单元，同时也是基于内容的视频处理的基本单元。视频数据是由一系列在时间上连续的图像组成。在一个镜头的内部，图像之间在内容上的相关性比较强，而不同镜头中的图像之间在内容上的相关性比较弱。镜头分割则是对视频中的镜头边界进行检测，找出镜头切换点，将视频分割成更加易于处理的部分。通常情况下，根据镜头转换的快慢，可将其分为突变转换和渐变转换。镜头分割方法可以分为两大类：基于非压缩域的方法和基于压缩域的方法。基于非压缩域的镜头分割方法需要首先将压缩视频进行解压，然后再进行处理，这大大降低了镜头分割的效率。与基于非压缩域的方法相比，基于压缩域的方法无需完全解压，具有处理数据量少、速度快、实时性高、特征提取方便等优点。基于压缩域的镜头分割方法主要针对两类压缩视频：MPEG压缩视频和H.264/AVC压缩视频。基于MPEG压缩视频的镜头分割算法主要包括基于DCT系数的方法、基于DC图的方法和基于运动矢量的方法等。与MPEG压缩编码标准相比，H.264/AVC产生了一些不同之处，比如支持不同大小和形状的宏块分割、支持多参考帧预测估计等。这些新特性在带来了优异的压缩性能和网络适用性的同时，也使得上述这些基于MPEG压缩视频的镜头分割算法不再适用于H.264/AVC压缩视频。基于H.264/AVC压缩视频的镜头分割算法主要包括基于宏块绝对数量的方法、基于宏块比例的方法和基于宏块比特分配的方法等。基于宏块绝对数量的方法在压缩码流上直接提取帧图像中每个宏块的预测编码模式。对于不同类型的帧分别统计相应的帧内预测编码宏块数、前向预测编码宏块数以及后向预测编码宏块数，通过相邻两帧之间不同预测编码模式宏块的绝对数量与预先设定的阈值的关系来判定镜头分割点的存在。基于宏块绝对数量的方法存在一个明显的弊端，对于不同分辨率的视频，其宏块的绝对数量会发生很大变化。基于宏块比例的方法是基于宏块绝对数量方法的一种改进，它通过将统计的采用各类预测编码模式宏块的百分比与预先设定的阈值进行比较，进而判定出镜头分割点的存在。由于发生了镜头切换，帧内预测宏块和帧间预测宏块在码流中的比特分配情况是不同的。基于宏块比特分配的方法是将一帧图像中帧内预测宏块编码所用的比特数与其帧间预测宏块编码所用的比特数求比值得到比特分配情况，再与预先设定的阈值进行比较，判定出镜头分割点的存在。对于H.264/AVC压缩视频的镜头分割，多采用基于宏块比例的方法。图1给出了两种镜头分割情况的示意图。(1)镜头分割发生在I帧或P帧(如图1中的c点、d点所示)由于镜头转换，该I帧或者P帧与前面B帧的图像内容将存在较大差异。此时，B帧中的宏块将多数采用前向预测模式。如果镜头切换发生在P帧，那么该P帧中的宏块将多数采用帧内预测模式。(2)镜头分割发生在B帧若镜头转换发生在第一个B帧(如图1中的a点所示)，由于镜头转换，该B帧与前面的I帧或P帧的图像内容将存在较大差异。同理，该B帧的后面一帧同样为B帧，这两个B帧属于同一镜头。所以这两个B帧中的宏块将多数采用后向预测模式。若镜头转换发生在第二个B帧(如图1中的b点所示)，那么前面的一帧同样是B帧。由于镜头转换，这两个B帧的图像内容将存在较大差异。因此第一个B帧中的宏块将多数采用前向预测模式，而第二个B帧中的宏块将多数采用后向预测模式。该方法要求镜头分割前已知视频GOP(Group of Pictures，图像组)的结构。若视频编码时GOP的结构发生变化，则该方法将不再适用。此外，若发生镜头渐变，上述规律变化亦不明显。由于受到高复杂度的影响，H.264/AVC有时难以进行实时应用。而X264作为H.264/AVC的一种简化实现，舍弃了一些H.264/AVC的新特征以降低计算复杂度，在不显著降低压缩性能的前提下进行优化，以提高算法效率。X264在实际中得到了广泛的应用。X264按照视频内容划分GOP，如图2所示。其中keyint表示GOP的最大长度，min_keyint表示GOP的最小长度，visual_difference表示综合考虑场景差异以及计算复杂度等方面而得到的编码代价，scenecut表示编码代价的阈值。视频的第一帧为IDR帧，即可即使编码帧，向后(沿显示顺序时间递增的方向)移动min_keyint距离，对当前帧计算visual_difference。若visual_difference大于scenecut，则判定视频场景发生了变化，即插入一个IDR帧。若visual_difference小于scenecut，则需要比较当前移动距离与keyint的关系。若移动距离达到keyint，则插入一个普通的I帧。若移动距离小于keyint，则向后移动一帧，继续比较visual_difference和scenecut的大小关系。同理，每当插入一个IDR帧或I帧，则需要向后移动min_keyint距离。X264压缩视频的GOP没有固定的长度和结构，传统压缩域镜头分割方法并不适用。此外，X264提供I帧、P帧和B帧三种帧类型。经过大量实验发现，B帧的作用为最大限度地提高压缩性能，镜头突变不会发生在B帧。因而，X264压缩视频需要一种系统的镜头分割方法。
技术实现思路
本专利技术的目的在于，根据X264的编码原理，通过提取X264压缩视频的帧类型、宏块编码模式等码流信息，提供一种基于压缩域的镜头分割方法，对视频中的镜头突变和镜头渐变进行检测。在保证令人满意的查全率和查准率的基础上，快速实现镜头分割。一种基于X264压缩视频的镜头分割方法，包括以下步骤：步骤1，以X264压缩视频的GOP为单位逐帧解码提取帧序号、帧类型和帧内预测宏块比例。所述帧类型包括I帧、P帧和B帧；所述帧内预测宏块比例是指一帧图像中采用帧内预测模式编码的宏块数与该帧图像中所有宏块本文档来自技高网...

【技术保护点】
一种基于X264压缩视频的镜头分割方法，其特征在于包括以下步骤：步骤1，以X264压缩视频的图像组GOP为单位逐帧解码提取帧序号、帧类型和帧内预测宏块比例；所述帧类型包括I帧、P帧和B帧；所述帧内预测宏块比例是指一帧图像中采用帧内预测模式编码的宏块数与该帧图像中所有宏块数的比值；步骤2，对待测GOP中的I帧进行镜头检测，根据待测GOP的长度判断当前I帧是否发生镜头突变；步骤3，以所述待测GOP中所有P帧的帧内预测宏块比例P_intra为样本数据，根据样本数据的波动程度判断是否需要镜头分割；步骤4，基于预测宏块比例进行镜头分割。

【技术特征摘要】
1.一种基于X264压缩视频的镜头分割方法，其特征在于包括以下步骤：
步骤1，以X264压缩视频的图像组GOP为单位逐帧解码提取帧序号、帧类型和帧内
预测宏块比例；
所述帧类型包括I帧、P帧和B帧；所述帧内预测宏块比例是指一帧图像中采用帧内预
测模式编码的宏块数与该帧图像中所有宏块数的比值；
步骤2，对待测GOP中的I帧进行镜头检测，根据待测GOP的长度判断当前I帧是否
发生镜头突变；
步骤3，以所述待测GOP中所有P帧的帧内预测宏块比例P_intra为样本数据，根据样
本数据的波动程度判断是否需要镜头分割；
步骤4，基于预测宏块比例进行镜头分割。
2.根据权利要求1所述的基于X264压缩视频的镜头分割方法，其特征在于，所述步
骤2判断当前I帧是否发生镜头突变的方法如下：
求相邻两个I帧的序号差值得到待测GOP的长度；将所述GOP长度与GOP的最大长
度keyint进行比较；若所述长度小于keyint，判定当前I帧发生镜头突变。
3.根据权利要求1所述的基于X264压缩视频的镜头分割方法，其特征在于，所述步
骤3根据样本数据的波动程度判断是否需要镜头分割的方法如下：
求出所述样本数据的标准差；若所述标准差小于设定的阈值，说明样本数据的波动程
度较小，表示所述GOP内的画面变化较小，所述GOP中不存在镜头转换，不需要镜头分
割；否则，说明样本数据的波动程度较大，表示所述GOP内的画面...

【专利技术属性】
技术研发人员：姜秀华，张文宇，
申请(专利权)人：中国传媒大学，
类型：发明
国别省市：北京;11