一种基于区域特征分析的由H264到HEVC的视频转码方法技术

本发明专利技术公开了一种基于区域特征分析的由H264到HEVC的视频转码方法，包括以下步骤：对原始H.264视频流进行解码，提取出当前解码帧的宏块编码比特数、宏块编码模式以及运动矢量场；将HEVC编码树单元覆盖的区域对应至当前解码帧的各个宏块，计算每个区域的编码复杂度，并确定每个HEVC编码树单元的搜索深度范围；针对每个编码树单元，按照对应的搜索深度范围逐级进行运动估计，若预测单元的模式为Inter模式时，进行区域特征分析，得到分割模式；将每个预测单元按照保留的各种分割模式进行运动搜索，选择率失真最小的分割模式和运动矢量进行HEVC重编码。本发明专利技术在保持几乎相同率失真前提下，转码速度获得了大幅提高。

【技术实现步骤摘要】
一种基于区域特征分析的由H264到HEVC的视频转码方法
本专利技术涉及视频转码领域，具体来说是一种基于区域特征分析的由H264到HEVC的视频转码方法。
技术介绍
随着不同网络类型、接收终端和内容表现形式的多样化，不同系统和网络之间的交互变得越来越重要，但由于用户的视频接收设备具有多样性，在屏幕大小计算，存储设备容量和功耗要求等方面差异巨大，再加上不同种类的网络特性各异，用户所拥有的传输带宽各不相同，对视频的时间空间分辨率要求也都不尽相同，致使同一视频片源需要在广播电视网，电信网和通信网中同时或协同播出，在不同的网络设备之间无缝切换。以上需求均迫使视频码流能够动态调整，从而支持不同网络，满足各种用户的要求。网关、多点控制单元和服务器等设备担负起为内容提供商和用户之间提供无缝交互的重要任务，而视频转码技术使这些设备高效完成这一任务成为可能。H264作为目前应用最为广泛的视频编码标准，在提高编码效率和灵活性方面取得了巨大成功，它使数字视频有效地应用在各种各样的网络类型和工程领域，然而，多样化的服务、高清视频的普及、以及超高清格式(4K×2K或8K×4K分辨率)的出现对于比H264编码效率更高的下一代视频编码标准提出了强烈的需求。在这样的背景下，MPEG和VCEG组织于2010年成立了视频编码联合协作小组(JCT-VC)，经过多年的努力研发出了H264标准的继承者，新一代视频编码标准HEVC，成为数字视频压缩技术史上新的里程碑。现有技术的完善与新技术的不断推出，极大地推动了数字视频技术的实用化和产业化。然而HEVC为了提高编码效率，引入了一系列相当耗时的编码算法，给实时视频转码应用带来了新的挑战。针对H264到HEVC转码复杂度高的问题，一些新的快速转码方法被提出，Shen等人提出了一种利用多核处理器实现波前并行处理和SIMD加速的超快速H264/AVC到HEVC转码器；Shanableh等人提出了第一种基于内容的机器学习方法预测HEVC编码单元深度的快速H264到HEVC转码方法；而Peixoto等人则提出了一种基于新的矩阵度量H264运动矢量相似性的复杂度可分级的H264到HEVC视频转码方法。这些方法都大幅度降低了转码过程的计算复杂度，但是，H264到HEVC的转码过程还需要进一步以更少的质量损失达到更高的速度提升。
技术实现思路
本专利技术提供了一种基于区域特征分析的由H264到HEVC的视频转码方法，相比现有的标准转码算法和参考转码算法，在保持相同的率失真的前提下，转码速度获得了大幅提高。一种基于区域特征分析的由H264到HEVC的视频转码方法，包括以下步骤：(1)输入原始H264视频流，并对该视频流进行解码，在解码过程中，提取出当前解码帧的宏块编码比特数、DCT块熵编码系数以及运动矢量；(2)将HEVC编码树单元覆盖的区域对应至当前解码帧的各个宏块，计算每个区域的编码复杂度，并依据编码复杂度确定每个HEVC编码树单元的搜索深度范围；(3)针对每个编码树单元，按照对应的搜索深度范围逐级进行运动估计，若预测单元的模式为Inter模式时，进行步骤3-1：若预测单元的模式为Skip模式或者Intra模式时，利用现有技术进行HEVC重编码。3-1、利用步骤(1)中得到的H264码流中当前预测单元的DCT块熵编码系数，计算相应DCT块的能量En4×4(i,j)，公式如下：En4×4(i,j)＝|DC(i,j)|+|AC01(i,j)|+|AC10(i,j)|+|AC11(i,j)|其中，DC，AC01，AC10和AC11为每个DCT块的左上角熵编码系数；(i，j)为DCT块在当前解码帧中的坐标；3-2、利用下式对步骤(1)中得到的运动矢量进行滤波：其中，FMV(i,j)为滤波后的运动矢量；MV(i,j)为步骤(1)中得到的运动矢量；ThMV为设定的阈值；3-3、对步骤3-2得到的滤波后的运动矢量进行聚类，具体步骤如下：在预测单元所对应的编码区域中设定两个基准种子块，各DCT块按照与两个基准种子块的参照距离Dmn的大小划分至对应基准种子块的分割区域中，Dmn的计算公式如下：其中，m为任意一个DCT块，n为一个基准种子块；(MVxm,MVym)为运动矢量场FMV(i,j)中DCT块m的运动矢量大小；(MVxn,MVyn)为运动矢量场FMV(i,j)中基准种子块n的运动矢量大小；(xm,ym)为块m的坐标；(xn,yn)为块n的坐标；S为每个运动矢量聚类的大小；W是与基准种子块n相对应的矩形邻近待聚类区域的宽度；H是与基准种子块n相对应的矩形邻近待聚类区域的高度；C为常数；用来控制运动矢量聚集度的参数，也是用来权衡运动矢量大小相似度和空间相似度的权重；dmn为块m和块n的距离。3-4、依据步骤3-3中的聚类结果，根据分界线的走向进行如下设定：a、若分界线为斜率为1的直线，且聚类得到的两类的运动矢量相等，则当前预测单元作为最大分割深度，不再继续分割，当前预测单元的分割模式为2N×2N；2N×N；N×2N；b、若分界线倾向于竖直，则当前预测单元继续分割，当前预测单元的分割模式为2N×2N；N×2N；nL×2N；nR×2N；c、若分界线倾向于水平，则当前预测单元继续分割，当前预测单元的分割模式为2N×2N；2N×N；2N×nU；2N×nD；(4)将每个预测单元按照保留的各种分割模式进行运动搜索，选择率失真最小的分割模式，以及该分割模式相应的运动矢量进行HEVC重编码。作为优选，所述步骤(2)中计算每个区域的编码复杂度，计算规则如下：其中，Region(k)为编码复杂度；k为区域的编号；CTUBitsavg(k)为每个编码树单元的平均宏块编码比特数；FrameBitsavg为当前解码帧的平均宏块编码比特数；(1-α)×FrameBitsavg和(1+α)×FrameBitsavg为分割阈值；α为常数；α用于权衡编码视频质量和编码时间的参数。HIGH、MEDIUM、LOW分别代表编码复杂度高、中、低三个类型。编码树单元是指HEVC编码的基本结构，编码树单元上的每个节点按照区域位置可以对应至当前解码帧中的若干宏块，实际进行转码操作时，每个编码树单元的节点对应一个预测单元，编码树单元和预测单元都可以对应至当前解码帧中的编码区域，编码树单元的编码复杂度计算方法，同样适用于预测单元的编码复杂度。作为优选，所述步骤(2)中依据编码复杂度确定每个HEVC编码树单元的搜索深度范围，确定规则如下：其中，DepthRange(k)代表第k个编码树单元的搜索深度范围，DepthRange(k)可取值为0、1、2和3，0对应的预测单元的大小为64×64；1对应的预测单元的大小为32×32；2对应的预测单元的大小为16×16；3对应的预测单元的大小为8×8。例如，[0,2]意味着进行运动搜索时，依次搜索64×64、32×32和16×16。作为优选，所述步骤3-2中阈值ThMV的计算公式如下：ThMV＝-0.0087×QP2-0.0058×QP+15.06其中，QP为量化系数。作为优选，所述步骤3-3中，两个基准种子块的中心在预测单元中所处的位置为：第一基准种子块位于距离预测单元左上顶点四分之一宽度和四分之一高度的位置；第二基准种子块位于距离预本文档来自技高网...

【技术保护点】
一种基于区域特征分析的由H264到HEVC的视频转码方法，其特征在于，包括以下步骤：(1)输入原始H.264视频流，并对该视频流进行解码，在解码过程中，提取出当前解码帧的宏块编码比特数、DCT块熵编码系数以及运动矢量场；(2)将HEVC编码树单元覆盖的区域对应至当前解码帧的各个宏块，计算每个区域的编码复杂度，并依据编码复杂度确定每个HEVC编码树单元的搜索深度范围；(3)针对每个编码树单元，按照对应的搜索深度范围逐级进行运动估计，若预测单元的模式为Inter模式时，进行步骤3?1：3?1、利用步骤(1)中得到的H.264码流中当前预测单元的DCT块，计算相应DCT块的能量En4×4(i,j)，公式如下：En4×4(i,j)＝|DC(i,j)|+|AC01(i,j)|+|AC10(i,j)|+|AC11(i,j)|其中，DC，AC01，AC10和AC11为每个DCT块的左上角熵编码系数；(i，j)为DCT块在当前解码帧中的坐标；3?2、利用下式对步骤(1)中得到的运动矢量进行滤波：其中，FMV(i,j)为滤波后的运动矢量；MV(i,j)为步骤（1）中得到的运动矢量；ThMV为设定的阈值；3?3、对步骤3?2得到的滤波后的运动矢量进行聚类，具体步骤如下：在预测单元所对应的编码区域中设定两个基准种子块，各DCT块按照与两个基准种子块的参照距离Dmn的大小划分至对应基准种子块的分割区 域中，Dmn的计算公式如下：dMV=(MVxm-MVxn)2+(MVym-MVyn)2dmn=(xm-xn)2+(ym-yn)2S=WHDmn=dMV+CSdmn其中，m为任意一个DCT块，n为一个基准种子块；(MVxm,MVym)为运动矢量场FMV(i,j)中DCT块m的运动矢量大小；(MVxn,MVyn)为运动矢量场FMV(i,j)中基准种子块n的运动矢量大小；(xm,ym)为块m的坐标；(xn,yn)为块n的坐标；S为每个运动矢量聚类的大小；W是与基准种子块n相对应的矩形邻近待聚类区域的宽度；H是与基准种子块n相对应的矩形邻近待聚类区域的高度；C为常数；3?4、依据步骤3?3中的聚类结果，根据分界线的走向进行如下设定：a、若分界线为斜率为1的直线，且聚类得到的两类的运动矢量相等，则当前预测单元作为最大分割深度，不再继续分割，当前预测单元的分割模式为2N×2N；2N×N；N×2N；b、若分界线倾向于竖直，则当前预测单元继续分割，当前预测单元的分割模式为2N×2N；N×2N；nL×2N；nR×2N；c、若分界线倾向于水平，则当前预测单元继续分割，当前预测单元的分割模式为2N×2N；2N×N；2N×nU；2N×nD；(4)将每个预测单元按照保留的各种分割模式进行运动搜索，选择率失真最小的分割模式，以及该分割模式相应的运动矢量进行HEVC重编码。FDA0000380667470000011.jpg...

【技术特征摘要】
1.一种基于区域特征分析的由H264到HEVC的视频转码方法，其特征在于，包括以下步骤：(1)输入原始H264视频流，并对该视频流进行解码，在解码过程中，提取出当前解码帧的宏块编码比特数、DCT块熵编码系数以及运动矢量；(2)将HEVC编码树单元覆盖的区域对应至当前解码帧的各个宏块，计算每个区域的编码复杂度，并依据编码复杂度确定每个HEVC编码树单元的搜索深度范围；(3)针对每个编码树单元，按照对应的搜索深度范围逐级进行运动估计，若预测单元的模式为Inter模式时，进行步骤3-1：3-1、利用步骤(1)中得到的H264视频流中当前预测单元的DCT块熵编码系数，计算相应DCT块的能量En4×4(i,j)，公式如下：En4×4(i,j)＝|DC(i,j)|+|AC01(i,j)|+|AC10(i,j)|+|AC11(i,j)|其中，DC，AC01，AC10和AC11为每个DCT块的左上角熵编码系数；(i，j)为DCT块在当前解码帧中的坐标；3-2、利用下式对步骤(1)中得到的运动矢量进行滤波：其中，FMV(i,j)为滤波后的运动矢量；MV(i,j)为步骤(1)中得到的运动矢量；ThMV为设定的阈值；3-3、对步骤3-2得到的滤波后的运动矢量进行聚类，具体步骤如下：在预测单元所对应的编码区域中设定两个基准种子块，各DCT块按照与两个基准种子块的参照距离Dmn的大小划分至对应基准种子块的分割区域中，Dmn的计算公式如下：其中，m为任意一个DCT块，n为一个基准种子块；(MVxm,MVym)为运动矢量场FMV(i,j)中DCT块m的运动矢量大小；(MVxn,MVyn)为运动矢量场FMV(i,j)中基准种子块n的运动矢量大小；(xm,ym)为块m的坐标；(xn,yn)为块n的坐标；S为每个运动矢量聚类的大小；W是与基准种子块n相对应的矩形邻近待聚类区域的宽度；H是与基准种子块n相对应的矩形邻近待聚类区域的高度；C为常数；dmn为块m和块n的距离；3-4、依据步骤3-3中的聚类结果，根据分界线的走向进行如下设定：a、若分界线为斜率为1的直线，且聚类得到的两类的运动矢量相等，则当前预测单元作为最大分割深度，不再继续分割，当前预测单元的分割模式为2N×2N；2N×N；N×2N；b、若分界线倾向于竖直，则当前预测单元继续分割，当前预测单元的分割模式为2N×2N；N×2N；nL×2N；nR×2N；c、若分界线倾向于水平，则当前预测单元继续分割，当前预测单元的分割模式为2N×2N；2N×N；2N×nU；2N×nD；(4)将每个预测单元按照保留的各种分割模式进行运动搜索，选择率失真最小的分割模式，以及该分割模式相应的运动矢量进行HEVC重编码。2.如权利要求1所述的基于区域特征分析的由H264到HEVC的视频转码方法，其特征在于，所述步骤(2)中计算每个区域的编码复杂度，计算规则如下：其中，Region(k)为编码复杂度；k为区域的编号；CTUBitsavg(k)为每个编码树单元的平均宏块编码比特数；FrameBitsavg为当前解码帧的平均宏块编码比特数；(1-α)×FrameBitsa...

【专利技术属性】
技术研发人员：陈耀武，蒋炜，田翔，周凡，
申请(专利权)人：浙江大学，
类型：发明
国别省市：