一种自适应的从H264到HEVC的帧间快速转码方法及装置制造方法及图纸

本发明专利技术涉及视频编解码领域，尤其是一种自适应的从H264到HEVC的帧间快速转码方法及装置。本发明专利技术针对现有技术存在的问题，提供一种快速转码方法及装置。本发明专利技术针对H264到HEVC转码中的帧间预测加速问题，提出了一种综合了自适应的模式映射、运动向量的合理重复利用的方案。帧间预测阶段，可能进行一系列四叉树分割，然后得到CU8；也有可能提前中止，有些不用最终深入到CU8，不用分割到CU16，最理想的直接将CU64作为一个整体进行编码；其中CU32、CU16以及CU8帧间预测得到的都是临时的最优模式；在整个Cu64帧间预测结束后得到最优编码模式，根据最优编码模式进行编码。

【技术实现步骤摘要】

本专利技术涉及视频编解码领域，尤其是一种自适应的从H264到HEVC的帧间快速转码方法及装置。
技术介绍
近年来随着视频业务的飞速发展，人们对观看高清乃至超高清视频的需求也越来越高，目前主流的视频压缩编码标准H.264/AVC已经不能适应高数据量下的视频的网络传输，于是新一代视频压缩编码标准H.265/HEVC应运而生。HEVC最主要的目标是在压缩效率上获得显著提高，即在保持视频质量基本不变的同时减少50％左右的码率，但编码的计算复杂度也由此急剧增加。HEVC相对于H.264在编码性能上的大幅提升主要体现在：(1)采用了更加灵活的编码结构来提高编码效率，包括编码单元CU、预测单元PU和变换单元TU，同时将宏块的大小从H.264的16×16扩展到了64×64，更适用于高分辨率视频的压缩；(2)采用了更多的帧内预测方向，每种PU尺寸最多可达30余种预测方向，更大范围的PU尺寸和更多的PU帧内预测方向使得HEVC比H.264/AVC有了更高的帧内预测压缩性能；(3)采用了更多的帧间预测模式，包含了对称PU模式和非对称PU模式，使得HEVC有了更加多样化的运动块匹配，从而提高了帧间运动估计的压缩性能，等等。目前高清及超高清视频逐渐成为目前网络存储和传输的主要业务，因此，将视频采用压缩比相对H.264标准提高一倍的HEVC标准应用于视频的存储和网络传输，将带来很大的性能提升。然而，目前既有的数以亿计的多媒体资源，其中视频部分大多均是采用老一代的H.264标准压缩。因此，研究从H.264标准到HEVC标准的视频转码技术具有充分的现实意义和经济价值。传统的H.264向HEVC转码的方法是将H.264解码器与HEVC的编码器级联，直接对H.264标准解码得到的图像进行HEVC编码。这种方法解码器和编码器相互独立，没有对H.264码流中所包含的信息进行解码后的充分利用，而是遍历了编码中的所有过程，因此复杂度很高。因此，针对利用解码信息降低转码器的计算复杂度的技术，目前已经有学者进行了一定的研究。利用解码信息的转码技术研究，多数集中在加速帧间预测和加速帧内预测这两个方面。由于H.264和HEVC编码中，参考帧号、运动矢量、运动估计的预测方式等是相同的。因此，可以在H.264码流中提取参考帧号、宏块位置坐标、宏块类型、运动矢量等信息，并
应用在HEVC编码端，对帧间和帧内预测等环节进行优化，从而大幅降低整个转码的计算复杂度。以帧间预测为例，典型的技术如：Eduardo Peixoto和Tamer Shanableh等人以运动矢量的方差等建立特征，利用模式分类的思想，提取H.264码流中的特征信息，通过一种线性判别函数，确定出HEVC编码器中图像的编码单元的划分方式，从而大大减少了确定分块方式的计算量。Qingxiong Huangyuan和Li Song等人则以H.264分块信息等为特征，利用机器学习的思想，采用SVM分类器预测HEVC编码中的CU编码块层次深度范围，从而大大降低了HEVC中四叉树结构编码的复杂度。
技术实现思路
本专利技术所要解决的技术问题是：针对现有技术存在的问题，提供一种自适应的从H264到HEVC的帧间快速转码方法及装置。本专利技术主要针对H.264到HEVC转码中的帧间预测加速问题，提出了一种综合了自适应的模式映射、运动向量的合理重复利用的技术方案。帧间预测阶段，结束后，进行编码(包括变换编码及熵编码等)。帧间预测阶段，可能进行一系列CU64、CU32、CU16的四叉树分割，然后得到CU8；也有可能提前中止，有些不用最终深入到CU8，有些甚至不用分割到CU16，最理想的有些连CU32都不用帧间预测，而是直接将CU64作为1个整体进行编码；其中CU32帧间预测、CU16帧间预测以及CU8帧间预测得到的最优模式，都只是一个临时最优模式，并且CU32帧间预测、CU16帧间预测以及CU8帧间预测都只是为了得到临时最优模式，而不进行任何编码；编码是在整个Cu64帧间预测结束后得到最优编码模式，根据最优编码模式进行编码。本专利技术采用的技术方案如下：一种自适应的从H264到HEVC的帧间快速转码方法包括：步骤1：输入原始H264视频流，并对该视频进行解码，提取当前解码帧的宏块残差、编码模式、参考帧、运动向量；将HEVC编码树单元覆盖的区域对应至当前解码帧的各个宏块；步骤2：进行CU64帧间预测，得到CU64不分割时的最优模式，然后判断当前CU64帧间预测是否可以提前终止，当CU64对应的各MB参考帧相同、各MB全部是Pskip模式或16*16模式并且各MB的运动向量MV相近且16个MB对应的残差系数幅值之和小于CU64阈值时，则不需要对CTU进行分割，直接采用CU64不分割时的最优模式作为最优编码模式，否则，将CTU进行四叉树分割，形成4个第一级子单元CU32，对每个CU32分别执行步骤3之后，将所有第一级子单元CU32帧间预测中当前CU的最优模式时对应的代价连同分割标志编码代价一起求和,求和结果与CU64不分割时CU在最优模式时的代价
对比，选择代价小者对应的模式作为当前CU64最优编码模式，以CU64最优编码模式对CTU进行编码：其中CU64为64*64大小的CU；CU32为32*32的CU；CU16为16*16的CU；C8为8*8的CU；CU64是将64*64大小的宏块分割为4个32*32大小的区域CU32；步骤3：进行CU32帧间预测，得到CU32不分割时的最优模式；然后判断当前CU32帧间预测是否可以提前终止，当当前CU32对应的MB参考帧相同、对应的MB为Skip或16x16模式、4个MB的运动向量MV相近及4个MB对应的残差系数幅值之和小于CU32阈值时，则当前CU32可以提前终止，直接以CU32不分割时的最优模式作为CU32的最优模式，然后进行下一个CU32的帧间预测，否则，进入当前第一级子单元的CU32四叉树分割，形成4个第二级子单元CU16，对每个CU16分别执行步骤4之后，将所有第二级子单元CU16帧间预测中当前CU的最优模式时对应的代价连同分割标志编码代价一起求和,求和结果与CU32不分割时CU在最优模式时的代价对比，选择代价小者对应的模式作为当前CU32的最优模式，然后才进行下一个CU32的帧间预测；步骤4：进行CU16帧间预测，得到CU16不分割时的最优模式，然后判断当前CU16帧间预测是否可以提前终止，当当前CU16对应MB是PSkip模式或者对应MB不是帧内模式、对应的MB未划分为亚宏块且MB对应的残差系数幅值之和小于等于CU16阈值时，则当前CU16可以提前终止，直接以CU16不分割时的最优模式作为CU16的最优模式，然后进行下一个CU16的帧间预测，否则进入CU16的四叉树分割,形成4个第三级子单元CU8，对每个CU8分别执行步骤5，执行步骤5之后,将所有CU8帧间预测中当前CU在最优模式时的代价连同分割标志编码代价一起求和,求和结果与当前CU16不分割时CU在最优模式时的代价对比，选择代价小者对应的模式作为当前CU16最优模式，然后才进行下一个CU16的帧间预测；CU16进行四叉树分割指的是将16*16大小宏块分给为4个8*8大小的区域CU8；步骤5本文档来自技高网...

【技术保护点】
一种自适应的从H264到HEVC的帧间快速转码方法，其特征在于包括：步骤1：输入原始H264视频流，并对该视频进行解码，提取当前解码帧的宏块残差、编码模式、参考帧、运动向量；将HEVC编码树单元覆盖的区域对应至当前解码帧的各个宏块；步骤2：进行CU64帧间预测，得到CU64不分割时的最优模式，然后判断当前CU64帧间预测是否可以提前终止，当CU64对应的各MB参考帧相同、各MB全部是Pskip模式或16*16模式并且各MB的运动向量MV相近且16个MB对应的残差系数幅值之和小于CU64阈值时，则不需要对CTU进行分割，直接采用CU64不分割时的最优模式作为最优编码模式，否则，将CTU进行四叉树分割，形成4个第一级子单元CU32，对每个CU32分别执行步骤3之后，将所有第一级子单元CU32帧间预测中当前CU的最优模式时对应的代价连同分割标志编码代价一起求和,求和结果与CU64不分割时CU在最优模式时的代价对比，选择代价小者对应的模式作为当前CU64最优编码模式，以CU64最优编码模式对CTU进行编码：其中CU64为64*64大小的CU；CU32为32*32的CU；CU16为16*16的CU；C8为8*8的CU；CU64是将64*64大小的宏块分割为4个32*32大小的区域CU32；步骤3：进行CU32帧间预测，得到CU32不分割时的最优模式；然后判断当前CU32帧间预测是否可以提前终止，当当前CU32对应的MB参考帧相同、对应的MB为Skip或16x16模式、4个MB的运动向量MV相近及4个MB对应的残差系数幅值之和小于CU32阈值时，则当前CU32可以提前终止，直接以CU32不分割时的最优模式作为CU32的最优模式，然后进行下一个CU32的帧间预测，否则，进入当前第一级子单元的CU32四叉树分割，形成4个第二级子单元CU16，对每个CU16分别执行步骤4之后，将所有第二级子单元CU16帧间预测中当前 CU的最优模式时对应的代价连同分割标志编码代价一起求和,求和结果与CU32不分割时CU在最优模式时的代价对比，选择代价小者对应的模式作为当前CU32的最优模式，然后才进行下一个CU32的帧间预测；步骤4：进行CU16帧间预测，得到CU16不分割时的最优模式，然后判断当前CU16帧间预测是否可以提前终止，当当前CU16对应MB是PSkip模式或者对应MB不是帧内模式、对应的MB未划分为亚宏块且MB对应的残差系数幅值之和小于等于CU16阈值时，则当前CU16可以提前终止，直接以CU16不分割时的最优模式作为CU16的最优模式，然后进行下一个CU16的帧间预测，否则进入CU16的四叉树分割,形成4个第三级子单元CU8，对每个CU8分别执行步骤5，执行步骤5之后,将所有CU8帧间预测中当前CU在最优模式时的代价连同分割标志编码代价一起求和,求和结果与当前CU16不分割时CU在最优模式时的代价对比，选择代价小者对应的模式作为当前CU16最优模式，然后才进行下一个CU16的帧间预测；CU16进行四叉树分割指的是将16*16大小宏块分给为4个8*8大小的区域CU8；步骤5：进行CU8帧间预测，然后进行下一个CU8的帧间预测。...

【技术特征摘要】
1.一种自适应的从H264到HEVC的帧间快速转码方法，其特征在于包括：步骤1：输入原始H264视频流，并对该视频进行解码，提取当前解码帧的宏块残差、编码模式、参考帧、运动向量；将HEVC编码树单元覆盖的区域对应至当前解码帧的各个宏块；步骤2：进行CU64帧间预测，得到CU64不分割时的最优模式，然后判断当前CU64帧间预测是否可以提前终止，当CU64对应的各MB参考帧相同、各MB全部是Pskip模式或16*16模式并且各MB的运动向量MV相近且16个MB对应的残差系数幅值之和小于CU64阈值时，则不需要对CTU进行分割，直接采用CU64不分割时的最优模式作为最优编码模式，否则，将CTU进行四叉树分割，形成4个第一级子单元CU32，对每个CU32分别执行步骤3之后，将所有第一级子单元CU32帧间预测中当前CU的最优模式时对应的代价连同分割标志编码代价一起求和,求和结果与CU64不分割时CU在最优模式时的代价对比，选择代价小者对应的模式作为当前CU64最优编码模式，以CU64最优编码模式对CTU进行编码：其中CU64为64*64大小的CU；CU32为32*32的CU；CU16为16*16的CU；C8为8*8的CU；CU64是将64*64大小的宏块分割为4个32*32大小的区域CU32；步骤3：进行CU32帧间预测，得到CU32不分割时的最优模式；然后判断当前CU32帧间预测是否可以提前终止，当当前CU32对应的MB参考帧相同、对应的MB为Skip或16x16模式、4个MB的运动向量MV相近及4个MB对应的残差系数幅值之和小于CU32阈值时，则当前CU32可以提前终止，直接以CU32不分割时的最优模式作为CU32的最优模式，然后进行下一个CU32的帧间预测，否则，进入当前第一级子单元的CU32四叉树分割，形成4个第二级子单元CU16，对每个CU16分别执行步骤4之后，将所有第二级子单元CU16帧间预测中当前 CU的最优模式时对应的代价连同分割标志编码代价一起求和,求和结果与CU32不分割时CU在最优模式时的代价对比，选择代价小者对应的模式作为当前CU32的最优模式，然后才进行下一个CU32的帧间预测；步骤4：进行CU16帧间预测，得到CU16不分割时的最优模式，然后判断当前CU16帧间预测是否可以提前终止，当当前CU16对应MB是PSkip模式或者对应MB不是帧内模式、对应的MB未划分为亚宏块且MB对应的残差系数幅值之和小于等于CU16阈值时，则当前CU16可以提前终止，直接以CU16不分割时的最优模式作为CU16的最优模式，然后进行下一个CU16的帧间预测，否则进入CU16的四叉树分割,形成4个第三级子单元CU8，对每个CU8分别执行步骤5，执行步骤5之后,将所有CU8帧间预测中当前CU在最优模式时的代价连同分割标志编码代价一起求和,求和结果与当前CU16不分割时CU在最优模式时的代价对比，选择代价小者对应的模式作为当前CU16最优模式，然后才进行下一个CU16的帧间预测；CU16进行四叉树分割指的是将16*16大小宏块分给为4个8*8大小的区域CU8；步骤5：进行CU8帧间预测，然后进行下一个CU8的帧间预测。2.根据权利要求1所述的一种自适应的从H264到HEVC的帧间快速转码方法，其特征在于所述CU64帧间预测具体包括：步骤21：对HEVC编码树单元的编码单元CU执行merge/skip模式，将HEVC区域的当前CU对应于H264的16个MB，计算16个MB的参考帧是否相同；若参考帧相同，则执行步骤22；否则，执行步骤23；步骤22：当16个MB全被H264编码为16x16或Skip模式、16个MB的运动向量MV相近且判定当前CU所对应的所有MB对应的残差系数幅值之和小于CU64阈值时，则根据16个MB的运动向量信息做一个小范围运动估计，确定当前CU在为2N*2N模式时的代价，然后直接跳过其他帧间模式，将当前CU在 2Nx2N模式的代价与当前CU执行merge/skip模式得到的代价进行比较，比较后选择代价小者对应的模式作为当前CU在不分割时的最优模式；否则，利用H.264的运动信息，对其他帧间模式进行缩小范围运动估计；确定当前CU其他帧间模式的代价，然后将当前CU在其他帧间模式的代价与当前CU执行merge/skip模式得到的代价进行比较，比较后选择代价小者对应的模式作为当前CU在不分割时的最优模式，然后进行CU64四叉树分割；CU64模式包括2N*2N模式和其他帧间模式；其中其他帧间模式包括2N*N模式、N*2N模式对称模式及2NxnU、2NxnD、nLx2N、nRx2N等非对称模式；其中U指的是Up，表示小于N的在编码单元CU上部；D表示Down，表示小于N的在编码单元CU下部；L指的是left，表示小于N的在编码单元CU左部；R指的是right，表示小于N的在编码单元CU右部；步骤23：对当前CU进行2Nx2N按搜索范围进行正常运动估计，对其余帧间模式对应的预测单元PU做判断，考察每一个PU对应的所有宏块MB，若宏块MB的参考帧相同且宏块MB都是PSkip或16x16模式；则对CU64帧间预测模块对应的预测单元PU做小范围运动估计，否则，进行正常运动估计，执行步骤24；步骤24：计算当前CU在所有其余帧间模式和帧内模式的代价后，然后将当前CU在其他模式的代价、帧内模式的代价对应与当前CU执行merge/skip模式得到的代价进行比较，比较后选择代价最小的作为当前CU在不分割时的最优模式，然后进行CU64四叉树分割。3.根据权利要求1所述的一种自适应的从H264到HEVC的帧间快速转码方法，其特征在于所述CU32帧间预测具体包括：步骤211：对HEVC编码树单元的编码单元CU执行merge/skip模式，将HEVC区域的当前CU对应于H264的4个MB，计算4个MB的参考帧是否相同； 若参考帧相同，则执行步骤212；否则，执行步骤213；步骤212：当4个MB全被H264编码为16x16或Skip模式、4个MB的运动向量MV相近且判定当前CU所对应的所有MB对应的残差系数幅值之和小于CU32阈值时，则根据4个MB的运动向量信息做一个小范围运动估计，确定当前CU在为2N*2N模式时的代价，然后直接跳过其他帧间模式，将当前CU在2Nx2N模式的代价与当前CU执行merge/skip模式得到的代价进行比较，比较后选择代价小者对应的模式作为当前CU在不分割时的最优模式；否则，利用H.264的运动信息，对其他帧间模式进行缩小范围运动估计；确定当前CU其他帧间模式的代价，然后将当前CU在其他帧间模式的代价与当前CU执行merge/skip模式得到的代价进行比较，比较后选择代价小者对应的模式作为当前CU在不分割时的最优模式，然后进行CU32四叉树分割；CU32模式包括2N*2N模式和其他帧间模式；其中其他帧间模式包括2N*N模式、N*2N模式对称模式及2NxnU、2NxnD、nLx2N、nRx2N等非对称模式；其中U指的是Up，表示小于N的在编码单元CU上部；D表示Down，表示小于N的在编码单元CU下部；L指的是left，表示小于N的在编码单元CU左部；R指的是right，表示小于N的在编码单元CU右部；步骤213：对当前CU进行2Nx2N按搜索范围进行正常运动估计，对其余帧间模式对应的预测单元PU做判断，考察每一个PU对应的所有宏块MB及宏块MB的局部区域，若宏块MB及宏块MB的局部区域的参考帧相同且宏块MB及宏块MB的局部区域都是完整划分；则对CU64帧间预测模块对应的预测单元PU做小范围运动估计，否则，进行正常运动估计，执行步骤214；完整划分指的是宏块MB都是PSkip、16x16模式，宏块MB的局部区域的内部不存在MB模式划分形成的分界；宏块MB的局部区域指的是宏块MB的一部分；；步骤214：计算当前CU在所有其余帧间模式和帧内模式的代价后，然后将当前CU在其他模式的代价、帧内模式的代价对应与当前CU执行merge/skip模式得到的代价进行比较，比较后选择代价最小的作为当前CU在不分割时的最优模式，然后进行CU32四叉树分割。4.根据权利要求1所述的一种自适应的从H264到HEVC的帧间快速转码方法，其特征在于所述CU16帧间预测具体处理过程是：步骤31：对当前CU执行Merge/Skip模式，计算当前CU对应的MB是否已经划分到SubMB(亚宏块)级别，如果是，则跳过其它帧间模式的测试，进行CU16四叉树分割，将4个CU8中当前CU在最优模式时的代价连同分割标志编码代价一起求和,求和结果与CU16不分割时CU在最优模式时的代价对比，选择代价小者对应的模式作为当前CU16最优模式；否则，执行步骤32；步骤32：若当前CU对应的MB是否编码为PSkip模式，如果是，则跳过其他帧间模式，以merge/skip模式作为当前CU16不分割时的最优模式；如果当前CU对应的MB不是PSkip，而是帧内模式，则跳过其他帧间模式，执行帧内模式，与当前CU执行merge/skip模式得到的代价进行比较，选择代价较小的作为当前CU在不分割时的最优模式，然后进行CU16四叉树分割；如果当前CU对应的MB不是PSkip，也不是帧内模式，则MB为16x16、16x8或8x16模式，执行步骤33；步骤33：判断当前CU对应的MB对应的残差系数幅值之和是否大于CU16阈值，如果大于阈值，则进行CU16四叉树分割；否则，采用H.264宏块既有的帧间预测模式作为当前CU16不分割时的最优模式，同时采用H.264宏块既有的运动向量，不进行CU16其他的帧间模式计算。5.根据权利要求1所述一种自适应的从H264到HEVC的帧间快速转码方法，其特征在于CU8帧间预测具体处理过程是：步骤41：对HEVC编码树单元的编码单元CU执行merge/skip模式，接着先看当前CU所在的H.264的宏块模式；如果当前CU对应的MB模式为PSkip模式，则直接结束；若当前CU对应的MB是帧内模式，则计算当前CU所有剩余模式的代价，并与当前CU执行执行merge/skip模式得到的代价进行比较，选择代价小者对应的模式作为当前CU最优模式；如果当前CU对应的MB即不是PSkip模式也不是帧内模式，则先判断当前CU对应的MB的划分是否大于等于当前的CU8，也即是否为16*16模式、16x8模式、8x16模式、8x8模式这几种模式；如果是，则当前CU的2Nx2N模式的MV采取覆盖当前CU的对应MB或子块的运动向量MV，并跳过其他剩余模式；否则，执行步骤42；其他剩余模式指的是2N*N模式、N*2N模式对称模式和帧内模式；所有剩余模式指的是2Nx2N模式和其他剩余模式；步骤42：当当前CU对应的亚宏块是8x4或4x8模式，则CU对应采用2NxN或Nx2N模式，同时采用2NxN或Nx2N模式对应运动向量MV，与当前CU采用merge/skip模式得到的代价比较后选出最优模式；如果当前CU对应的亚宏块是4x4模式，则根据H264对应区域的运动向量MV，分别做缩小范围运动估计，遍历剩余模式，最后与merge/skip模式得到的代价比较选出最优模式；剩余模式指的是2N*N模式、N*2N模式对称模式。6.一种自适应的从H264到HEVC的帧间快速转码装置，其特征在于包括：H264...

【专利技术属性】
技术研发人员：史方，隆刚，王标，
申请(专利权)人：同观科技深圳有限公司，
类型：发明
国别省市：广东;44