一种多路同分辨率视频转码方法技术

本发明专利技术属于计算机技术领域，具体为一种多路同分辨率视频转码方法。本发明专利技术利用单源多目标转码场景中视频编码计算的相似性，在保证视频图像质量的前提下，复用相同的计算，以提高转码的效率；本发明专利技术复用相同计算的视频编码流程包括：非第一路视频的编码都跳过搜索阶段，直接复用第一路编码的搜索结果，即最优预测模式和运动向量来合成预测宏块，然后与当前宏块相减求得残差；无论是帧间预测还是帧内预测，搜索结果复用都只需要拷贝一次数据，并求一次残差。采用H.264编码进行验证，结果表明在不同的分辨率下，根据两种视频客观质量评估标准SSIM和PSNR，分别在1%和3%之内。可见本发明专利技术编码视频的质量和独立编码视频的质量接近。

【技术实现步骤摘要】
一种多路同分辨率视频转码方法
本专利技术属于计算机
，具体涉及一种多路同分辨率视频转码方法，在保证视频质量的前提下充分复用相同的计算，提高转码的效率。
技术介绍
随着互联网和多媒体信息处理技术的飞速发展，互联网每天传输大量的数字视频。根据CISCO于2017年发布的网络数据流量报告，2016年网络总流量为1.15ZB（1ZB=10243TB），视频流量的比例为72%；预估计到2021年，总流量将达到3.33ZB，视频流量的比例更是达到82%。数字视频的普及丰富了人们的生活，人们可以使用手机、电脑等设备在线观看视频。例如，视频要在不同屏幕大小的设备上播放，需要按照相应的比例缩放；在网络宽带较差的环境下播放，需要降低码率；在特殊播放器上播放，需要转换编码格式，如H.264、MPEG-4等。为了让用户在不同环境下观看视频，在网络传给用户前需要考虑分辨率、码率、编码格式等问题。视频转码时，往往需要按照不同的分辨率、码率、编码格式，转成多个目标视频文件。以Netflix为例，一个视频需按照不同的参数转码成120个目标视频文件，然后传输给用户。视频的编解码需要大量的计算，给视频服务商带来巨大的挑战，加速视频转码十分有必要。转码技术可以提高视频在不同场景下的兼容性，按照不同的参数，同一个视频可以转成多种格式的目标视频。视频服务商通常需要将某高清视频按不同转码参数（分辨率、码率、编码格式）转成多路目标视频，称为单源多目标的转码场景。转码的计算开销较大，单源多目标的转码场景下多路共享解码能够有效降低计算开销。但编码部分是转码主要的耗时部分，计算最优预测模式和运动向量是编码的主要开销，约为60%~80%。本专利技术发现，两路编码的视频如果分辨率和编码格式相同，而码率不同，编码预测阶段生成最优预测模式和运动向量的过程大致相同。因此，即使共享了解码，但多路编码仍然存在计算冗余，存在进一步的优化空间。本专利技术设计了一种多路同分辨率视频转码的高效系统，在保证视频质量的前提下充分复用相同的计算，提高转码的效率。
技术实现思路
本专利技术的目的在于提供一种转码效率高的多路同分辨率视频转码方法。本专利技术提出的多路同分辨率视频转码方法，是利用单源多目标转码场景中视频编码计算的相似性，在保证视频图像质量的前提下，复用相同的计算，提高转码的效率。对于特定的编码标准而言，编码算法是确定的，其预测阶段可以分成两部分，包括搜索和求残差，如图1所示。搜索过程从不同的预测模式和运动向量中选择最优，保证生成的残差最小，从而使压缩效率最高；其中，求残差过程则是在最优的预测模式和运动向量下，生成预测宏块，并与当前宏块相减，得到最小残差。一、编码复用在多路转码场景下，多路共享解码能够有效降低计算开销。在编码过程中，预测是用已编码宏块表示当前编码区域的过程，可以分为帧内预测和帧间预测。帧内预测如图2中（a）部分所示，z表示正编码的宏块，x和y表示已经编码并重建的宏块，通过将x和y在多种预测模式合成，可以得到多个合成宏块，其中与z最相近的为预测宏块，相应的预测模式为最优预测模式。帧间预测如图2中（b）部分所示，设m为当前编码的宏块，通过在参考帧内进行多种搜索算法的尝试，可以找出与m最相近的宏块n，m与n之间的位移偏量为运动向量。预测过程，首先得到最优的预测模式和运动向量，在确定这些后，将重建宏块按最优预测模式合成可以得到预测宏块，预测宏块与当前宏块相减从而获取残差。所以预测的输入为当前编码宏块、已编码的重建宏块；输出为最优预测模式、运动向量，以及残差，如图3所示。如果两路编码视频的分辨率相同，用于编码的原始图像完全相同。因此，当前编码宏块也相同。对于预测的另外一个输入——已编码的重建宏块，需经过反量化、反变换等解码过程才能生成重建宏块。如果目标码率不相同，那么量化步长也不同，数据有损程度不同，因此，重建宏块并不相同。但这并不影响预测模式和运动向量的生成。虽然重建宏块不同，但是重建宏块表示的内容并没有变化。也就是说，画面与画面之间的关联性并不会因为量化的损耗而改变，因此最优的预测模式与运动向量并不会发生太多变化。因此，只需要在某一路的预测结果中记录这两个值，并复用给第二路，就可以省去第二路预测过程中的搜索开销。由于多路的重建数据存在差异，预测宏块并不完全相同，残差也不相同。即使在分辨率相同的情况下，这导致变换、量化和熵编码阶段需要多路独立完成，不能共享。对于多路编码而言，如果两路分辨率以及编码格式相同，而码率不同的话，那么编码预测阶段生成最优预测模式和运动向量的过程大致相同。二、多路复用视频压缩本来就是一个有损的变换，如果精确性损失导致的视频质量下降在主观上可以忽略不计，就是一个可以接受的方案。针对单源同分辨率多目标的编码场景，本专利技术设计了新的视频编码流程。如图4所示，非第一路视频的编码都跳过搜索阶段，直接复用第一路编码的搜索结果，即最优预测模式和运动向量来合成预测宏块，然后与当前宏块相减求得残差。无论是帧间预测还是帧内预测，搜索结果复用都只需要拷贝一次数据，并求一次残差。图5给出了两路编码的流程，宏块经过第一路的预测、变换、量化等阶段生成压缩宏块、重建宏块等数据后，会立刻按照第二路的编码参数进行编码，所有输出路完成编码后，才会进行下一个宏块的编码任务。每一路的编码仍然需要维护私有的编码器，因为编码器中包含预测、变换、量化等阶段的私有数据，这些数据是编码上下文的一部分。此外，宏块编码之前，需要执行初始化的相关逻辑，如码率控制等。第一路编码完后，会切换成第二路的编码上下文，第二路进入预测后，会把第一路编码上下文中的预测模式与运动向量拷贝给第二路编码上下文，然后继续执行求残差、量化等编码过程。本专利技术基于H.264编码进行了验证，结果表明在不同的分辨率下，采用两种视频客观质量评估标准SSIM和PSNR，分别在1%和3%之内。因此，本专利技术编码视频的质量和独立编码视频的质量接近。在这里，PSNR（PeakSignaltoNoiseRatio，峰值降噪比）模型，通过计算图像、视频的均方误差得到质量结果，该标准被广泛采用，但是与客观评估的结果相差较大；SSIM（StructuralSimilarityIndex，结构相似性）模型，采用全参考标准，较PSNR更接近真实的客观评估结果。附图说明图1为预测分解后宏块编码流程图。图2为帧内预测、帧间预测示意图。图3为预测输入输出示意图。图4为搜索结果复用下编码示意图。图5为结果复用下两路编码示意图。图6为x264函数调用框架。图7为多路执行同步栅栏。图8为函数内多路重复执行。图9为x264_t结构体示意图。具体实施方式为了使本专利技术的目的、技术方案及优点更加清楚，以下结合附图及实施例，详细说明本专利技术的优选实施方式。需要说明的是，本说明书所使用的术语或词语不能限定解释为通常的含义或辞典中的含义，而应当立足于为了以最佳方式说明其专利技术人可以对术语的概念进行适当定义的原则解释为符合本专利技术技术思想的含义和概念。随之，本说明书所记载的实施例和附图中表示的结构只是本专利技术最佳实施例之一，并不能完全代表本专利技术的技术思想，因此应该理解到对于本专利技术而言可能会存在能够进行替换的各种等同物和变形例。H.264是主流的视频编码标准，而x264又是当前H.264标准下本文档来自技高网...

【技术保护点】
1.一种多路同分辨率视频转码方法，其特征在于，利用单源多目标转码场景中视频编码计算的相似性，在保证视频图像质量的前提下，复用相同的计算，以提高转码的效率；对于特定的编码标准而言，编码算法是确定的，其预测阶段包括搜索和求残差；搜索过程是从不同的预测模式和运动向量中选择最优，保证生成的残差最小，从而使压缩效率最高；其中，求残差过程是在最优的预测模式和运动向量下，生成预测宏块，并与当前宏块相减，得到最小残差；在编码过程中，预测是用已编码宏块表示当前编码区域的过程，分为帧内预测和帧间预测；对于帧内预测，设z表示正编码的宏块，x和y表示已经编码并重建的宏块，通过将x和y在多种预测模式合成，得到多个合成宏块，其中与z最相近的为预测宏块，相应的预测模式为最优预测模式；对于帧间预测，设m为当前编码的宏块，通过在参考帧内进行多种搜索算法的尝试，找出与m最相近的宏块n，m与n之间的位移偏量为运动向量；通过预测，首先得到最优的预测模式和运动向量，在确定这些后，将重建宏块按最优预测模式合成得到预测宏块，预测宏块与当前宏块相减，获取残差；所以预测的输入为当前编码宏块、已编码的重建宏块；输出为最优预测模式、运动向量，以及残差。...

【技术特征摘要】
1.一种多路同分辨率视频转码方法，其特征在于，利用单源多目标转码场景中视频编码计算的相似性，在保证视频图像质量的前提下，复用相同的计算，以提高转码的效率；对于特定的编码标准而言，编码算法是确定的，其预测阶段包括搜索和求残差；搜索过程是从不同的预测模式和运动向量中选择最优，保证生成的残差最小，从而使压缩效率最高；其中，求残差过程是在最优的预测模式和运动向量下，生成预测宏块，并与当前宏块相减，得到最小残差；在编码过程中，预测是用已编码宏块表示当前编码区域的过程，分为帧内预测和帧间预测；对于帧内预测，设z表示正编码的宏块，x和y表示已经编码并重建的宏块，通过将x和y在多种预测模式合成，得到多个合成宏块，其中与z最相近的为预测宏块，相应的预测模式为最优预测模式；对于帧间预测，设m为当前编码的宏块，通过在参考帧内进行多种搜索算法的尝试，找出与m最相近的宏块n，m与n之间的位移偏量为运动向量；通过预测，首先得到最优的预测模式和运动向量，在确定这些后，将重建宏块按最优预测模式合成得到预测宏块，预测宏块与当前宏块相减，获取残差；所以预测的输...

【专利技术属性】
技术研发人员：张为华，李弋，鲁云萍，
申请(专利权)人：复旦大学，
类型：发明
国别省市：上海,31