基于HEVC的DVFS控制方法、系统、处理器及存储设备技术方案

本发明专利技术涉及一种基于HEVC的DVFS控制方法、系统、处理器及存储设备，该方法基于CPU和GPU以流水线方式协同HEVC解码，解码器将其输入的二进制比特流进行熵解码，为解码器参数赋值，估计视频帧i的TU数量，并解析出反变换系数矩阵，输入至工作量预测模块；在CPU和GPU的每个同步点上，工作量预测模块基于熵解码估计的视频帧i的TU数量，预测CPU工作频率和GPU工作频率，输入到频率管理器；根据预测的CPU工作频率和GPU工作频率，频率管理器设定CPU工作频率和GPU工作频率，根据帧缓存中已解码视频帧的数量对设定的CPU工作频率和GPU工作频率进行调节，输入到调控器；调控器根据最终的CPU工作频率设置CPU频率，根据最终的GPU工作频率设置GPU频率，CPU和GPU以设定的频率继续解码。

【技术实现步骤摘要】
基于HEVC的DVFS控制方法、系统、处理器及存储设备
本专利技术属于视频编解码的
，尤其涉及一种基于HEVC的DVFS控制方法、系统、处理器及存储设备。
技术介绍
随着网络技术的发展，视频应用已经进入到人们生活的方方面面，思科在其可视化网络指数计划白皮书中指出：到2020年，每秒将会有100万分钟的视频内容流经网络，全球IP视频流量占所有IP流量(企业和消费者)的比例增加到82％[i]。而伴随着平板电脑以及智能手机等移动嵌入式设备的不断普及，网络传输视频数据也存在着越来越大的压力。与现在广泛应用的视频编码标准H.264/AVC相比，HEVC视频编码标准可显著提高视频编码压缩比。图1显示了HEVC和H.264各压缩算法的性能比较。从图1中可以看出，对比现在普遍采用的H.264/AVC视频编码标准，在相同的用户体验质量下HEVC的压缩比提高了大约50％，这就意味着利用HEVC标准，用户可以在原先一半的网络带宽下观看相同质量的视频。HEVC被称作H.265是最新的国际视频编码标准，其全称为HighEfficiencyVideoCoding。HEVC标准中解码器由熵解码、反量化反变换、帧内/帧间预测、环路滤波等模块组成，如图2所示。熵解码模块作为解码器的第一个模块负责将比特流转换成为后继模块所必要的相应语法元素的值。根据相关语法元素的值，反量化过程将有限多个离散幅值映射为大量的离散取值，实现信号一对多的过程。反变换是指将变换域中变换系数转换回空间域中的像素形式，是视频编码器中变换的逆过程。熵解码后的系数经过反量化反变换模块的处理转换为残差像素块。HEVC编码器可以选择帧内或帧间预测两种模式。帧内预测是指利用视频空间域的相关性，使用当前图像已编码的像素预测当前像素，以达到去除视频空间域冗余的目的。帧间预测是指利用视频时间域的相关性，使用邻近已编码图像像素预测当前图像的像素，以达到有效去除视频时域冗余的目的。和学术界的许多研究工作一致，针对嵌入式设备有限的计算能力，我们选择了计算复杂度相对低并且可以提供高压缩比的帧内预测。预测数据块和残差数据块叠加，得到重建数据块(重建帧)。环路滤波模块(LF)包括去块滤波(DBF)和像素自适应滤波(SAO)。去块滤波用于降低方块效应，方块效应是指图像中编码数据块边缘的不连续性。像素自适应补偿用于改善振铃效应，振铃效应是指基于块的变换量化过程在图像边缘周围产生的波纹现象。重建帧经过环路滤波模块的处理，方块效应和振铃效应均得到改善，同时提高了视频的主客观质量。CPU(CentralProcessingUnit)作为计算机的运算核心和控制核心，随着技术的进步，由单核发展到多核。目前，多核CPU已经普遍应用到移动通讯设备中，以加快移动设备的处理能力。GPU(GraphicProcessingUnit)经历了三个阶段的发展，GPU已经不再局限于图形的处理，逐步走向通用计算。GPU制造厂商NVIDIA公司于2006年推出的通用并行计算架构CUDA(ComputeUnifiedDeviceArchitecture)，也使得越来越多的应用程序提高了性能。基于CUDA架构的支持，开发人员可以用C/C++等高级语言来编写GPU并行程序，所编写出的程序可以具有很高的并行度。CUDA架构很好地提高了GPU的可编程性及编程效率，从而进一步推动了GPU通用计算技术的发展。在移动设备的设计中，能效性能是关键的衡量因素之一。随着摩尔定律放缓，晶体管单位功耗不能降低，半导体器件的发展已经进入暗硅时代，促进了异构多核技术的发展。与此同时，HMPSoC技术的快速发展大大提高了高端嵌入式系统的计算能力。HMPSoC提供强大计算资源的同时，相应的能源管理策略的研究和优化是必不可少的。动态调频调压(Dynamicvoltageandfrequencyscaling，DVFS)。是根据特定任务在不同时刻对处理器计算能力的具体需要，动态地调整处理器的工作频率和供给电压(对于同一芯片，频率于电压成正相关)，在保证任务按时完成的情况下，尽可能慢的处理计算任务，从而达到降低动态能耗的目的。DVFS技术已经被证明为节约系统能耗的有效机制并被广泛集成到商用计算机中。虽然，现代计算机提供了内建的DVFS策略(例如linux系统中的OnDemand调控器)，基于应用程序域知识，在userspace调控器下，设计符合应用程序自身特点的DVFS策略通常可以达到明显更好的资源供应效率。因此，预测H.265/HEVC解码过程中工作量的变化，是进行DVFS节能的关键。目前，已经有许多芯片支持DVFS技术，例如NVIDIAJetsonTK1和JetsonTX1。同时，Linux操作系统对DVFS策略有很好的支持并且被广泛应用于嵌入式设备中。在视频解码过程中，DVFS策略应该尽可能的控制处理单元以可以满足要求的最小工作频率运行。最近，有针对运行于CPU上的HEVC解码器，根据处理器的历史工作负荷预测解码当前帧的工作量，进而调节CPU的工作频率。然而，通过观察窗口中工作负荷平均值来预测当前帧解码工作量的方法捕获解码复杂度突变(场景转移时)的能力并不强。以至于，系统需要设置足够大的帧缓冲区来保证视频的实时播放。综上所述，针对现有技术中如何解决在利用DVFS能源管理策略对运行于CPU-GPU协同的异构计算平台上的HEVC解码过程进行降低动态能耗，以及如何预测H.265/HEVC解码过程中工作量变化的问题，尚缺乏有效的解决方案。
技术实现思路
本专利技术为了解决上述问题，提供一种基于HEVC的DVFS控制方法，具体为一种基于HEVC的异构计算平台上CPU-GPU协同的DVFS能源管理控制方法。为了实现上述目的，本专利技术采用如下一种技术方案：一种基于HEVC的DVFS控制方法，该方法基于CPU和GPU以流水线方式协同HEVC解码，该方法包括以下步骤：(1)熵解码：解码器将其输入的二进制比特流进行熵解码，为解码器参数赋值，估计视频帧i的TU数量，并解析出反变换系数矩阵，输入至工作量预测模块；(2)工作量预测：在CPU和GPU的每个同步点上，工作量预测模块基于步骤(1)熵解码估计的视频帧i的TU数量，预测CPU工作频率和GPU工作频率，输入到频率管理器；(3)DVFS管理控制：根据步骤(2)预测的CPU工作频率和GPU工作频率，频率管理器设定CPU工作频率和GPU工作频率，根据帧缓存中已解码视频帧的数量对设定的CPU工作频率和GPU工作频率进行调节，输入到调控器；(4)工作频率设置：调控器根据最终的CPU工作频率设置CPU频率，根据最终的GPU工作频率设置GPU频率，CPU和GPU以设定的频率继续解码。进一步的，所述基于CPU和GPU以流水线方式协同HEVC解码的具体步骤为：CPU熵解码模块处理第一帧后，将其余模块的处理发射到GPU；当GPU处理第一帧的时候，CPU便开始处理下一帧的熵解码任务，在CPU将下一帧的计算任务发射到GPU之前，CPU和GPU需要进行同步，以保证GPU已经完成了第一帧的处理任务；后继的视频帧以上述相同的方式被处理。进一步的，所述步骤(1)中，估计视频帧i的TU数量的具体步骤为：基于前1帧的平均值预测计算视频帧i的TU数量其中，为视频本文档来自技高网...

【技术保护点】
一种基于HEVC的DVFS控制方法，该方法基于CPU和GPU以流水线方式协同HEVC解码，其特征是：该方法包括以下步骤：(1)熵解码：解码器将其输入的二进制比特流进行熵解码，为解码器参数赋值，估计视频帧i的TU数量，并解析出反变换系数矩阵，输入至工作量预测模块；(2)工作量预测：在CPU和GPU的每个同步点上，工作量预测模块基于步骤(1)熵解码估计的视频帧i的TU数量，预测CPU工作频率和GPU工作频率，输入到频率管理器；(3)DVFS管理控制：根据步骤(2)预测的CPU工作频率和GPU工作频率，频率管理器设定CPU工作频率和GPU工作频率，根据帧缓存中已解码视频帧的数量对设定的CPU工作频率和GPU工作频率进行调节，输入到调控器；(4)工作频率设置：调控器根据最终的CPU工作频率设置CPU频率，根据最终的GPU工作频率设置GPU频率，CPU和GPU以设定的频率继续解码。

【技术特征摘要】
1.一种基于HEVC的DVFS控制方法，该方法基于CPU和GPU以流水线方式协同HEVC解码，其特征是：该方法包括以下步骤：(1)熵解码：解码器将其输入的二进制比特流进行熵解码，为解码器参数赋值，估计视频帧i的TU数量，并解析出反变换系数矩阵，输入至工作量预测模块；(2)工作量预测：在CPU和GPU的每个同步点上，工作量预测模块基于步骤(1)熵解码估计的视频帧i的TU数量，预测CPU工作频率和GPU工作频率，输入到频率管理器；(3)DVFS管理控制：根据步骤(2)预测的CPU工作频率和GPU工作频率，频率管理器设定CPU工作频率和GPU工作频率，根据帧缓存中已解码视频帧的数量对设定的CPU工作频率和GPU工作频率进行调节，输入到调控器；(4)工作频率设置：调控器根据最终的CPU工作频率设置CPU频率，根据最终的GPU工作频率设置GPU频率，CPU和GPU以设定的频率继续解码。2.如权利要求1所述的一种基于HEVC的DVFS控制方法，其特征是：所述基于CPU和GPU以流水线方式协同HEVC解码的具体步骤为：CPU熵解码模块处理第一帧后，将其余模块的处理发射到GPU；当GPU处理第一帧的时候，CPU便开始处理下一帧的熵解码任务，在CPU将下一帧的计算任务发射到GPU之前，CPU和GPU需要进行同步，以保证GPU已经完成了第一帧的处理任务；后继的视频帧以上述相同的方式被处理。3.如权利要求2所述的一种基于HEVC的DVFS控制方法，其特征是：所述步骤(1)中，估计视频帧i的TU数量的具体步骤为：基于前1帧的平均值预测计算视频帧i的TU数量其中，为视频帧i的TU数量，为视频帧i-1的TU数量。4.如权利要求2所述的一种基于HEVC的DVFS控制方法，其特征是：所述步骤(2)中，预测CPU工作频率的具体步骤为：(2a-1)设置了长度为L的滑动窗口，计算最近解码的L帧视频的平均工作量预测当前视频帧i的工作量，即预测视频帧i的工作频率fi为：其中，fn为已知的处理视频帧n时的处理单元工作频率，Tn为已知的处理视频帧n时的处理单元工作时间，Tfps为帧率FPS所确定的解码一个视频帧的时间间隔；(2a-2)引入系数βCPU矫正步骤(2a-1)工作频率和处理时间的对应关系，即CPU更精确的视频帧i的工作频率fiCPU为：其中，βCPU设置为0.9；(2a-3)根据步骤(1)中估计的视频帧i的TU数量对步骤(2-2)计算的fiCPU进行调整，得到预测的CPU工作频率5.如权利要求2所述的一种基于HEVC的DVFS控制方法，其特征是：所述步骤(2)中，预测GPU工作频率的具体步骤为：(2b-1)设置了长度为L的滑动窗口，计算最近解码的L帧视频的平均工作量预测当前视频帧i的工作量，即预测视频帧i的工作频率fi为：其中，fn为已知的处理视频帧n时的处理单元工作频率，Tn为已知的处理视频帧n时的处理单元工作时间，Tfps为帧率FPS所确定的解码一个视频帧的时间间隔；(2b-2)引入系数βGPU矫正步骤(2b-1)工作频率和处理时间的对应关系，即GPU更精确的视频帧i的工作频率fiGPU为：其中，βGPU设置为0.85；(2b-3)根据步骤(1)中估计的视频帧i的TU数量对步骤(2-2)计算的fiGPU进行调整，得到预测的GPU工作频率

【专利技术属性】
技术研发人员：鞠雷，徐玉景，巩凡，贾智平，
申请(专利权)人：山东大学，
类型：发明
国别省市：山东,37