本发明专利技术提供了一种基于强化学习的I帧目标带宽分配方法及装置，包括：S1、将视频序列输入HM编码系统；S2、当HM编码系统给GOP分配目标带宽后，调用强化学习神经网络为当前I帧分配目标带宽；S3、HM编码系统将分配目标带宽用于编码当前I帧数据，并将GOP中剩余帧继续编码，得到完成的GOP数据，将完成GOP数据输入缓冲区；S4、判断视频序列是否完成编码，否则获取下一GOP数据，并返回S2。本发明专利技术的有益效果在于：提供了一种利用强化学习神经网络进行I帧目标带宽分配的方法，该方法可以通过不断感知环境状态，为当前视频序列选择最优的目标带宽，帮助取得更好的视频质量和更小的码率误差。取得更好的视频质量和更小的码率误差。取得更好的视频质量和更小的码率误差。
【技术实现步骤摘要】
一种基于强化学习的I帧目标带宽分配方法及装置
[0001]本专利技术涉及一种视频处理
，尤其是指一种基于强化学习的I帧目标带宽分配方法及装置。
技术介绍
[0002]码率控制算法的目标在于，在一个特定的带宽或存储下提供高质量的压缩序列，它对于维持视频应用的质量，尤其是对于实时性要求较高的系统来说，起着决定性的作用。在视频编码中，平衡视频帧的码率和失真是码率控制的关键问题。现有技术是通过实验数据和研究经验建立数学模型，从而进行带宽分配、量化和参数调整。
[0003]H.265/HEVC的码率控制算法仍然采用传统的两步骤方式——目标带宽分配和量化参数确定。其中，图像级目标带宽分配的关键在于考虑视频帧率失真间的相互依赖关系，分配的带宽权重与目标码率、视频内容特性以及时域预测结构密切相关。
[0004]在HEVC中，目标带宽分配分为GOP级、图像级和CTU级，其中GOP级中有I、P、B三种视频帧类型，I帧为每个GOP的第一个帧，是自带全部信息的独立帧，而P帧和B帧需要依赖其他帧预测得到。当视频序列中存在动作剧烈变化和场景快速切换时，两个I帧的帧间相关性明显降低，从而需要消耗更多的带宽进行编码。现有的图像级目标带宽分配策略是按照目标码率、内容特性和时域预测结构来给图像分配权重，对于上述情况没有针对性的设计，并不能保证有效的处理。基于强化学习的方法则可以从端到端优化目标带宽分配过程，促进性能的进一步提升。因此，我们采用强化学习的方式，希望得到更合理的I帧目标带宽分配策略。
技术实现思路
[0005]本专利技术所要解决的技术问题是：针对现有技术的不足，提出了一个基于强化学习的I帧目标带宽分配方法及装置，目的在于优化码率控制过程中图像级的目标带宽分配，从而减少失真，提升视频质量。
[0006]为了解决上述技术问题，本专利技术采用的技术方案为：一种基于强化学习的I帧目标带宽分配方法，包括：
[0007]S1、将视频序列输入HM编码系统；
[0008]S2、当HM编码系统给GOP分配目标带宽后，调用强化学习神经网络为当前I帧分配目标带宽；
[0009]S3、HM编码系统将分配目标带宽用于编码当前I帧数据，并将GOP中剩余帧继续编码，得到完成的GOP数据，将完成GOP数据输入缓冲区；
[0010]S4、判断视频序列是否完成编码，否则获取下一GOP数据，并返回S2。
[0011]进一步的，在步骤S2之前，还包括建立训练模型：
[0012]S21、选取至少两种具有分辨率差异的视频、至少两种具有内容差异的视频以及至少两种具有时长差异的视频，按照HM编码系统对H.265/HEVC视频的编码流程进行带宽分配
及选择量化参数，并记录各视频的编码信息；
[0013]S22、将编码信息输入至强化学习神经网络进行强化学习。
[0014]进一步的，在步骤S22之中，采用A2C神经网络进行强化学习。
[0015]进一步的，在步骤S21之后，还包括获取补充编码信息：
[0016]S211、通过多尺度高斯差分融合计算公式获取当前I帧的纹理特征，所述多尺度高斯差分融合公式为：
[0017][0018]其中，(x,y)是空间坐标，σ大小决定图像的平滑程度，σ1＝0.54，σ2＝0.87，σ3＝1.19，
[0019]w为高斯差分项的权重，w＝0.284，
[0020]a和b为高斯差分的参数，a＝0.75，b＝0.66；
[0021]S212、根据σ1生成二维高斯分布矩阵，计算公式为：
[0022][0023]其中，x和y为高斯核的维度，w1，w2，w3为与人眼视觉特性相关的三个参数，分别为w1＝0.536，w2＝0.277，w3＝0.187；
[0024]通过计算像素梯度矩阵G
xy
获取当前I帧的边缘特征，像素梯度矩阵的计算公式为：
[0025][0026]其中，I为灰度图像矩阵，S为Sobel算子，c＝2，图像矩阵坐标系原点在左上角，且x正方向从左到右，y正方向从上到下；
[0027]S213、通过颜色特征提取公式获取当前I帧的颜色特征，所述颜色特征提取公式为：
[0028][0029]其中，h
i,j
表示第i个颜色通道分量中灰度值为j的像素出现的概率，n表示图像灰度级数，d＝1.33；
[0030]S214、将当前I帧的纹理特征、边缘特征和颜色特征打包为当前I帧的补充编码信息，并输入至强化学习神经网络进行强化学习。
[0031]进一步的，在步骤S2之后，还包括结合当前帧编码后的失真度、以及已编码帧的失真度历史信息，采用奖励计算公式对行动网络分配的I帧目标带宽作出评价，所述评价带宽分配的奖励计算公式为：
[0032][0033]其中，i为帧的序号，N表示已编码帧数，Q
i
表示图像的PSNR值，a＝2，B
i
表示滑动窗
口大小，R
i
表示编码带宽数，λ为拉格朗日优化因子值。
[0034]本专利技术还涉及一种基于强化学习的I帧目标带宽分配装置，包括传输模块、分配模块、调用模块、编码模块和判断模块，
[0035]所述传输模块用于将视频序列输入HM编码系统；
[0036]所述分配模块用于为GOP分配目标带宽；
[0037]所述调用模块用于调用强化学习神经网络为当前I帧分配目标带宽；
[0038]所述编码模块用于将分配目标带宽用于编码当前I帧数据，并将GOP中剩余帧继续编码，得到完成的GOP数据；
[0039]所述传输模块还用于将完成的GOP数据输入缓冲区；
[0040]所述判断模块用于判断视频序列是否完成编码。
[0041]进一步的，还包括学习模块，所述学习模块用于选取至少两种具有分辨率差异的视频、至少两种具有内容差异的视频以及至少两种具有时长差异的视频，按照HM编码系统对H.265/HEVC视频的编码流程进行带宽分配及选择量化参数，并记录各视频的编码信息，将编码信息输入至强化学习神经网络进行强化学习。
[0042]进一步的，所述学习模块还用于采用A2C神经网络进行强化学习。
[0043]进一步的，还包括获取模块，所述获取模块用于获取补充编码信息，所述补充编码信息包括当前I帧的纹理特征、边缘特征和颜色特征，具体的：
[0044]通过多尺度高斯差分融合计算公式获取当前I帧的纹理特征，所述多尺度高斯差分融合公式为：
[0045][0046]其中，(x,y)是空间坐标，σ大小决定图像的平滑程度，即σ值的大小对于图像概貌特征和细节特征，σ1＝0.54，σ2＝0.87，σ3＝1.19，
[0047]w为高斯差分项的权重，w＝0.284，
[0048]a和b为高斯差分的参数，a＝0.75，b＝0.66；
[0049]根据σ1生成二维高斯分布矩阵，计算公式为：
[0050][0051]其本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种基于强化学习的I帧目标带宽分配方法，包括：S1、将视频序列输入HM编码系统；S2、当HM编码系统给GOP分配目标带宽后，调用强化学习神经网络为当前I帧分配目标带宽；S3、HM编码系统将分配目标带宽用于编码当前I帧数据，并将GOP中剩余帧继续编码，得到完成的GOP数据，将完成GOP数据输入缓冲区；S4、判断视频序列是否完成编码，否则获取下一GOP数据，并返回S2。2.如权利要求1所述的基于强化学习的I帧目标带宽分配方法，其特征在于：在步骤S2之前，还包括建立训练模型：S21、选取至少两种具有分辨率差异的视频、至少两种具有内容差异的视频以及至少两种具有时长差异的视频，按照HM编码系统对H.265/HEVC视频的编码流程进行带宽分配及选择量化参数，并记录各视频的编码信息；S22、将编码信息输入至强化学习神经网络进行强化学习。3.如权利要求2所述的基于强化学习的I帧目标带宽分配方法，其特征在于：在步骤S22之中，采用A2C神经网络进行强化学习。4.如权利要求3所述的基于强化学习的I帧目标带宽分配方法，其特征在于：在步骤S21之中，还包括获取补充编码信息：S211、通过多尺度高斯差分融合计算公式获取当前I帧的纹理特征，所述多尺度高斯差分融合公式为：其中，(x,y)是空间坐标，σ大小决定图像的平滑程度，σ1＝0.54，σ2＝0.87，σ3＝1.19，w为高斯差分项的权重，w＝0.284，a和b为高斯差分的参数，a＝0.75，b＝0.66；S212、根据σ1生成二维高斯分布矩阵，计算公式为：其中，x和y为高斯核的维度，w1，w2，w3为与人眼视觉特性相关的三个参数，分别为w1＝0.536，w2＝0.277，w3＝0.187；通过计算像素梯度矩阵G
xy
获取当前I帧的边缘特征，像素梯度矩阵的计算公式为：其中，I为灰度图像矩阵，S为Sobel算子，c＝2，图像矩阵坐标系原点在左上角，且x正方向从左到右，y正方向从上到下；S213、通过颜色特征提取公式获取当前I帧的颜色特征，所述颜色特征提取公式为：
其中，h
i,j
表示第i个颜色通道分量中灰度值为j的像素出现的概率，n表示图像灰度级数，d＝1.33；S214、将当前I帧的纹理特征、边缘特征和颜色特征打包为当前I帧的补充编码信息，并输入至强化学习神经网络进行强化学习。5.如权利要求4所述的基于强化学习的I帧目标带宽分配方法，其特征在于：在步骤S2之后，还包括结合当前帧编码后的失真度、以及已编码帧的失真度历史信息，采用奖励计算公式对行动网络分配的I帧目标带宽作出评价，所述评价带宽分配的奖励计算公式为：其中，i为帧的序号，N表示已编码帧数，Q
i
表示图像的PSNR值，a＝2，B
i
表示滑动窗口大小，R
i
表示编码带宽数，λ为拉格朗日优化因子值。6.一种基于强化学习的I帧目标带宽...
【专利技术属性】
技术研发人员：王妙辉，黄丽蓉，
申请(专利权)人：深圳大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。