一种考虑时域相关性和熵平衡的低延时全景视频编码方法技术

本发明专利技术属于全景视频编码技术领域，具体涉及一种考虑时域相关性和熵平衡的低延时全景视频编码方法。本发明专利技术通过分析低延时编码结构下的帧间参考关系并建立对应的球面域失真传播链，将当前编码单元的失真影响因子用于调整编码参数，以达到优化编码的目标。同时，本发明专利技术根据熵平衡原则来为球面不同区域赋予相应的权重来调整该区域的失真影响大小，本发明专利技术能够极大提升编码率失真性能，同时显著降低编码时间。间。间。

【技术实现步骤摘要】
一种考虑时域相关性和熵平衡的低延时全景视频编码方法


[0001]本专利技术属于全景视频编码
，具体涉及一种考虑时域相关性和熵平衡的低延时全景视频编码方法。

技术介绍

[0002]全景视频是一种使用相机阵列或3D摄像机进行全方位360度进行拍摄的视频，用户在观看视频的时候，可以随意调节视频上下左右方位进行观看，全景视频具有高帧率、高分辨率(至少4K)、宽视域的特征，存储和传输全景视频非常消耗资源。低延时层次编码结构采用循环GOP(Group Of Pictures)结构，一个GOP分为3层，每一层的编码帧采用相同的量化参数，每一帧有多个参考帧，分别为时域上的前一帧，以及已经编码的邻近3个关键帧。H.266/VVC中GOP大小增大至8,编码帧的播放顺序POC(Picture Order Count)与编码顺序EOC(Encoding Order Count)相同。
[0003]全景视频图像需要投影到二维平面上后，再通过传统编码器进行编码。ERP投影是当前最常用的一种投影方式，也是360Lib默认的投影方式，该投影会在球面高纬度区域产生拉伸形变，通过插值填充而产生过采样。
[0004]H.266/VVC中的编码过程为：
[0005]1)编码单元划分
[0006]2)预测模式选择，假设各编码单元间相互独立
[0007][0008]式中λ
i
为第i个编码单元对应的拉格朗日乘子，P
i
为编码参数(比如量化参数，编码模式等)，J
i
为第i个编码单元的率失真代价，编码器通过最小率失真代价J
i
来进行编码模式选择，这里的编码模式主要指帧内及帧间预测模式。
[0009]3)变换：预测残差进行哈达玛变化
[0010]3)量化：对变换后的残差进行量化，引入量化失真
[0011]Q
STEP
＝2
(QP
‑
4)/6
[0012]Q
STEP
为量化步长，与量化参数的关系式为上式。
[0013]现有的基于360Lib的VTM编码器没有考虑全景视频投影失真带来的过采样问题。同时VTM编码器为了简化问题，没有考虑编码单元间的时域相关性，而且球面域的失真影响大小不仅跟编码参考帧结构有关，还与球面投影失真有关，所以率失真性能还有较大的提升空间。

技术实现思路

[0014]针对上述问题，本专利技术提供一种考虑时域相关性和熵平衡的低延时全景视频编码方法。本专利技术通过分析低延时编码结构下的帧间参考关系并建立对应的球面域失真传播链，将当前编码单元的失真影响因子用于调整编码参数，以达到优化编码的目标。同时，本
专利技术根据熵平衡原则来为球面不同区域赋予相应的权重来调整该区域的失真影响大小。
[0015]本专利技术的技术方案为：
[0016]一种考虑时域相关性和熵平衡的低延时全景视频编码方法，包括以下步骤：
[0017]S1、向编码器输入待编码序列；
[0018]S2、判断当前是否为第一帧，若是，则执行：
[0019]计算CTU行对应的纬度值并计算球面及其投影平面的面积拉伸比；
[0020]依据帧级QP计算帧级拉格朗日乘子；
[0021]编码完当前帧，输入下一张图片重复S2；
[0022]否则，进入步骤S3；
[0023]S3、计算当前编码帧像素均值和方差值；
[0024]S4、判断当前帧像素方差值与上一帧的差值是否小于第一阈值，同时帧级时域相关性是否大于第二阈值，若是，则进入S5，否则进入S6；
[0025]S5、当前帧的编码量化参数增加1；
[0026]S6、按顺序编码CTU；
[0027]S7、判断当前帧数是否大于3，若是，进入步骤S9，否则进入S8；
[0028]S8、基于R
‑
λ模型调整拉格朗日乘子，进入S11；
[0029]S9、基于R
‑
λ模型和前一帧的时域相关性调整CTU拉格朗日乘子；
[0030]S10、计算当前CTU的量化参数并编码CTU；
[0031]S11、判断是否是最后一个CTU，若是，则编码完当前帧，进入步骤S12，否则，回到步骤S6；
[0032]S12、获取当前帧保存的每个CTU的编码失真和运动补偿预测误差，计算当前帧内各个CTU的时域失真影响因子；
[0033]S13、判断是否是最后一帧，若是，则进入S14，否则输入下一张图片并回到S2；
[0034]S14、当前全景视频序列编码完成。
[0035]进一步的，步骤S2中，计算面积拉伸比的方法为：定义全景视频球体半径为r，则纬度为θ的球面环带区域面积为：
[0036]S
s
(θ)＝2π
·
r2·
cosθ
·
sindθ
[0037]投影2D平面后，得到拉伸区域的面积为：
[0038][0039]则面积拉伸比为：
[0040][0041]进一步的，步骤10的具体方法为：
[0042][0043]其中，λ
θi
为R
‑
λ模型调整后的拉格朗日乘子，k为时域相关性性。
[0044]本专利技术的有益效果为：根据全景视频的球面图像在投影过程中在不同纬度区域发生不同程度的几何变形，通过插值填充导致像素冗余，进而破坏熵分布的问题，根据码率控
制模型来调整编码参数，能极大的提升编码性能能够极大提升编码率失真性能，同时显著降低编码时间。
附图说明
[0045]图1是全景视频投影示意图。
[0046]图2是本专利技术的方法流程示意图。
具体实施方式
[0047]下面结合附图来对本专利技术进行详细描述。
[0048]编码器通过率失真优化(RDO)技术为输入视频选择一组最优的编码参数以及率失真代价最小的编码模式，其目标是在一定码率限制条件下尽可能降低编码失真或者在一定编码失真限定条件下尽可能减少编码比特。本专利技术所提出的编码方法具体实现方式如图2所示。
[0049]对于输入的第一帧图像，需要计算CTU行对应的纬度值并计算球面及其投影平面的面积拉伸比，具体方法为：
[0050]定义r为球体半径，可以计算纬度为θ球面环带区域面积为
[0051]S
s
(θ)＝2π
·
r2·
cosθ
·
sindθ
[0052]对应于投影2D平面，该拉伸区域的面积为
[0053][0054]投影前后的面积比为
[0055][0056]可以看出，该比值随着纬度的增加而减小，在赤道区域，也即纬度θ为0处，该面积比为1，没有拉伸。假设赤道区域的熵在投影前后没有发生改变，越趋近于极点，熵变化越大。
[0057]同时第一帧依据帧级QP计算帧级拉格朗日乘子本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种考虑时域相关性和熵平衡的低延时全景视频编码方法，其特征在于，包括以下步骤：S1、向编码器输入待编码序列；S2、判断当前是否为第一帧，若是，则执行：计算CTU行对应的纬度值并计算球面及其投影平面的面积拉伸比；依据帧级QP计算帧级拉格朗日乘子；编码完当前帧，输入下一张图片重复S2；否则，进入步骤S3；S3、计算当前编码帧像素均值和方差值；S4、判断当前帧像素方差值与上一帧的差值是否小于第一阈值，同时帧级时域相关性是否大于第二阈值，若是，则进入S5，否则进入S6；S5、当前帧的编码量化参数增加1；S6、按顺序编码CTU；S7、判断当前帧数是否大于3，若是，进入步骤S9，否则进入S8；S8、基于R
‑
λ模型调整拉格朗日乘子，进入S10；S9、基于R
‑
λ模型和前一帧的时域相关性调整拉格朗日乘子；S10、计算当前CTU的量化参数并编码CTU；S11、判断是否是最后一个CTU，若是，则编码完当前帧，进入步骤S12，否则，回到步骤S6；S12、获取当前帧保存的每个CTU的编码失真和运动补偿预测误差，计算当前帧内各个CTU的时域失真影响因子；S13、判断是否是最后一帧，若是，则进入S14，否则输入下一张图片并回到S2；S14、当前全景视频序列编码完成。2.根据权利要求1所述的一种考虑时域相关性和熵平衡的低延时全景视频编码方法，其特征在于，步骤S2中，计算面积拉伸比的方法为：定义全景视频球体半径为r，则纬度为θ的球面环带区域面积为：S
s
(θ)＝2π
·
r2·<...

【专利技术属性】
技术研发人员：朱策，杨栩，罗雷，郭红伟，
申请(专利权)人：电子科技大学，
类型：发明
国别省市：