一种自适应球域失真传播链长度的全景视频编码方法技术

本发明专利技术属于全景视频编码技术领域，具体涉及一种自适应球域失真传播链长度的全景视频编码方法。本发明专利技术通过分析球面图像投影到正六面体过程中，出现图像拉伸形变，并使得编码性能降低，同时提出一种球面映射模型，该模型使得球面图像的主观质量评价与平面压缩编码的客观质量评价更加一致，从而提升编码性能。同时，通过分析低延时编码结构下的帧间参考关系并建立对应的球域失真传播链，将当前编码单元的失真影响因子用于调整编码参数，以达到优化编码的目标。由于不同类型图像的时域相关性不同，根据图像类型来自适应选择球域失真传播链长度。本发明专利技术能够极大提升编码率失真性能，同时显著降低编码时间。时显著降低编码时间。时显著降低编码时间。

【技术实现步骤摘要】
一种自适应球域失真传播链长度的全景视频编码方法


[0001]本专利技术属于全景视频编码
，具体涉及一种自适应球域失真传播链长度的全景视频编码方法。

技术介绍

[0002]全景视频是一种使用相机阵列或3D摄像机进行全方位360度进行拍摄的视频，用户在观看视频的时候，可以随意调节视频上下左右方位进行观看，全景视频具有高帧率、高分辨率(至少4K)、宽视域的特征，存储和传输全景视频非常消耗资源。低延时层次编码结构采用循环GOP(GroupOfPictures)结构，一个GOP分为3层，每一层的编码帧采用相同的量化参数，每一帧有多个参考帧，分别为时域上的前一帧，以及已经编码的邻近3个关键帧。H.266/VVC中GOP大小增大至8,编码帧的播放顺序POC(PictureOrderCount)与编码顺序EOC(EncodingOrderCount)相同。
[0003]全景视频编码中，在帧间预测过程中，当前编码帧的编码质量受到参考帧质量的影响，也就是说参考帧的失真会影响后续编码帧的失真，从而球域失真在时域上进行传播。
[0004]全景视频图像需要投影到二维平面上后，再通过传统编码器进行编码。正六面体投影是当前最常用的投影方式之一，球面图像会投影到包围球体地六个面上。
[0005]H.266/VVC中的编码过程为：
[0006]1)编码单元划分
[0007]2)预测模式选择，假设各编码单元间相互独立
[0008][0009]式中λ
i
为第i个编码单元对应的拉格朗日乘子，P
i
为编码参数(比如量化参数，编码模式等)，J
i
为第i个编码单元的率失真代价，编码器通过最小率失真代价J
i
来进行编码模式选择，这里的编码模式主要指帧内及帧间预测模式。
[0010]3)变换：预测残差进行哈达玛变化
[0011]3)量化：对变换后的残差进行量化，引入量化失真
[0012]Q
STEP
＝2
(QP
‑
4)/6
[0013]Q
STEP
为量化步长，与量化参数的关系式为上式。
[0014]4)熵编码。
[0015]现有的基于360Lib的VTM编码器没有考虑全景视频投影失真带来的过采样问题，全景视频编码的主观质量评价在球面域，而客观质量评价却在平面域，这种主客观质量评价的脱节使得编码性能大打折扣。同时VTM编码器为了简化问题，没有考虑编码单元间的时域相关性，而且球面域的失真影响大小不仅跟编码参考帧结构有关，还与球面投影失真有关，所以率失真性能还有较大的提升空间。另一方面，现有时域依赖率失真优化技术，没有考虑图像类型与失真传播链长度间的关系，编码性能还要极大的提升空间。

技术实现思路

[0016]针对上述问题，本专利技术提供一种自适应球域失真传播链长度的全景视频编码方法。
[0017]本专利技术的技术方案为：
[0018]一种自适应球域失真传播链长度的全景视频编码方法，其特征在于，包括以下步骤：
[0019]S1、向编码器输入待编码序列；
[0020]S2、判断当前是否为第一帧，若是，则执行：
[0021]帧内编码
[0022]编码完当前帧，输入下一张图片重复S2；
[0023]否则，进入步骤S3；
[0024]S3、将当前编码帧划分为6个相同分辨率的区域，计算当前编码帧每个CTU像素均值和方差；
[0025]S4、按顺序编码CTU；
[0026]S5、确定当前CTU所在编码区域，并根据编码区域确定球面失真投影权重，判断当前帧数是否大于等于3，若是，则进入S6，否则进入S7；
[0027]S6、判断当前CTU的像素方差与前一CTU的像素方差差值是否大于10，若是，则进入S8，否则进入S9；
[0028]S7、编码器默认算法编码，并进入S12；
[0029]S8、建立球域失真传播链模型，并令时域失真传播链长度为1，计算拉格朗日乘子，并进入S11；
[0030]S9、判断当前帧数是否大于等于6，若是，则进入S10，否则进入S8；
[0031]S10、建立球域失真传播链模型，并令时域失真传播链长度为4，计算拉格朗日乘子；
[0032]S11、计算当前CTU的量化参数并编码CTU；
[0033]S12、判断是否是最后一个CTU，若是，则编码完当前帧，进入步骤S13，否则，回到步骤S4；
[0034]S13、获取当前帧保存的每个CTU的编码失真和运动补偿预测误差，计算当前帧内各个CTU的时域失真影响因子；
[0035]S14、判断是否是最后一帧，若是，则进入S13，否则输入下一张图片并回到S2；
[0036]S15、当前全景视频序列编码完成。
[0037]进一步的，S8和S10中采用的球域失真传播模型为：
[0038][0039]其中p
i
为第i个编码单元的编码参数，w
i
为该单元对应的球面失真投影权重，ω
m
为第m个编码单元对应的球面失真投影权重。β
t
为该单元的失真对传播链上第t个编码单元失真的影响因子。
[0040]进一步的，S5中，第i个编码区域的球面失真权重计算方式为：
[0041][0042]其中，S
sphere
(i)为当前编码CTU所在的编码区域(图2a)对应的球面区域(图2b)面积，S
CMP
(i)为当前编码CTU所在的编码区域面积，r为CTU的像素宽度。
[0043]所述时域相关性的计算方式为：
[0044][0045]其中，失真传播链上第i个编码块的失真为D
i
，该编码块的运动补偿预测误差N为失真时域传播链的长度。
[0046]进一步的，S8中，时域失真传播链长度为1，计算拉格朗日乘子的方式为：
[0047][0048]其中λ为帧级拉格朗日乘子。
[0049]进一步的，S10中，时域失真传播链长度为4，计算拉格朗日乘子的方式为：
[0050][0051]本专利技术的有益效果为：根据全景视频的球面图像在投影过程中在不同纬度区域发生不同程度的几何变形，通过插值填充导致像素冗余，进而破坏熵分布的问题，根据码率控制模型来调整编码参数，能极大的提升编码性能能够极大提升编码率失真性能，同时显著降低编码时间。
附图说明
[0052]图1是全景视频CMP投影。
[0053]图2是编码区域划分示意图。
[0054]图3是本专利技术的流程示意图。
具体实施方式
[0055]下面结合附图来对本专利技术进行详细描述。
[0056]编码器通过率失真优化(RDO)技术为输入视频选择一组最优的编码参数以及率失真代价最小的编码模式，其目标是在一定码率限制条件下尽可能降低编本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种自适应球域失真传播链长度的全景视频编码方法，其特征在于，包括以下步骤：S1、向编码器输入待编码序列；S2、判断当前是否为第一帧，若是，则执行：帧内编码；编码完当前帧，输入下一张图片重复S2；否则，进入步骤S3；S3、将当前编码帧划分为6个相同分辨率的区域，计算当前编码帧每个CTU像素均值和方差；S4、按顺序编码CTU；S5、确定当前CTU所在编码区域，并根据编码区域确定球面失真投影权重，判断当前帧数是否大于等于3，若是，则进入S6，否则进入S7；S6、判断当前CTU的像素方差与前一CTU的像素方差差值是否大于10，若是，则进入S8，否则进入S9；S7、编码器默认算法编码，并进入S12；S8、建立球域失真传播模型，并令时域失真传播链长度为1，计算拉格朗日乘子，并进入S11；S9、判断当前帧数是否大于等于6，若是，则进入S10，否则进入S8；S10、建立球域失真传播模型，并令时域失真传播链长度为4，计算拉格朗日乘子；S11、计算当前CTU的量化参数并编码CTU；S12、判断是否是最后一个CTU，若是，则编码完当前帧，进入步骤S13，否则，回到步骤S4；S13、获取当前帧保存的每个CTU的编码失真和运动补偿预测误差，计算当前帧内各个CTU的时域失真影响因子；S14、判断是否是最后一帧，若是，则进入S13，否则输入下一张图片并回到S2；S15、当前全景视频序列编码完成。2.根据权利要求1所述的一种自...

【专利技术属性】
技术研发人员：杨栩，杨果仁，周爱华，杨剑，李婉雪，
申请(专利权)人：成都师范学院，
类型：发明
国别省市：