用于经纬图的编码块级拉格朗日乘子的优化方法技术

本发明专利技术涉及视频编码的方法，特别是针对VR360视频经纬图格式下的编码技术领域，提供了一种用于经纬图的编码块级拉格朗日乘子的优化方法，其根据编码块在经纬图中的位置信息，计算该编码块所在球面环带的面积与其所在经纬图像素环带的面积之比ρ(θ)，根据ρ(θ)对λsys进行优化计算得到优化后的拉格朗日乘子λ(ρ(θ))，并根据λ(ρ(θ))编码该编码块，通过面积比的形式将编码块的位置信息引入块级拉格朗日乘子的修正及优化，使得经纬图编码的整体性能得到了显著的提升，适用于VR360视频经纬图格式下的视频编码。

Optimization method of coding block level Lagrange multiplier for latitude and longitude map

The invention relates to the method of video coding, especially in the field of encoding technology in the VR360 video and theodolite format, and provides an optimization method for the coded block level Lagrange multiplier used in the longitude and latitude map, which calculates the area of the spherical ring of the coded block and its location according to the position information of the coded block in the longitude and latitude map. The ratio of the area of the zonal pixel ring is rho ([theta]). The optimized Lagrange multiplier (P (theta)) is obtained based on the optimal calculation of the Lagrange multiplier (P (theta)) based on P (theta), and the coding block is coded according to lambda (P (theta)). The position information of the block is introduced to the correction and optimization of the block level Lagrange multiplier by the form of the area ratio, so that the warp and theodolite is encoded. The physical performance has been significantly improved, which is suitable for video coding under the VR360 video longitude and latitude map format.

【技术实现步骤摘要】
用于经纬图的编码块级拉格朗日乘子的优化方法
本专利技术涉及视频编码的方法，特别是针对VR360视频经纬图格式下的编码
，尤其一种用于经纬图的编码块级拉格朗日乘子的优化方法，经纬图也即柱面投影(EquiRectangularProjection)图，简称ERP图。
技术介绍
虚拟现实(VirtualReality,VR)技术是一种创建和体验沉浸式的虚拟世界的计算机仿真系统。它集成了电脑图形、电脑仿真、人工智能、感应、显示及网络并行处理等技术的最新发展成果。VR技术通常由计算机技术辅助生成，常见的形式是模拟的虚拟显示系统。随着VR技术的快速发展，与VR相关的消费类电子产品逐步走进人们的生活。目前，大部分VR的内容都面向视觉体验。一般通过电脑屏幕、特殊显示设备或立体显示设备呈现。VR技术应用场景已经体现在游戏业和影视业，近几年大量的VR游戏产品和VR视频内容不断投入市场。更为广泛地，VR在医学、教育、航空航天、轨道交通等领域也有大量的应用。VR技术已然成为当下热门的研究领域。为了增强用户体验的感受，VR视频图像的分辨率、像素表示范围、帧率等信源参数一般都显著高于普通视频，以8K和4K为主。与高清1080P视频相比，数据量有几十倍的提高。因此，如何通过技术手段不断提高VR视频的压缩效率逐渐成为新的技术挑战。率失真优化(RateDistortionOptimation，RDO)是视频编码中的最关键的核心优化技术，它由率失真理论所支撑。率失真优化技术可以解决编码器最优化码流的生成问题，它由率失真优化理论来保障。率失真理论的基本问题是：视频编码的率失真优化技术对于一个给定的信源分布与失真度量，在特定的码率下能达到的最小期望失真。在具体应用中，率失真优化将问题转化为在给定的编码参数集中选取一组参数，使得在限定失真条件下，能够以最少的比特率对视频进行编码。采用穷举法遍历所有可选的编码参数集可以获得理论最优编码参数，但是穷举法运算的时间复杂度极高，编码所需时间极长，往往不能应用于实际编码中。同时，由于视频编码是以编码单元为单位进行，每个编码单元的参数相互独立，故可以认为每个编码单元的最优编码参数属于整个编码过程的最优编码参数集，即将全局最优问题分解为若干局部最优问题的集合。率失真优化过程引入拉格朗日乘子λ(lambda)，将无约束优化问题改造成为了有约束的优化问题。自拉格朗日优化方法被引入到求解率失真优化问题以来，视频编码率失真优化在技术上具备了实际应用价值。因其较低的复杂度和较高的性能表现，随即广泛普及开来。目前，基于拉格朗日乘子的率失真优化技术现已被应用于主流的H.264/AVC和HEVC/H.265编码器。通常，λ的值依靠高比特假设推导公式确定，在实际使用中，根据不同的编码器特性，增加经验值做修正。而λ的值选取的好坏直接关系到编码性能的优劣。评价视频编码的质量优劣，通常采用BD-RATE和BD-PSNR进行描述，其描述方法可详见文献：[GisleBjontegaard,CalculationofAveragePSNRDifferencesbetweenRDcurves,ITU-TSC16/Q6,13thVCEGMeeting,Austin,Texas,USA,April2001,Doc.VCEG-M33]。两者的计算过程类似，通过采集测试点的客观质量PSNR和编码比特率(Bit-Rate)在进行高阶插值连线的基础上进行积分差运算。一般而言，比特率的统计规范且没有歧义，但是在客观质量PSNR方面，普通的二维视频和VR360经纬图视频就不大相同了。普通的二维视频编码通常使用峰值信噪比(PeakSignaltoNoiseRatio,PSNR)作为客观质量评价指标。而VR360视频序列，由于其常以经纬图的形式存放在存储介质中，播放时将其投影映射成球面，从而呈现出360°立体环绕的效果。从经纬图映射至球面的过程中不可避免地会产生像素压缩效应。即除赤道外同纬度的像素映射至球面时会产生像素压缩现象，且纬度越高，压缩越剧烈。极端情况下，经纬图中南北极的一行像素点，将被压缩为球体两极的一个像素点。因此，鉴于360VR视频经纬图表示格式本身的特殊性，它在播放过程中并非直接被显示，而是在球面上进行合成后再输出显示，这就使得用二维的PSNR不能够准确描述三维球面的客观质量。为此，业内专家提出了球面峰值信噪比(SphericallyuniformPeakSignaltoNoiseRatio,SPSNR)、带权重球面峰值信噪比(WeightedSphericallyPeakSignaltoNoiseRatio,WSPSNR)、克拉斯特抛物线投影峰值信噪比(CrastersParabolicProjectionPeakSignaltoNoiseRatio,CPP-PSNR)等改进型客观评价模型，作为目前较为通用的360VR视频客观评价指标，其中，SPSNR又细分为带插值球面峰值信噪比(SphericallyPeakSignaltoNoiseRatiowithInterpolation,SPSNR-I)、最临近球面峰值信噪比(NearestNeighborSphericallyPeakSignaltoNoiseRatio,SPSNR-NN)。因此，值得注意的是，现有的视频编码器都是针对一般的二维图像所设计，没有专门考虑VR360经纬图格式的信源属性，即使PSNR性能保持很好也可能导致SPSNR或WSPSNR的性能损失严重。
技术实现思路
本专利技术提供了一种用于经纬图的编码块级拉格朗日乘子的优化方法，可对拉格朗日乘子进行优化，以有利于经纬图编码的整体性能提升。本专利技术的用于经纬图的编码块级拉格朗日乘子的优化方法，包括如下步骤：A.获取视频序列的1帧图像；B.在当前帧中顺序地获得1个编码块；C.根据步骤B所得到的编码块在经纬图中的位置信息，计算该编码块所在球面环带的面积与其所在经纬图像素环带的面积之比ρ(θ)，上述θ为该编码块在球面中的天顶角计算值；D.根据ρ(θ)对λsys进行优化计算得到优化后的拉格朗日乘子λ(ρ(θ))，上述λsys是步骤A所获取当前帧的拉格朗日乘子系统值；E.根据步骤D得到的λ(ρ(θ))编码该编码块；F.判断当前帧中是否所有编码块都已经编码完毕，是则进入步骤G，否则转入步骤B；G.判断当前帧编码完毕后是否全序列编码完毕，是则结束，否则转入步骤A继续编码。进一步的，步骤D中的λ(ρ(θ))＝λsys·(ξ+ρ(θ))γ，其中，λsys为格朗日乘子系统值，θ为当前编码块在球面中的天顶角计算值，ξ为防止除零操作的极小值，是与图像内容相关的模型参数，β是与信源特性相关的模型参数。具体的，步骤C中，该编码块在球面中的天顶角计算值为θ，其中，球面环带的面积Sspher(θ)由公式：Sspher(θ)＝2π·r·sinθ·hring计算获得，其中hring为所述球面环带的高度，其中r为球面的半径；经纬图像素环带的面积Serp(θ)由公式：计算获得。进一步的，所述环带的高度hring＝r·sindθ，则该编码块，球面环带的面积Sspher(θ)由公式：Sspher(θ)＝2π·r2·sinθ·sindθ计算获得，经纬图像素环带的面积本文档来自技高网...

【技术保护点】
1.用于经纬图的编码块级拉格朗日乘子的优化方法，包括如下步骤：A.获取视频序列的1帧图像；B.在当前帧中顺序地获得1个编码块；C.根据步骤B所得到的编码块在经纬图中的位置信息，计算该编码块所在球面环带的面积与其所在经纬图像素环带的面积之比ρ(θ)，上述θ为该编码块在球面中的天顶角计算值；D.根据ρ(θ)对λsys进行优化计算得到优化后的拉格朗日乘子λ(ρ(θ))，上述λsys是步骤A所获取当前帧的拉格朗日乘子系统值；E.根据步骤D得到的λ(ρ(θ))编码该编码块；F.判断当前帧中是否所有编码块都已经编码完毕，是则进入步骤G，否则转入步骤B；G.判断当前帧编码完毕后是否全序列编码完毕，是则结束，否则转入步骤A继续编码。

【技术特征摘要】
1.用于经纬图的编码块级拉格朗日乘子的优化方法，包括如下步骤：A.获取视频序列的1帧图像；B.在当前帧中顺序地获得1个编码块；C.根据步骤B所得到的编码块在经纬图中的位置信息，计算该编码块所在球面环带的面积与其所在经纬图像素环带的面积之比ρ(θ)，上述θ为该编码块在球面中的天顶角计算值；D.根据ρ(θ)对λsys进行优化计算得到优化后的拉格朗日乘子λ(ρ(θ))，上述λsys是步骤A所获取当前帧的拉格朗日乘子系统值；E.根据步骤D得到的λ(ρ(θ))编码该编码块；F.判断当前帧中是否所有编码块都已经编码完毕，是则进入步骤G，否则转入步骤B；G.判断当前帧编码完毕后是否全序列编码完毕，是则结束，否则转入步骤A继续编码。2.如权利要求1所述的用于经纬图的编码块级拉格朗日乘子的优化方法，其特征为：步骤D中的λ(ρ(θ))＝λsys·(ξ+ρ(θ))γ，其中，λsys为格朗日乘子系统值，θ为当前编码块在球面中的天顶角计算值，ξ为防止除零操作的极小值，是与图像内容相关的模型参数，β是与信源特性相关的模型参数。3.如权利要求2所述的用于经纬图的编码块级拉格朗日乘子的优化方法，其特征为：步骤C中，该编码块在球面中的天顶角计算值为θ，其中，球面环带的面积Sspher(θ)由公式：Sspher(θ)＝2π·r·sinθ·hring计算获得，其中hrin...

【专利技术属性】
技术研发人员：周益民，程学理，黄航，冷龙韬，王宏宇，
申请(专利权)人：电子科技大学，
类型：发明
国别省市：四川,51