【技术实现步骤摘要】
本专利技术涉及全景视频，尤其是一种全景视频jnd建模与编码应用方法及系统。
技术介绍
1、全景视频因其具有沉浸式感受，互动性体验受到了广泛关注。然而其远超于传统平面视频的分辨率，对数据的传输和存储带来了更大挑战。现有全景视频压缩方案主要集中在消除视频中的空域冗余和时域冗余，未充分考虑人眼视觉感知冗余的消除。恰可察觉失真模型(justnoticeable distortion,jnd)通过模拟人类视觉系统特性，在人眼可察觉的最小视觉阈值内消除视频中的感知冗余提高视频压缩率，已成为近年的研究热点。此外，目前基于jnd的全景视频编码优化研究较少，其性能仍有较大提升空间。
技术实现思路
1、本专利技术提出一种全景视频jnd建模与编码应用方法及系统，能有效估计全景视频场景中的视觉冗余，提高视频编码效率。
2、本专利技术采用以下技术方案。
3、一种全景视频jnd建模与编码应用方法，用于针对全景视频存储需求、纬度特性及视场范围特性建立球面全景视频jnd模型，同时将sjnd模型应用到全景视频感知编码方案中，包括以下步骤；
4、步骤s1、针对全景视频在编码之前映射到2d平面的映射特征，采用信息熵来区分不同纹理复杂的图像块，将图像分为不同的类型，并使用不同的权重，构建基于信息熵的2d-jnd模型；
5、步骤s2、针对全景视频的几何映射失真和视场范围特点，将2d-jnd模型扩展到球形全景视频sjnd中；
6、步骤s3、将所提sjnd模型应用于通
7、所述基于信息熵的2d-jnd模型，其构建过程包括以下步骤；
8、步骤s11：计算测试序列的信息熵值，计算公式如下述公式一所示：
9、
10、其中，ei，j为dct块的信息熵，p(i，j)为像素点(i，j)出现的概率，n为dct变换维数；
11、步骤s12：利用信息熵区分全景视频内不同纹理复杂的图像块，将图像块分为不同类型，如下述公式二所示：
12、
13、步骤s13：结合人类视觉对空间频率的敏感性和dct域的对比掩蔽效应，得到每个分类块的调节因子以及最终的对比掩蔽因子，公式如下述公式三、公式四所示：
14、
15、
16、其中，c(k,n,i,j)是第k帧中第n个块(i，j)处的dct系数，tbase是基于空间对比敏感度函数的阈值，αla为亮度自适应因子。
17、步骤s14：结合基于信息熵的分类区域掩蔽因子、对比敏感度函数、亮度自适应效应，构建出2d-jnd模型。
18、步骤s2中，将2d-jnd模型扩展到球形全景视频jnd中的方法，具体包括以下步骤：
19、步骤s21：将测试序列的原始图像分别进行1/2、1/4、1/8、1/16的下采样，并利用2d-jnd模型计算其jnd阈值；
20、步骤s22：利用曲线拟合，模型化表述采样密度和jnd阈值的关系，进一步得到全景视频纬度投影特性调节因子，即由于映射关系导致的jnd阈值的变化，公式如下述公式五所示：
21、β＝axb+c 公式五；
22、其中，β表示纬度投影特性调节因子，x表示抽样比，a，b，x取值与2d-jnd有关，计算公式如下述公式六所示：
23、
24、步骤s23：通过视觉注意力模型预测全景视频中人眼感兴趣的区域；
25、步骤s24：利用视觉中心凹效应探究注视区域和非注视区域对jnd阈值分布的影响，计算公式如下述公式七、公式八所示：
26、
27、
28、其中，(xf，yf)为注视点的位置，v为观看距离，τ为图像上任意点(x，y)的视网膜偏心率。为了保证整体的主观感知质量，应降低视觉调制因子的加速度，γ为基于视觉中心凹效应的加权因子；
29、步骤s24：以所提2d-jnd模型为基础，融合这两种特征构建最终的全景视频sjnd模型。
30、步骤s3具体包括以下步骤；
31、步骤s31：将输入的全景视频信号通过sjnd模型得到sjnd阈值；
32、步骤s32：将sjnd模型嵌入vvc编码框架，视频帧经过运动估计和运动补偿得到残差信号，残差经过dct变换得到较大动态范围的变换系数，再经过嵌入sjnd模型的自适应量化器，对视频中人眼敏感度不同的区域使用不同的量化步长，合理分配比特资源。基于sjnd模型的人眼视觉感知量化参数计算公式如下述公式九所示：
33、
34、其中，qpcu为cu块的感知量化参数，为每个编码块cu的平均sjnd值，为每一视频帧的平均sjnd值。
35、一种全景视频jnd建模与编码应用系统，基于全景视频jnd建模与编码应用方法运行，所述系统基于计算机系统，包括基于信息熵的2d-jnd模块、2d-jnd映射到球形全景视频sjnd模块、sjnd模型应用于通用视频编码标准vvc/h.266全景视频编码系统的模块；
36、所述基于信息熵的2d-jnd模块，用于引入信息熵区分不同纹理复杂的图像块，进行块区域分类得到纹理掩蔽因子；
37、所述2d-jnd映射到球形全景视频sjnd模块，其通过考虑全景视频的几何映射失真和视场范围问题，将2d-jnd扩展到球形全景视频sjnd；
38、所述sjnd模型应用于通用视频编码标准vvc/h.266全景视频编码系统的模块，其通过自适应调整量化参数，实现编码资源合理分配。
39、所述基于信息熵的2d-jnd模块的运行过程为：先计算测试序列的信息熵值；再利用信息熵区分不同纹理复杂的图像块，然后将图像块分为不同类型；结合人类视觉对空间频率的敏感性和dct域的对比掩蔽效应，得到每个分类块的调节因子以及最终的对比掩蔽因子。
40、所述2d-jnd映射到球形全景视频sjnd模块的运行过程为：
41、首先，针对全景视频的几何映射失真，利用曲线拟合采样密度和jnd阈值的关系，得到全景视频纬度投影特性调节因子；
42、再针对全景视频的视场范围问题，通过视觉注意力模型预测全景视频中人眼感兴趣的区域，利用视觉中心凹效应探究注视区域和非注视区域对jnd阈值分布的影响，得到基于视觉中心凹效应的加权因子；
43、最后，以所提2d-jnd模型为基础，融合这两种特征构建最终的全景视频sjnd模型。
44、所述sjnd模型应用于通用视频编码标准vvc/h.266全景视频编码系统的模块，其运行过程为：将输入的全景视频信号通过sjnd模型得到sjnd阈值；全景视频的视频帧经过运动估计和运动补偿得到残差信号，残差经过dct变换得到较大动态范围的变换系数，再经过嵌入sjnd模型的自适应量化器，对视频中人眼敏感度不同的区域使用不同的量化步长。
45、本专利技术能有效估本文档来自技高网...
【技术保护点】
1.一种全景视频JND建模与编码应用方法，用于针对全景视频存储需求、纬度特性及视场范围特性建立球面全景视频JND模型，同时将SJND模型应用到全景视频感知编码方案中，其特征在于：包括以下步骤；
2.根据权利要求1所述的一种全景视频JND建模与编码应用方法，其特征在于：所述基于信息熵的2D-JND模型，其构建过程包括以下步骤；
3.根据权利要求1所述的一种全景视频JND建模与编码应用方法，其特征在于：步骤S2中，将2D-JND模型扩展到球形全景视频JND中的方法，具体包括以下步骤：
4.根据权利要求1所述的一种全景视频JND建模与编码应用方法，其特征在于：步骤S3具体包括以下步骤；
5.一种全景视频JND建模与编码应用系统，基于全景视频JND建模与编码应用方法运行，其特征在于：所述系统基于计算机系统，包括基于信息熵的2D-JND模块、2D-JND映射到球形全景视频SJND模块、SJND模型应用于通用视频编码标准VVC/H.266全景视频编码系统的模块；
6.根据权利要求5所述的一种全景视频JND建模与编码应用系统，其特征在
7.根据权利要求5所述的一种全景视频JND建模与编码应用系统，其特征在于：所述2D-JND映射到球形全景视频SJND模块的运行过程为：
8.根据权利要求5所述的一种全景视频JND建模与编码应用系统，其特征在于：所述SJND模型应用于通用视频编码标准VVC/H.266全景视频编码系统的模块，其运行过程为：将输入的全景视频信号通过SJND模型得到SJND阈值；全景视频的视频帧经过运动估计和运动补偿得到残差信号，残差经过DCT变换得到较大动态范围的变换系数，再经过嵌入SJND模型的自适应量化器，对视频中人眼敏感度不同的区域使用不同的量化步长。
...【技术特征摘要】
1.一种全景视频jnd建模与编码应用方法，用于针对全景视频存储需求、纬度特性及视场范围特性建立球面全景视频jnd模型，同时将sjnd模型应用到全景视频感知编码方案中，其特征在于：包括以下步骤；
2.根据权利要求1所述的一种全景视频jnd建模与编码应用方法，其特征在于：所述基于信息熵的2d-jnd模型，其构建过程包括以下步骤；
3.根据权利要求1所述的一种全景视频jnd建模与编码应用方法，其特征在于：步骤s2中，将2d-jnd模型扩展到球形全景视频jnd中的方法，具体包括以下步骤：
4.根据权利要求1所述的一种全景视频jnd建模与编码应用方法，其特征在于：步骤s3具体包括以下步骤；
5.一种全景视频jnd建模与编码应用系统，基于全景视频jnd建模与编码应用方法运行，其特征在于：所述系统基于计算机系统，包括基于信息熵的2d-jnd模块、2d-jnd映射到球形全景视频sjnd模块、sjnd模型应用于通用视频编码标准vvc/h.266全景视频编码系统的...
【专利技术属性】
技术研发人员：林丽群，王艳婷，魏宏安，胡锦松，赵铁松，
申请(专利权)人：福州大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。