【技术实现步骤摘要】
本专利技术涉及视频编码，具体的，涉及一种基于分片的360度视频流编码方法及其优化方法和系统。
技术介绍
1、360度视频是目前多媒体领域的一个研究热点，在远程呈现和虚拟现实(vr)中应用广泛。观众可以自由转动头戴式显示器来感受身临其境的体验。由于360度视频的超高分辨率，360度视频通常利用基于分片的编码和流媒体传输来呈现给用户。具体来说，即将球形视频帧首先投影到平面上，其中最常用的投影方式为等距矩形投影(erp)。通过分片编码，球形视频帧的2d投影进一步分为多个矩形，每个矩形分片都独立编码和传输。然后，根据请求，覆盖用户视窗的分片以高质量传输，而其余分片要么不传输，要么以低质量传输。
2、较小的分片大小可以缩小用户视口和传输分片之间的非重叠(冗余)区域，从而减少传输所需的像素数，进而提高传输效率。然而，减少分片大小不可避免地会导致每帧分片的数量增加，因为这些分片的标题增加，空间和时间预测的效率降低，这反过来又增加了编码像素所需的比特数。另一方面，量化步长会直接影响编码的率失真行为。较小的量化步长可以减少视觉失真，同时提高编码速率以消耗更高的传输带宽。
3、经过对现有技术的检索发现，目前360度视频分片编码方案主要可以分为两种：均匀分片方案和不均匀分片方案。
4、对于均匀分片的方案，concolato等人在2017年的《ieee transactions oncircuits and systems for video technology》上发表了题为：“adaptive streaming
5、对于不均匀分片的方案，ozcinar等人于2019年在《ieee journal on emergingand selected topics in circuits and systems》上发表名为”visual attention-awareomnidirectional video streaming using optimal tiles for virtual reality”的文章，提出了一种基于360度视频视觉注意力的非均匀分片方案，对360度视频的高维区域使用一整个tile进行编码，对赤道附近的区域使用非均匀的分片，从而获得相较于将视频整体进行传输更好的率失真性能。carreira等人在2021年于会议《ieee internationalconference on image processing》上发表了”attention-driven tile splittingmethod for improved efficiency of omnidirectional versatile video coding”，该文章通过为基于vvc的编码设置垂直和水平ctu对齐的分片边界，一种基于用户注意的分片方法。
6、均匀分片方案中没有深入探究分片大小对用户体验的影响，非均匀分片方案均未明确揭示编码传输效率与编码参数(分片大小和量化步长)之间的关系。因此，现有的360度视频分片方案仍然存在上述问题，目前没有发现同本专利技术类似技术的说明或报道，也尚未收集到国内外类似的资料。
技术实现思路
1、本专利技术针对现有技术中存在的上述不足，提供了一种基于分片的360度视频流编码方法及其优化方法和系统，同时提供了一种相应的终端及介质。
2、根据本专利技术的一个方面，提供了一种基于分片的360度视频流编码优化方法，包括：
3、提取用户的视点区域，估计不同编码参数下的平均传输像素数；
4、对视频帧的帧内编码帧和帧间编码帧进行处理，并对处理结果的平均值、中位数和标准差并进行统计，作为表示视频内容的特征，并将所述视频内容的特征分别与不同编码参数进行拼接，用于预测比特数每像素；
5、根据得到的不同编码参数下的平均传输像素数和比特数每像素，得到带宽估计值，并根据所述带宽估计值和带宽限制(根据用户实际网络情况确定)进行优化问题求解，输出限制带宽下的最优编码参数；
6、其中，所述编码参数，包括：分片高度、分片宽度和/或量化步长。
7、可选地，所述提取用户的视点区域，估计不同编码参数下的平均传输像素数，包括：
8、以用户视点的先验信息提取用户的视点区域；
9、基于得到的所述用户的视点区域，采用几何映射和erp投影方法计算用户的具体视口；
10、根据不同的分片高度和分片宽度，判断所述用户的具体视口是否与分片重合，进而计算用户的实际传输像素；
11、将所有用户的实际传输像素进行平均，即得到不同的分片高度和分片宽度下的平均传输像素数。
12、可选地，所述对视频帧的帧内编码帧和帧间编码帧进行处理，并对处理结果的平均值、中位数和标准差并进行统计，包括：
13、将360度视频流的视频帧分为帧内编码和帧间编码两组；
14、采用拉普拉斯算子对帧内编码帧和帧间编码帧进行计算，得到帧内编码帧和帧间编码帧的二阶微分值之和；
15、计算所有二阶微分值之和的平均值、中位数和标准差，并进行统计；
16、其中，所述帧内编码像素值为采用帧内编码方式的帧的实际像素值，所述帧间编码像素值为当前帧与前一帧的像素值差值；
17、所述将所述视频内容的特征分别与不同编码参数进行拼接，用于预测比特数每像素，包括：
18、构建预训练的基于卷积神经网络的预测器；
19、将所述视频内容的特征分别与不同的分片高度、分片宽度和量化步长在同一维度上进行拼接，得到所述预测器的输入特征向量；
20、通过所述预测器，预测得到编码效率，所述编码效率表示编码一个像素所需的比特数，即比特数每像素；
21、其中：
22、所述预测器的输入特征向量的大小为：b×n×6，其中，b为训练的实际批次大小，n为一个图像组包含的帧数，6代表视频内容特征与不同编码参数的拼接。
23、可选地，所述采用拉普拉斯算子对帧内编码帧和帧间编码帧进行计算，得到帧内编码帧和帧间编码帧像素值的二阶微分值之和，包括：
24、采用拉普拉斯算子卷积核对所述帧内编码帧与所述帧间编码帧进行卷积处理；其中，所述拉普拉斯算子卷积核为：
25、
26、采用二维空间上的拉普拉斯算子计算所述帧内编码帧和所述帧间编码帧像素值的二阶微分值之和；其中，所述二维空间上的拉普拉斯算子为：
27、
28、式中，δf为对f进行拉普拉斯算子操作，f为对应的帧的像素值，x为图像横向坐标，y为图像纵向坐标。
29、可选地，所述根据得到的不同编码参数下的平均传输像素数和比特数每像素，本文档来自技高网...
【技术保护点】
1.一种基于分片的360度视频流编码优化方法，其特征在于，包括：
2.根据权利要求1所述的基于分片的360度视频流编码优化方法，其特征在于，所述提取用户的视点区域，估计不同编码参数下的平均传输像素数，包括：
3.根据权利要求1所述的基于分片的360度视频流编码优化方法，其特征在于，所述对视频帧的帧内编码帧和帧间编码帧进行处理，并对处理结果的平均值、中位数和标准差并进行统计，包括：
4.根据权利要求3所述的基于分片的360度视频流编码优化方法，其特征在于，所述采用拉普拉斯算子对帧内编码帧和帧间编码帧进行计算，得到帧内编码帧和帧间编码帧像素值的二阶微分值之和，包括：
5.根据权利要求1所述的基于分片的360度视频流编码优化方法，其特征在于，所述根据得到的不同编码参数下的平均传输像素数和比特数每像素，得到带宽估计值，并根据所述带宽估计值和带宽限制进行优化问题求解，输出限制带宽下的最优编码参数，包括：
6.根据权利要求5所述的基于分片的360度视频流编码优化方法，其特征在于，还包括如下任意一项或任意多项：
7.一种基
8.一种基于分片的360度视频流编码方法，其特征在于，采用权利要求1-6中任一项所述的优化方法，在360度视频流编码过程，通过提取用户视点区域中不同编码参数下的平均传输像素数获得传输效率，通过预测比特数每像素获得编码效率，通过求解带宽估计值和带宽限制的优化问题，得到限制带宽下的最优编码参数，最终通过得到的所述最优编码参数，实现对360度视频流的编码。
9.一种终端，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时可用于执行权利要求1-6中任一项所述的优化方法，或，执行权利要求8中所述的编码方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时可用于执行权利要求1-6中任一项所述的优化方法，或，执行权利要求8中所述的编码方法。
...【技术特征摘要】
1.一种基于分片的360度视频流编码优化方法，其特征在于，包括：
2.根据权利要求1所述的基于分片的360度视频流编码优化方法，其特征在于，所述提取用户的视点区域，估计不同编码参数下的平均传输像素数，包括：
3.根据权利要求1所述的基于分片的360度视频流编码优化方法，其特征在于，所述对视频帧的帧内编码帧和帧间编码帧进行处理，并对处理结果的平均值、中位数和标准差并进行统计，包括：
4.根据权利要求3所述的基于分片的360度视频流编码优化方法，其特征在于，所述采用拉普拉斯算子对帧内编码帧和帧间编码帧进行计算，得到帧内编码帧和帧间编码帧像素值的二阶微分值之和，包括：
5.根据权利要求1所述的基于分片的360度视频流编码优化方法，其特征在于，所述根据得到的不同编码参数下的平均传输像素数和比特数每像素，得到带宽估计值，并根据所述带宽估计值和带宽限制进行优化问题求解，输出限制带宽下的最优编码参数，包括：
6.根据权利要求5所述的基于分片的360...
【专利技术属性】
技术研发人员：李成林，高文轩，潘新龙，吕浩然，戴文睿，邹君妮，熊红凯，王海鹏，刘瑜，
申请(专利权)人：上海交通大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。