全景视频的码率分配方法、装置、移动终端及存储介质制造方法及图纸

本发明专利技术实施例公开了一种全景视频的码率分配方法、装置、移动终端及存储介质。该方法包括：实时采集历史用户视区预测误差度数；根据历史用户视区预测误差度数确定最佳图块切分方式；根据最佳图块切分方式确定当前预测用户视区内的目标图块以及目标图块的权重；将目标图块的权重代入预设最大化体验质量模型，并根据预设最大化体验质量模型确定需要下载的目标视频片段以及目标视频片段的码率。本发明专利技术实施例所提供的技术方案，实现了对预测误差更好的容忍，降低了视区预测误差的影响，克服了移动终端上难以准确预测用户视区的问题，从而减少了用户观看中的卡顿，提升了用户的体验质量。量。量。

【技术实现步骤摘要】
全景视频的码率分配方法、装置、移动终端及存储介质


[0001]本专利技术实施例涉及视频编码
，尤其涉及一种全景视频的码率分配方法、装置、移动终端及存储介质。

技术介绍

[0002]近年来，全景视频走进千家万户，因其具有全景特性，可以给观看者带来独特的观看体验，使其越来越受用户的喜爱。但是全景特性也使全景视频在相同的感知质量下比传统视频大得多，所以传输全景视频需要消耗更多的带宽，这在无线网络中是非常困难的。其次，与传统视频相比，全景视频给资源有限的移动终端带来了更高的计算、电池等开销，这极大的降低了全景视频在移动终端的体验质量以及普及速度。然而，当用户观看全景视频时，同一时刻只能看到球面图像中的有限部分，这一部分由用户的视区决定。为此，可以将全景视频的每一帧切分为更小的非重叠矩形区域(图块)，由于每个图块都是可独立传输并解码的，所以移动终端只需要下载并解码用户视区内的图块即可保证用户的体验质量，同时也可以大幅的节省带宽并降低移动终端的资源消耗。
[0003]现有的基于图块的全景视频传输方法主要是采用固定的图块切分方式，当图块切分完成后再根据当前的预测视区以及带宽和缓冲区的占用情况调整要下载的图块及其码率。
[0004]但是，这种采用固定的图块切分方式以及依据用户视区调整要下载的图块的全景视频传输方法，其最重要的前提条件是可以准确的预测用户未来的视区，但是这对于移动终端来说是比较困难的，因为在现有的全景视频传输方法中为了保证预测算法在移动终端上运行的足够快，以满足全景视频流的实时性要求，通常在移动终端上部署的都是轻量级的预测算法，从而导致了预测结果准确率低下的问题，也更容易受到视频类型的影响。因此，若用户未来的视区预测错误，则会导致移动终端未能提前下载用户视区内的某些图块，则对于用户的观看会出现卡顿现象，从而严重影响用户的体验质量。

技术实现思路

[0005]本专利技术实施例提供一种全景视频的码率分配方法、装置、移动终端及存储介质，以降低视区预测误差的影响，克服移动终端上难以准确预测用户视区的问题，减少用户观看中的卡顿，提升用户的体验质量。
[0006]第一方面，本专利技术实施例提供了一种全景视频的码率分配方法，该方法包括：
[0007]实时采集历史用户视区预测误差度数；
[0008]根据所述历史用户视区预测误差度数确定最佳图块切分方式；
[0009]根据所述最佳图块切分方式确定当前预测用户视区内的目标图块以及所述目标图块的权重；
[0010]将所述目标图块的权重代入预设最大化体验质量模型，并根据所述预设最大化体验质量模型确定需要下载的目标视频片段以及所述目标视频片段的码率。
[0011]第二方面，本专利技术实施例还提供了一种全景视频的码率分配装置，该装置包括：
[0012]历史误差采集模块，用于实时采集历史用户视区预测误差度数；
[0013]切分方式确定模块，用于根据所述历史用户视区预测误差度数确定最佳图块切分方式；
[0014]图块权重确定模块，用于根据所述最佳图块切分方式确定当前预测用户视区内的目标图块以及所述目标图块的权重；
[0015]码率确定模块，用于将所述目标图块的权重代入预设最大化体验质量模型，并根据所述预设最大化体验质量模型确定需要下载的目标视频片段以及所述目标视频片段的码率。
[0016]第三方面，本专利技术实施例还提供了一种移动终端，该移动终端包括：
[0017]一个或多个处理器；
[0018]存储器，用于存储一个或多个程序；
[0019]当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本专利技术任意实施例所提供的全景视频的码率分配方法。
[0020]第四方面，本专利技术实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本专利技术任意实施例所提供的全景视频的码率分配方法。
[0021]本专利技术实施例提供了一种全景视频的码率分配方法，首先实时的采集历史用户视区预测误差度数，然后根据历史用户视区预测误差度数确定最佳图块切分方式，进而根据最佳图块切分方式确定当前预测用户视区内的目标图块以及各个目标图块的权重，再将各个目标图块的权重代入预设最大化体验质量模型，即可确定需要下载的目标视频片段以及目标视频片段的码率。本专利技术实施例所提供的技术方案，通过根据历史用户视区预测误差来及时的调整图块的切分方式，实现了对预测误差更好的容忍，降低了视区预测误差的影响，克服了移动终端上难以准确预测用户视区的问题，从而减少了用户观看中的卡顿，提升了用户的体验质量。
附图说明
[0022]图1为本专利技术实施例一提供的全景视频的码率分配方法的流程图；
[0023]图2为本专利技术实施例二提供的全景视频的码率分配方法的流程图；
[0024]图3为本专利技术实施例三提供的全景视频的码率分配装置的结构示意图；
[0025]图4为本专利技术实施例四提供的移动终端的结构示意图。
具体实施方式
[0026]下面结合附图和实施例对本专利技术作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本专利技术，而非对本专利技术的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本专利技术相关的部分而非全部结构。
[0027]在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各步骤描述成顺序的处理，但是其中的许多步骤可以被并行地、并发地或者同时实施。此外，各步骤的顺序可以被重新安排。当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。所述处理可以
对应于方法、函数、规程、子例程、子程序等等。
[0028]实施例一
[0029]图1为本专利技术实施例一提供的全景视频的码率分配方法的流程图。本实施例可适用于移动终端在接收全景视频的过程中根据用户视区对视频帧进行切分后为视频片段分配码率的情况，该方法可以由本专利技术实施例提供的全景视频的码率分配装置来执行，该装置可以由硬件和/或软件的方式来实现，一般可集成于移动终端中。如图1所示，具体包括如下步骤：
[0030]S11、实时采集历史用户视区预测误差度数。
[0031]具体的，在全景视频的播放过程中，为了保证用户的体验质量，同时节约带宽并降低资源消耗，通常是先将视频帧进行切分，以获得可独立传输并解码的图块，然后通过对用户视区进行预测并根据预测得到的用户视区确定需要下载的图块。其中用户视区的预测过程可以采用线性回归、岭回归、支持向量回归以及长短期记忆回归等方法实现，对此在本实施例中不作限制。而在用户观看视频时，会产生一个实际的用户视区，移动终端可以在全景视频的播放过程中实时采集历史时刻的预测得到的用户视区与实际的用户视区之间的误差度数，即历史用户视区预测误差度数。
[0032]S12、根据历史用户视区预测误差度数确定最佳图块切分方式。
[0033]具体的，不同的图块切分方式会本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种全景视频的码率分配方法，其特征在于，包括：实时采集历史用户视区预测误差度数；根据所述历史用户视区预测误差度数确定最佳图块切分方式；根据所述最佳图块切分方式确定当前预测用户视区内的目标图块以及所述目标图块的权重；将所述目标图块的权重代入预设最大化体验质量模型，并根据所述预设最大化体验质量模型确定需要下载的目标视频片段以及所述目标视频片段的码率。2.根据权利要求1所述的全景视频的码率分配方法，其特征在于，在所述将所述目标图块的权重代入预设最大化体验质量模型，并根据所述预设最大化体验质量模型确定需要下载的目标视频片段以及所述目标视频片段的码率之前，还包括：根据移动终端的当前可用硬件资源以及所述最佳图块切分方式确定支持实时解码的最大视频码率；根据移动终端的当前带宽以及当前缓冲区占用情况确定可下载的总视频码率；相应的，所述将所述目标图块的权重代入预设最大化体验质量模型，并根据所述预设最大化体验质量模型确定需要下载的目标视频片段以及所述目标视频片段的码率，包括：根据所述预设最大化体验质量模型、所述最大视频码率以及所述总视频码率确定所述目标视频片段以及所述目标视频片段的码率。3.根据权利要求2所述的全景视频的码率分配方法，其特征在于，在所述根据移动终端的当前可用硬件资源以及所述最佳图块切分方式确定支持实时解码的最大视频码率之前，还包括：对于对应多种预设码率以及多种预设图块切分方式的全景视频，采用并行异步解码方式分别确定各个全景视频所需的解码时间；确定所述解码时间与图块数量、视频码率以及解码线程数之间的影响关系；相应的，所述根据移动终端的当前可用硬件资源以及所述最佳图块切分方式确定支持实时解码的最大视频码率，包括：根据所述当前可用硬件资源确定移动终端当前支持的最大解码线程数；根据所述最大解码线程数、所述最佳图块切分方式以及所述影响关系确定所述最大视频码率。4.根据权利要求1所述的全景视频的码率分配方法，其特征在于，在所述根据所述历史用户视区预测误差度数确定最佳图块切分方式之前，还包括：分别确定多个预设预测误差度数在多种预设图块切分方式下的平均评判指标，所述平均评判指标用于协调基于对应的所述预设图块切分方式选取图块的精确率和召回率之间的关系；根据所述平均评判指标与所述预设图块切分方式以及可容忍的最大所述预设预测误差度数之间的关系建立查找表；相应的，所述根据所述历史用户视区预测误差度数确定最佳图块切分方式，包括：根据所述历史用户视区预测误差度数在所述查找表中确定与预设评判指标对应的所述最佳图块切分方式。5.根据权利要求1所述的全景视频的码率分配方法，其特征在于，在所述根据所述最佳
图块切分方式确定当前预测用户视区内的目标图块以及所述目标图块的权重之后，还包括：根据预设步长对所述当前预测用户视区进行扩展，并确定扩展后增加的新目标图块的权重，所述新目标图块的权重低于所述目标图块的权重；相应的，所述将所述目标图块的权重代入预设...

【专利技术属性】
技术研发人员：张磊，索琰琰，伍曦明，崔来中，
申请(专利权)人：深圳大学，
类型：发明
国别省市：