一种全景视频图像处理、显示方法及设备技术

本申请实施例提供一种全景视频图像处理、显示方法及设备。全景视频图像处理方法包括：分别根据各用户视点朝向在创建的三维全景视频球面网格上的视点投影位置，得到各用户视点朝向的可视区域；根据网格与全景视频图像分块间的对应关系，确定各用户视点朝向的可视区域内的网格；分别确定各用户视点朝向的可视区域内的网格对应的全景视频图像分块，得到各用户视点朝向对应的全景视频图像分块列表；分别根据各视点区域内的至少一个视点投影位置对应的用户视点朝向获取对应的全景视频图像分块列表，确定相应视点区域对应的全景视频图像分块列表，从而在全景视频显示时，提高全景视频的显示速度。的显示速度。的显示速度。

【技术实现步骤摘要】
一种全景视频图像处理、显示方法及设备


[0001]本申请涉及全景视频
，尤其涉及一种全景视频图像处理、显示方法及设备。

技术介绍

[0002]全景视频是基于360度全景图像而发展的一种新型的多媒体形式，通过将一系列静态的全景图像连续播放而转化成动态的全景视频。全景视频一般由软件将全景摄像机采集的各个方位的视频图像拼合而成的，并使用专门的播放器进行播放，将平面视频投影为360度全景模式，呈现给观赏者水平方向360度、垂直方向180度的全包围空间视域。观赏者可以通过头部动作、眼球运动、遥控器控制等方式控制全景视频的播放，从而体会身临其境的感受。作为一种新型异构多媒体业务，全景视频业务流含有音频、视频、文本、交互、控制指令等多种数据类型，具有多样化的服务质量(Quality of Service，QoS)需求。
[0003]全景视频的显示可采用视场角(Field Angle of View，FOV)传输方案，FOV传输方案主要关注当前用户视点朝向的可视区域画面的质量，一般对全景图像在空间上进行分块，再执行多码率编码生成若干视频流，显示设备根据用户视点传输相应分块的视频流，解码后显示。由于FOV传输方案将全进视频切割为若干分块，当显示设备进行全景视频播放时，加载位于当前帧对应的用户视点朝向的可视区域内的视频分块并播放，需要在每一帧实时计算可视区域内所覆盖的视频分块，计算量较大，导致实时计算影响系统性能，从而进一步影响全景视频的播放效果，用户体验较差。

技术实现思路

[0004]本申请提供了一种全景视频图像处理、显示方法及设备，用以便捷、快速的获取视点区域内的全景视频图像分块，从而提高全景视频的显示速度，进而提升用户感受。
[0005]本申请的一些实施例提供一种服务器，包括：
[0006]显示器，与处理器连接，被配置为显示全景视频图像；
[0007]存储器，与处理器连接，被配置为存储计算机指令；
[0008]处理器，被配置为根据计算机指令执行以下操作：
[0009]创建三维全景视频球面网格，所述三维全景视频球面网格内的网格与二维全景视频图像中全景视频图像分块相对应；
[0010]分别根据各用户视点朝向，获取各用户视点朝向在所述三维全景视频球面网格上的视点投影位置，得到各用户视点朝向的可视区域；
[0011]确定各用户视点朝向的可视区域内的网格；
[0012]根据所述三维全景视频球面网格内的网格与所述二维全景视频图像中全景视频图像分块间的对应关系，分别确定各用户视点朝向的可视区域内的网格对应的全景视频图像分块，得到各用户视点朝向对应的全景视频图像分块列表；
[0013]分别根据各视点区域内的至少一个视点投影位置对应的用户视点朝向获取对应
的全景视频图像分块列表，根据获取到的全景视频图像分块列表确定相应视点区域对应的全景视频图像分块列表；其中，所述视点区域是通过对全景视频区域划分得到的。
[0014]第二方面，本申请实施例提供一种显示设备，包括：
[0015]显示器，与图形处理器连接，被配置为显示全景视频图像；
[0016]存储器，与所述图形处理器连接，被配置为存储计算机指令；
[0017]所述图形处理器，被配置为根据所述计算机指令执行以下操作：
[0018]获取用户视点朝向在三维全景视频球面网格上的视点投影位置；
[0019]根据所述视点投影位置的经纬度坐标，确定所述视点投影位置所属的视点区域，所述视点区域是通过对全景视频区域划分得到的；
[0020]根据所述视点区域对应全景视频图像分块列表，获取相应的全景视频图像分块；
[0021]根据获取的全景视频图像分块，渲染并显示三维全景视频图像。
[0022]第三方面，本申请实施例提供一种全景视频图像处理方法，包括：
[0023]创建三维全景视频球面网格，所述三维全景视频球面网格内的网格与二维全景视频图像中全景视频图像分块相对应；
[0024]分别根据各用户视点朝向，获取各用户视点朝向在所述三维全景视频球面网格上的视点投影位置，得到各用户视点朝向的可视区域；
[0025]确定各用户视点朝向的可视区域内的网格；
[0026]根据所述三维全景视频球面网格内的网格与所述二维全景视频图像中全景视频图像分块间的对应关系，分别确定各用户视点朝向的可视区域内的网格对应的全景视频图像分块，得到各用户视点朝向对应的全景视频图像分块列表；
[0027]分别根据各视点区域内的至少一个视点投影位置对应的用户视点朝向获取对应的全景视频图像分块列表，根据获取到的全景视频图像分块列表确定相应视点区域对应的全景视频图像分块列表；其中，所述视点区域是通过对全景视频区域划分得到的。
[0028]第四方面，本申请实施例提供一种全景视频图像显示方法，包括：
[0029]获取用户视点朝向在三维全景视频球面网格上的视点投影位置；
[0030]根据所述视点投影位置的经纬度坐标，确定所述视点投影位置所属的视点区域，所述视点区域是通过对全景视频区域划分得到的；
[0031]根据所述视点区域对应全景视频图像分块列表，获取相应的全景视频图像分块；
[0032]根据获取的全景视频图像分块，渲染并显示三维全景视频图像。
[0033]第五方面，本申请实施例提供一种计算机可读存储介质，计算机可读存储介质存储有计算机可执行指令，计算机可执行指令用于使计算机执行本申请实施例提供的全景视频图像处理、显示方法。
[0034]本申请的上述实施例中，创建与二维全景视频图像中全景视频图像分块相对应的三维全景视频球面网格；分别根据各用户视点朝向在三维全景视频球面网格上的视点投影位置，得到各用户视点朝向的可视区域；根据网格与全景视频图像分块间的对应关系，确定各用户视点朝向的可视区域内的网格，其中，视点区域是通过对全景视频区域划分得到的；分别确定各用户视点朝向的可视区域内的网格对应的全景视频图像分块，得到各用户视点朝向对应的全景视频图像分块列表；分别根据各视点区域内的至少一个视点投影位置对应的用户视点朝向获取对应的全景视频图像分块列表，确定相应视点区域对应的全景视频图
像分块列表，从而在全景视频显示时，直接根据用户视点的视点投影位置所在的视点区域对应的全景视频图像分块列表，从服务器下载对应的全景视频图像分块，提高全景视频的显示速度。
附图说明
[0035]为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0036]图1示例性示出了本申请的实施例提供的VR头戴显示设备的结构图；
[0037]图2中示例性示出了根据示例性实施例中显示设备200的硬件配置框图；
[0038]图3中本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种服务器，其特征在于，包括：显示器，与处理器连接，被配置为显示全景视频图像；存储器，与处理器连接，被配置为存储计算机指令；所述处理器，被配置为根据所述计算机指令执行以下操作：创建三维全景视频球面网格，所述三维全景视频球面网格内的网格与二维全景视频图像中全景视频图像分块相对应；分别根据各用户视点朝向，获取各用户视点朝向在所述三维全景视频球面网格上的视点投影位置，得到各用户视点朝向的可视区域；确定各用户视点朝向的可视区域内的网格；根据所述三维全景视频球面网格内的网格与所述二维全景视频图像中全景视频图像分块间的对应关系，分别确定各用户视点朝向的可视区域内的网格对应的全景视频图像分块，得到各用户视点朝向对应的全景视频图像分块列表；分别根据各视点区域内的至少一个视点投影位置对应的用户视点朝向获取对应的全景视频图像分块列表，根据获取到的全景视频图像分块列表确定相应视点区域对应的全景视频图像分块列表；其中，所述视点区域是通过对全景视频区域划分得到的。2.如权利要求1所述的服务器，其特征在于，所述处理器得到各用户视点朝向对应的全景视频图像分块列表，具体被配置为：确定第一用户视点朝向的可视区域内第一网格的可见部分与所述第一网格的面积占比，所述第一用户视点朝向为各用户视点朝向中的任一个，所述第一网格为所述第一用户视点朝向的可视区域内各网格中的任一个；根据所述第一用户视点朝向的可视区域内面积占比大于设定阈值的网格，以及所述三维全景视频球面网格内的网格与所述二维全景视频图像中全景视频图像分块间的对应关系，确定所述第一用户视点朝向的可视区域对应的全景视频图像分块列表。3.如权利要求2所述的服务器，其特征在于，所述处理器确定第一用户视点朝向的可视区域内第一网格的可见部分与所述第一网格的面积占比，具体被配置为：若确定所述第一网格中的至少一个顶点在所述第一用户视点朝向的可视区域内，则分别根据所述至少一个顶点在所述三维全景视频球面网格上对应纬线的纬线长度以及所述第一网格的基准纬线长度，确定所述至少一个顶点在所述第一网格内的加权值，其中，所述至少一个顶点中的每个顶点在所述第一网格内的加权值大于0；确定所述至少一个顶点在所述第一网格内的加权值之和，与所述第一网格内所有顶点的加权值之和的比值，得到所述第一用户视点朝向的可视区域内第一网格的可见部分与所述第一网格的面积占比。4.如权利要求3所述的服务器，其特征在于，第一顶点在所述第一用户视点朝向的可视区域内的加权值A公式为：A＝B*L1/L＝B*cos(lat1)/cos(lat)；L＝2πcos(lat)/N；L1＝2πcos(lat1)/N；其中，L为所述第一网格在所述三维全景视频球面网格上的基准纬线长度，lat为所述第一网格的基准纬线的纬度值，L1为第一顶点在所述三维全景视频球面网格上纬线的纬线
长度，lat1为所述第一顶点在所述三维全景视频球面网格上纬线的纬度值，N为所述三维全景视频球面网格水平方向上的网格数，B为所述第一网格的基准纬线上的基准顶点的计数值，所述第一顶点为所述第一网格的至少一个顶点中的任一个。5.如权利要求1所述的服务器，其特征在于，所述处理器分别根据各视点区域内的至少一个视点投影位置对应的用户视点朝向获取对应的全景视频图像分块列表，根据获取到的全景视频图像分块列表确定相应视点区域对应的全景视频图像分块列表，具体被配置为：获取第一视点区域内的中心点对...

【专利技术属性】
技术研发人员：任子健，史东平，吴连朋，王宝云，
申请(专利权)人：聚好看科技股份有限公司，
类型：发明
国别省市：