视角增强视频的传输方法、装置以及介质制造方法及图纸

本公开涉及视角增强视频的传输方法、装置以及介质。提供了一种视角增强视频的传输方法，包括:将高清晰度的主视角视频和低清晰度的副视角视频分别编码成多个主视角分块流和多个副视角分块流；将所述多个主视角分块流和所述多个副视角分块流存储在存储装置中；响应于来自客户端的包含当前视角信息的请求，选择能够组合成完整画面的与客户端的当前视角对应的高清分块和低清分块；从所述存储装置中读取与所选择的高清分块和低清分块分别对应的主视角分块流和副视角分块流；以及将所读取的主视角分块流和副视角分块流合成，并将合成的视频流发送给客户端。视频流发送给客户端。视频流发送给客户端。

【技术实现步骤摘要】
视角增强视频的传输方法、装置以及介质


[0001]本公开总体上涉及视角增强视频的传输方法、装置以及介质。

技术介绍

[0002]5G作为新时代的网络技术基础与经济增长点，作为国家新型战略而被大力发展，而消耗大流量的VR服务在其中则是重要的使用场景之一。随着VR业务的兴起，VR视频逐渐开始占据网络流量和终端的能力中不可忽视的一部分。
[0003]现阶段，VR普遍使用均匀全景视频传输方式，将包含360度画面的信息映射进2：1的视频画面中，并通过现网的视频传输协议进行传输。客户端接收到视频流后对画面进行解码，再通过所声明的映射方式通过反映射得到初始的360度画面信息，随后根据当前视角进行显示画面的渲染。
[0004]为了降低传输的带宽和解码性能的需求，业界开始在VR业务中开发并使用新的传输方法，即视角增强(Field of View enhanced)(FoVe)传输方法，通过压缩性价比较低的图像信息来提高整个流程的性价比。
[0005]然而，在现有的视角增强视频的传输方法中，还存在诸如客户端侧的计算负荷太高之类的技术问题。

技术实现思路

[0006]在下文中给出了关于本公开的简要概述，以便提供关于本公开的一些方面的基本理解。但是，应当理解，这个概述并不是关于本公开的穷举性概述。它并不是意图用来确定本公开的关键性部分或重要部分，也不是意图用来限定本公开的范围。其目的仅仅是以简化的形式给出关于本公开的某些概念，以此作为稍后给出的更详细描述的前序。
[0007]根据本公开的一个方面，提供一种视角增强视频的传输方法，包括:将高清晰度的主视角视频和低清晰度的副视角视频分别编码成多个主视角分块流和多个副视角分块流；将所述多个主视角分块流和所述多个副视角分块流存储在存储装置中；响应于来自客户端的包含当前视角信息的请求，选择能够组合成完整画面的与客户端的当前视角对应的高清分块和低清分块；从所述存储装置中读取与所选择的高清分块和低清分块分别对应的主视角分块流和副视角分块流；以及将所读取的主视角分块流和副视角分块流合成，并将合成的视频流发送给客户端。
[0008]根据本公开的另一个方面，提供一种视角增强视频的传输装置，包括：存储器，其上存储有指令；以及处理器，被配置为执行存储在所述存储器上的指令，以执行如上所述的方法。
[0009]根据本公开的又一个方面，提供一种计算机可读存储介质，其包括计算机可执行指令，所述计算机可执行指令在由一个或多个处理器执行时，使得所述一个或多个处理器执行根据本公开的上述方面所述的方法。
附图说明
[0010]构成说明书的一部分的附图描述了本公开的实施例，并且连同说明书一起用于解释本公开的原理。
[0011]参照附图，根据下面的详细描述，可以更清楚地理解本公开，其中：
[0012]图1示出了根据本公开的一个实施例的分块组合方式的示例。
[0013]图2示出了根据本公开的一个实施例的分块组合方式的示例。
[0014]图3示出了根据本公开的一个实施例的主视角视频和副视角视频的编码和存储处理。
[0015]图4示出了根据本公开的一个实施例的响应于终端的服务请求的视角增强视频的传输和再现处理。
[0016]图5示出了可以实现根据本公开的实施例的计算设备的示例性配置。
具体实施方式
[0017]参考附图进行以下详细描述，并且提供以下详细描述以帮助全面理解本公开的各种示例实施例。以下描述包括各种细节以帮助理解，但是这些细节仅被认为是示例，而不是为了限制本公开，本公开是由随附权利要求及其等同内容限定的。在以下描述中使用的词语和短语仅用于能够清楚一致地理解本公开。另外，为了清楚和简洁起见，可能省略了对公知的结构、功能和配置的描述。本领域普通技术人员将认识到，在不脱离本公开的精神和范围的情况下，可以对本文描述的示例进行各种改变和修改。
[0018]现有的视角增强传输方法中，终端通过计算视角并向服务器发送视角信息以请求对应分片(segment)，服务器向终端发送对应视角的高清分组和低清全景信息，终端收到后分别进行解码，同步和合成画面，最后在合适的时间切换当前的播放流。在此过程当中，大量的计算负载在终端侧，导致对终端的要求提升。此外，这还导致服务器侧对业务实现流程的掌控力低，难以进行有效优化。
[0019]现有的全景技术将完整360度画面的信息进行编码传输，而客户端在观看时却只使用了其中很小的一部分，因此传输其余画面信息造成了巨量的浪费。鉴于终端视角转换与实际画面信息传达到终端之间的延迟的存在，需要有一种缓冲机制允许用户观看其余视角的画面。
[0020]为了解决现有技术中的上述一个或多个问题，本公开使用新的FoVe传输方法传输原始画质的当前视角画面和低画质画面的辅助视角，由此可以显著降低传输流量和解码性能消耗，同时保证一定的用户体验不受影响。
[0021]此外，现有FoVe方法使用传统服务器提供分片，由客户端开展当前视角的追踪计算和进行不同质量的分片的请求，等到分片数据到达客户端之后对不同的流进行拼接后解码或解码后拼接，再进行渲染。
[0022]与现有技术不同，本公开的方法将流合成或流拼接步骤改为由服务器执行，客户端只需要根据当前视角进行请求，无需进行流同步和流拼接，从而降低了客户端计算量。
[0023]图1和图2分别示出了根据本公开的一个实施例的分块组合方式的示例。
[0024]在本公开中，根据客户端的当前视角，由服务器选择与当前视角对应的一个或多个高清晰度的主视角分块以及一个或多个低清晰度的剩余视角(即，副视角或辅助视角)分
块。
[0025]在本公开中，用户视野的中央部分是当前视角，但并不一定等于传输的视频流的主视角。主视角和副视角分别对应360度视频中画面的不同部分，两者组合成完整的360度视频画面，主视角的画面画质高，副视角的画面画质低，切换播放流的目的就是尽可能地将用户当前视角的画面以主视角的画面质量呈现，但在切换未完成的时候，用户看到的可能是主视角的画面或者副视角的画面。
[0026]例如，在图1中，高清晰度的主视角分块是分块A、B、C、D、E、F、G以及H，低清晰度的副视角分块是分块I、J、K以及L。例如，服务器从高清晰度的主视角分块A、B、C、D、E、F、G以及H中选择与当前视角对应的主视角分块A、B、E以及F，并从副视角分块I、J、K以及L中选择副视角分块K和L。图2与图1是类似的，示出了另一种分块划分和挑选方式。分块的划分和挑选方式不受限制，只要能够由选择的主视角分块和副视角分块组合成没有缺省的完整画面(或图片)即可。
[0027]图3示出了根据本公开的一个实施例的主视角视频和副视角视频的编码和存储处理。
[0028]在以下说明中，作为示例，以下均使用HEVC编码，并且主视角视频与副视角视频均使用同一GOP配置。不过，本申请并不限于HEVC编码和相同GOP配置。
[0029]在图3所示的处理中，首先，对本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种视角增强视频的传输方法，包括:将高清晰度的主视角视频和低清晰度的副视角视频分别编码成多个主视角分块流和多个副视角分块流；将所述多个主视角分块流和所述多个副视角分块流存储在存储装置中；响应于来自客户端的包含当前视角信息的请求，选择能够组合成完整画面的与客户端的当前视角对应的高清分块和低清分块；从所述存储装置中读取与所选择的高清分块和低清分块分别对应的主视角分块流和副视角分块流；以及将所读取的主视角分块流和副视角分块流合成，并将合成的视频流发送给客户端。2.根据权利要求1所述的传输方法，其中，将所读取的主视角分块流和副视角分块流合成包括：将主视角分块流和副视角分块流合成为一个视频流，或者将主视角分块流和副视角分块流合成为一个主视角视频流和一个副视角视频流。3.根据权利要求1所述的传输方法，其中，将合成的视频流发送给客户端包括：将合成的视频流和客户端的当前视角信息一起发送给客户端。4.根据权利要求1所述的传输方法，其中，在开始视角增强视频的流传输服务之前，预先完成所述编码和所述存储的步骤。5.根据权利要求1所述的传输方法，其中，将高清晰度的主视角视频和低清晰度的副视角视频分别编码成多个主视角分块流和多个副视角分块流包括：对主视角视频和副视角视频分别进行运动约束...

【专利技术属性】
技术研发人员：尹之帆，叶何亮，唐宏，梁洁，庄一嵘，
申请(专利权)人：中国电信股份有限公司，
类型：发明
国别省市：