用于360度视频回放的空间增强的自适应比特率直播流送的方法和装置制造方法及图纸

公开了用于实现虚拟现实或者360度视频的直播流送的空间增强的直播流送体验的装置和方法。将直播流送视频信号编码为不同分辨率下的多个流。将与整个360度视图内的视场相对应的高分辨率视频流的一部分与低分辨率视频流合并。所产生的视频流被称为空间自适应视频流。生成多个空间自适应视频流以跨整个360度来提供高分辨率的视场。当查看者从不同方向观看时，视频播放器根据所述查看者正观看的所述方向来回放所述空间自适应视频流中的一个空间自适应视频流。

【技术实现步骤摘要】
【国外来华专利技术】用于360度视频回放的空间增强的自适应比特率直播流送的方法和装置
本文所公开的主题涉及一种用于实现虚拟现实或者360度视频直播流送的空间增强的直播流送体验的方法。更具体地，公开了方法和装置，用于提供具有多个流的360度视频直播流送——其中，视频中的在空间上不同的位置是用不同比特率(分辨率)来编码的——并且自适应地选择流——其中，视频数据的高空间分辨率编码的区与查看者的视场保持一致，并且其中，视频数据的低分辨率编码的区在查看者的视场之外。
技术介绍
视频流送允许经由互联网来将视频内容递送至视频播放器。视频内容是由内容提供者生成以供分发给视频消费者的视频信号。可以按照未压缩的文件格式(诸如，串行数字接口(SDI)格式)或者压缩格式(诸如，动态图像专家组(MPEG)文件格式或者传输流(TS)文件格式)来提供视频信号。将视频信号发送至编码器，该编码器将文件转换成直播流送信号。直播流送信号优选地是可以通过互联网使用标准超文本传输协议(HTTP)来传送的分段数据流。直播流送信号可以包括多个流，其中，每个流可以具有不同的数据率和/或不同的分辨率。直播流送信号的两种常见格式包括由实施的HTTP直播流送(HLS)和由例如web浏览器(诸如，Microsoft和)实施的MPEG-基于HTTP的动态自适应比特率流(MPEG-DASH)。除了分段数据流之外，编码器还生成清单文件。清单文件包含用于视频播放器播放分段数据流的信息，诸如，每个流的数据率和分辨率、以及提供了通过其可以获取到视频内容的地址的播放列表。以往，编码器为每个增强视频流生成了单个清单文件，其中，该清单文件与流送信号一起被分发。直播流送信号和清单文件被存储在一个或者多个内容分发网络(CDN)中。每个CDN都包括多个边缘服务器，其存储流送信号和清单文件直到被视频播放器请求为止。当将流送信号提供至多个CDN时，该CDN可能处于不同的地理位置，诸如，美国西海岸(WestCoast)、美国东海岸(EastCoast)或者美国中西部(Midwest)。每个视频播放器可以基于其地理接近度等来选择CDN以减少传输时延。视频播放器可以是用于接收流送信号的任何合适的电子设备，诸如，台式计算机、电视机、膝上型计算机、平板计算机、或者移动电话。用户发起在视频播放器上查看期望视频内容的请求。视频播放器包括在视频播放器上执行的视频管理软件，该视频管理软件知晓CDN的地址并且可以将存储在CDN上的视频内容的列表提供给用户。在用户已经选择了期望视频之后，视频播放器进而请求从CDN传送视频内容。对于传统的二维(2D)直播流送视频，视频的视点由捕获视频的相机的定向决定。在上映视频(诸如，电影或者电视节目的剧集)中，许多相机可以是可用的并且因此，多个视点可以是可用的。然而，导演在每个时刻选择单个视点并且将各个视点编辑成单个流，其中，任何时间点的动作是从导演所选的角度查看的。进一步地，2D直播流送视频意图在没有来自查看视频的用户的交互的情况下在屏幕上被动回放。接收流送视频的每个查看者都接收相同的视频和相同的回放体验。相反，对于虚拟现实或者360视频的回放体验至少部分地由查看者决定。例如，视频内容可以由单个360度相机或者由在不同视点的多个传统相机捕获或者视频内容可以是计算机生成的。在任何一种情况下，对于查看者的所有潜在视点都要求视频信息。换言之，如果查看者向左或者向右、向上或者向下、或者向后看，则视频信息必须可用来将图像提供给查看者。因此，在任何给定时间，仅仅向查看者显示提供给查看者的视频信息的一部分。视频信息的另一部分被传送到显示设备以在查看者改变了视点的情况下可用。因为无法预测查看者将看去的方向，所以每个方向的内容都必须可用以供显示。结果，与传统的2D直播流送视频相比较，待传送的视频信息的量明显增加。进一步地，如果正将视频提供给立体虚拟现实显示设备，则由于提供单独的流以供每只眼睛查看，因此直播流信息大约增加一倍。增加的视频内容需要相应增加带宽以递送360度流送视频。因此，期望提供针对增强的回放体验减少带宽需求的情况下向360度或者虚拟现实视频播放器流送视频的系统。
技术实现思路
本文所公开的主题描述了针对增强的回放体验减少带宽需求的情况下将向360度或者虚拟现实视频播放器流送视频的系统。该系统包括实现虚拟现实或者360度视频直播流送的空间增强的直播流送体验的装置和方法。编码器接收输入视频信号以供递送给查看者。编码器将输入的视频信号转换成与传统直播流送相似的在不同分辨率下的多个流。然后编码器生成多个空间增强的流。每个空间增强的流包括与低分辨率视频流合并的、与整个360视频流内的视场相对应的高分辨率视频流的片段。将空间增强的流递送至内容分发网络(CDN)以供360度视频播放器进行后续获取。360度视频播放器基于查看者观看的方向来选择空间增强的流中的一个空间增强的流以供回放。根据本公开的一个实施例，公开了用于提供空间自适应增强视频流以用于360度视频信号的回放的方法。生成与360度视频信号相对应的至少两个流送视频信号。第一流送视频信号具有第一分辨率，并且第二流送视频信号具有第二分辨率，其中，第二分辨率低于第一分辨率。第一流送视频信号和第二流送视频信号中的每一个包括多个帧，并且每个帧跨360度视角。将第一流送视频信号和第二流送视频信号中的每个帧划分成多个片段，并且多个片段中的每个片段跨360度视角的一部分。生成多个增强视频流。增强视频流中的每个增强视频流包括多个帧，并且增强视频流中的一个增强视频流中的每个帧包括来自第一流送视频信号中的帧中的一个帧的至少一个片段以及来自第二流送视频信号中的帧中的一个帧的至少一个片段。根据本公开的另一方面，多个增强视频流中的每个帧包括多个片段，并且多个增强视频流中的每个帧中的多个片段组合以跨360度视角。多个增强视频流中的每个帧中的多个片段中的一个片段来自第一流送视频信号，并且多个增强视频流中的每个帧中的其它片段中的每个片段来自第二流送视频信号。根据本公开的又一方面，可以利用编码器生成360度视频信号的清单文件。清单文件包括与360度视频信号相对应的多个增强视频流中的每个增强视频流的第一标识符和第二标识符。第一标识符限定存储增强视频流的地址，并且第二标识符限定与来自第一流送视频信号的片段所跨的360度视角的一部分相对应的方向。根据本公开的又一方面，生成至少两个流送视频信号可以包括：在编码器处接收球形360度视频信号；将球形360度视频信号映射到表示性空间中的中间视频信号；以及利用编码器将中间视频信号转换成至少两个流送视频信号。根据本公开的又一方面，可以生成至少一个附加的流送视频信号，其中，每个附加的流送视频信号具有与第一分辨率和第二分辨率不同的分辨率。第一流送视频信号和第二流送视频信号中的多个片段中的每个片段所跨的360度视角的一部分可以是360度视角中的相等度数。可选地，第一流送视频信号可以被划分成第一片段集合和第二片段集合，并且第二流送视频信号可以被划分成第三片段集合和第四片段集合，其中，第一片段集合与第三片段集合相对应，并且第二片段集合与第四片段集合相对应。第一片段集合和第三片段集合中的每一个都跨第一视角，该第一视角与第二片段集合和第四片段集合中的每一个所跨本文档来自技高网...

【技术保护点】
1.一种用于提供空间自适应增强视频流以用于360度视频信号的回放的方法，包括：生成与所述360度视频信号相对应的至少两个流送视频信号，其中：第一流送视频信号具有第一分辨率，第二流送视频信号具有第二分辨率，所述第二分辨率小于所述第一分辨率，所述第一流送视频信号和所述第二流送视频信号中的每一个包括多个帧，以及每个帧跨360度视角；将所述第一流送视频信号和所述第二流送视频信号的每个帧划分成多个片段，其中，所述多个片段中的每个片段跨360度视角的一部分；以及生成多个增强视频流，其中：所述多个增强视频流中的每个增强视频流包括多个帧，以及所述增强视频流中的一个增强视频流中的每个帧包括来自所述第一流送视频信号中的多个帧的一个帧的至少一个片段以及来自所述第二流送视频信号中的多个帧的一个帧的至少一个片段。

【技术特征摘要】
【国外来华专利技术】2016.05.16 US 62/336,823;2017.05.15 US 15/595,7441.一种用于提供空间自适应增强视频流以用于360度视频信号的回放的方法，包括：生成与所述360度视频信号相对应的至少两个流送视频信号，其中：第一流送视频信号具有第一分辨率，第二流送视频信号具有第二分辨率，所述第二分辨率小于所述第一分辨率，所述第一流送视频信号和所述第二流送视频信号中的每一个包括多个帧，以及每个帧跨360度视角；将所述第一流送视频信号和所述第二流送视频信号的每个帧划分成多个片段，其中，所述多个片段中的每个片段跨360度视角的一部分；以及生成多个增强视频流，其中：所述多个增强视频流中的每个增强视频流包括多个帧，以及所述增强视频流中的一个增强视频流中的每个帧包括来自所述第一流送视频信号中的多个帧的一个帧的至少一个片段以及来自所述第二流送视频信号中的多个帧的一个帧的至少一个片段。2.根据权利要求1所述的方法，其中：所述多个增强视频流中的每个帧包括多个片段，所述多个增强视频流中的每个帧中的多个片段组合以跨360度视角，所述多个增强视频帧流中的每个帧中的多个片段中的一个片段来自所述第一流送视频信号，以及所述多个增强视频流中的每个帧中的其它片段中的每个片段来自所述第二流送视频信号。3.根据权利要求1所述的方法，进一步包括：利用编码器生成所述360度视频信号的清单文件，其中，所述清单文件包括：与所述360度视频信号相对应的所述多个增强视频流中的每个增强视频流的第一标识符，其中，所述第一标识符限定存储所述增强视频流的地址，以及与所述360度视频信号相对应的所述多个增强视频流中的每个增强视频流的第二标识符，其中，所述第二标识符限定与来自所述第一流送视频信号的片段所跨的360度视角的一部分相对应的方向。4.根据权利要求1所述的方法，其中，生成至少两个流送视频信号进一步包括：在编码器处接收球形360度视频信号；将所述球形360度视频信号映射到表示性空间中的中间视频信号；以及利用所述编码器将所述中间视频信号转换成所述至少两个流送视频信号。5.根据权利要求1所述的方法，进一步包括至少一个附加的流送视频信号，其中，每个附加的流送视频信号具有与所述第一分辨率和所述第二分辨率不同的分辨率。6.根据权利要求1所述的方法，其中，由在所述第一流送视频信号和所述第二流送视频信号中的多个片段中的每个片段所跨的360度视角的一部分是360度视角中的相等度数。7.根据权利要求6所述的方法，其中：所述第一流送视频信号被划分成第一片段集合和第二片段集合，所述第二流送视频信号被划分成第三片段集合和第四片段集合，所述第一片段集合与所述第三片段集合相对应，所述第二片段集合与所述第四片段集合相对应，由所述第一片段集合和所述第三片段集合中的每一个所跨的第一视角与由所述第二片段集合和所述第四片段集合中的每一个所跨的第二视角不同并且从其偏移，以及所述偏移的度数小于由所述第一视角和所述第二视角所跨的度数。8.一种用于提供空间自适应增强视频流以用于360度视频信号的回放的系统，包括：编码器，所述编码器包括：输入，所述输入操作以接收所述360度视频信号；非暂时性存储器，所述非暂时性存储器操作以存储多个指令；以及处理器，所述处理器操作以执行所存储的指令以：生成与所述360度视频信号相对应的至少两个流送视频信号，其中：第一流送视频信号具有第一分辨率，第二流送视频信号具有第二分辨率，所述第二分辨率小于所述第一分辨率，所述第一流送视频信号和所述第二流送视频信号中的每一个包括多个帧，以及每个帧跨360度视角；将所述第一流送视频信号和所述第二流送视频信号的每个帧划分成多个片段，其中，所述多个片段中的每个片段跨360度视角的一部分；以及生成多个增强视频流，其中：所述多个增强视频流中的每个增强视频流包括多个帧，以及所述增强视频流中的一个增强视频流中的每个帧包括来自所述第一流送视频信号中的多个帧的一个帧的至少一个片段以及来自所述第二流送视频信号中的多个帧的一个帧的至少一个片段。9.根据权利要求8所述的系统，其中：所述多个增强视频流中的每个帧包括多个片段，所述多个增强视频流中的每个帧中的多个片段组合以跨360度视角，所述多个增强视频帧中的每个帧中的多个片段的一个片段来自所述第一流送视频信号，以及所述多个增强视频流中的每个帧中的其它片段的每个片段来自所述第二流送视频信号。10.根据权利要求8所述的系统，其中，所述处理器进一步执行所存储的指令以：利用所述编码器生成所述360度视频信号的清单文件，其中，所述...

【专利技术属性】
技术研发人员：伊斯梅勒·R·哈里塔奥卢，厄兹坦·哈尔曼哲，
申请(专利权)人：谷歌有限责任公司，
类型：发明
国别省市：美国,US