流传输球形视频制造技术

一种方法包括：在回放设备接收第一视频流，所述第一视频流具有第一质量；在所述回放设备接收至少两个第二视频流，所述至少两个第二视频流各自与所述第一视频流的一部分相对应，所述至少两个第二视频流具有第二质量，所述第二质量与所述第一质量相比是更高的质量；在所述回放设备回放所述第一视频流；基于所述回放设备的用户的观看视角从所述至少两个第二视频流中选择第三视频流；以及在所述回放设备回放所述第三视频流连同所述第一视频流。

Streaming video

A method includes receiving a first playback device in the video stream, the first video stream has a first quality; in the playback device two receives at least second video streams, the at least two second video streams and each part of the first video stream corresponding to the at least two video second flow has second quality, the quality and the quality of the first second is compared with the higher quality; in the playback device to playback the first video stream; viewing from the perspective of the at least two second video streams in third video streams of the playback device based on user; and with the first. In the video playback device, playback the video stream third.

【技术实现步骤摘要】
【国外来华专利技术】流传输球形视频相关申请的交叉引用本申请要求于2015年5月27日提交的题为“SPHERICALVIDEOSTREAMINGANDPLAYBACK(球形视频流传输和回放)”的美国专利申请号62/167,260的优先权，所述申请通过引用以其全文结合在此。
本专利技术涉及流传输球形视频。
技术介绍
流传输球形视频(或其他三维视频)会消耗大量的系统资源。例如，被编码的球形视频可以包括会消耗大量带宽以及与编码器和解码器相关联的处理器和存储器的用于传输的大量比特。
技术实现思路
示例实施例描述了用于优化流传输视频、流传输3D视频和/或流传输球形视频的系统和方法。示例实施例描述了用于优化视频的回放、3D视频的回放和/或球形视频的回放的系统和方法。在总体方面，一种方法包括：在回放设备接收第一视频流，所述第一视频流具有第一质量；在所述回放设备接收至少两个第二视频流，所述至少两个第二视频流各自与所述第一视频流的一部分相对应，所述至少两个第二视频流具有第二质量，所述第二质量与所述第一质量相比是更高的质量；在所述回放设备回放所述第一视频流；基于所述回放设备的用户的观看视角从所述至少两个第二视频流中选择第三视频流；以及在所述回放设备回放所述第三视频流连同所述第一视频流。实施方式可以包括以下特征中的一个或多个特征。例如，所述方法可以进一步包括：确定所述回放设备的所述用户的观看视角已经改变；基于改变的观看视角从所述至少两个第二视频流中选择第四视频流；以及在所述回放设备回放所述第四视频流连同所述第一视频流。所述第一质量是基于比特率和分辨率，所述比特率是基于最小通信信道能力，并且所述分辨率是基于与所述回放设备相关联的最小像素密度。例如，所述方法可以进一步包括：缓冲所述第一视频流，其中，在所述回放设备回放所述第三视频流连同所述第一视频流包括用所述第三视频流替代所述第一视频流的相应部分，在所述回放设备上渲染所述结果，确定所述第三视频流存在问题，以及在确定所述第三视频流存在问题时，在所述回放设备上渲染被缓冲的第一视频流。所述回放设备是头戴显示器(HMD)，并且在所述回放设备回放所述第三视频流连同所述第一视频流包括：在所述HMD的左眼显示器或右眼显示器中的一个显示器上渲染所述第一视频流，以及在所述HMD的所述左眼显示器或所述右眼显示器中的另一个显示器上渲染所述第三视频流。所述至少两个第二视频流具有在不同时间戳被编码的相关联的关键帧。例如，所述方法可以进一步包括：判定所述至少两个第二视频流中的每个视频流是否在所述回放设备的可视阈值内；在确定所述至少两个第二视频流在所述回放设备的所述可视阈值内时，对所述至少两个第二视频流进行解码；以及在确定所述至少两个第二视频流不在所述回放设备的所述可视阈值内时，跳过对所述至少两个第二视频流的解码。在另一个总体方面，一种方法包括：以第一质量对视频的帧进行编码；以第二质量对所述视频的所述帧的至少两部分进行编码，所述第二质量与所述第一质量相比是更高的质量；存储所述视频的所述帧；以及存储所述视频的所述帧的所述至少两部分。实施方式可以包括以下特征中的一个或多个特征。例如，所述方法可以进一步包括流传输所述视频的所述帧以及流传输所述视频的所述帧的所述至少两部分。以所述第二质量对所述视频的所述帧的所述至少两部分进行编码包括使用具有不同时间戳的关键帧对所述视频的所述帧的所述至少两部分中的每个部分进行编码。例如，所述方法可以进一步包括：接收与回放设备相关联的运动的量的指示，以及基于所述运动适配与所述视频的所述帧的所述至少两部分相关联的大小。接收流传输视频的请求；使用所述视频的所述帧和所述视频的所述帧的所述至少两部分中的一部分来构建帧；以及流传输所构建的帧。所述视频的所述帧与球形视频相关联，对所述视频的所述帧进行编码包括：将所述视频的所述帧投射成立方体图，以及使用等角采样算法对所述立方体图进行编码。所述视频的所述帧与球形视频相关联，所述方法进一步包括将所述视频的所述帧投射成立方体图，以及选择所述立方体图的立方体面。对所述视频的所述帧进行编码包括以所述第一质量对所述立方体面进行编码，并且对所述视频的所述帧的所述至少两部分进行编码包括以所述第二质量对所述立方体面的至少两部分进行编码。例如，所述方法可以进一步包括：流传输所述视频的所述帧；流传输所述视频的所述帧的所述至少两部分；接收在回放设备上的回放已暂停的指示；以所述第二质量对所述视频的所述帧进行编码；以及流传输以所述第二质量被编码的所述视频的所述帧。所述第一质量基于以下各项中的至少一项：低帧速率高分辨率流、单声道流、减少的颜色流、以及黑白流。例如，所述方法可以进一步包括：将所述视频的所述帧流传输成多个被编码的帧；以及在流传输所述视频期间丢弃多个被编码的帧中的至少一个帧以实现第三质量。在又另一个总体方面，一种服务器和/或流传输式服务器包括编码器、存储器和控制器。所述编码器被配置为以第一质量对视频的帧进行编码，以及以第二质量对所述视频的所述帧的至少两部分进行编码，所述第二质量与所述第一质量相比是更高的质量。所述存储器被配置为存储所述视频的所述帧，以及存储所述视频的所述帧的所述至少两部分。所述控制器被配置为流传输包括所述被编码的帧以及所述视频的所述帧的被编码的至少两部分中的一个或多个部分的视频。实施方式可以包括以下特征中的一个或多个特征。例如，以所述第二质量对所述视频的所述帧的所述至少两部分进行编码包括使用具有不同时间戳的关键帧对所述视频的所述帧的所述至少两部分中的每个部分进行编码。所述视频的所述帧与球形视频相关联，所述编码器进一步被配置为将所述视频的所述帧投射成立方体图，以及选择所述立方体图的立方体面。对所述视频的所述帧进行编码包括以所述第一质量对所述立方体面进行编码，并且对所述视频的所述帧的所述至少两部分进行编码包括以所述第二质量对所述立方体面的至少两部分进行编码。附图说明从下文中在此给出的详细描述以及附图将更充分地理解示例实施例，在附图中，相同的元件用相同的参考标号来表示，附图仅以说明的方式给出并且因此不限制示例实施例，并且在附图中：图1至图4展示了根据至少一个示例实施例的各种方法。图5展示了根据至少一个示例实施例的时序图。图6至图14展示了根据至少一个示例实施例的各种方法。图15是用于捕获和渲染3D虚拟现实(VR)环境中的立体图像和/或视频的示例系统的框图。图16A展示了根据至少一个示例实施例的视频编码器系统。图16B展示了根据至少一个示例实施例的视频解码器系统。图17A展示了根据至少一个示例实施例的视频编码器系统的流程图。图17B展示了根据至少一个示例实施例的视频解码器系统的流程图。图18展示了根据至少一个示例实施例的球体的二维(2D)表示。图19展示了根据至少一个示例实施例的系统。图20是可以用于实现在此描述的技术的计算机设备和移动计算机设备的示意性框图。应注意的是，这些附图旨在展示在某些示例实施例中所使用的方法、结构和/或材料的一般特性并且旨在补充下文中所提供的书面描述。然而，这些附图并未按比例绘制并且可能并未精确地反映任何给出的实施例的精确结构或性能特性，并且不应当被解释为限定或限制示例实施例所包含的数值或性质的范围。例如，为清楚起见，可以减小或夸大结构元件的相对厚度和本文档来自技高网...

【技术保护点】
一种方法，包括：在回放设备接收第一视频流，所述第一视频流具有第一质量；在所述回放设备接收至少两个第二视频流，所述至少两个第二视频流各自与所述第一视频流的一部分相对应，所述至少两个第二视频流具有第二质量，所述第二质量与所述第一质量相比是更高的质量；在所述回放设备回放所述第一视频流；基于所述回放设备的用户的观看视角从所述至少两个第二视频流中选择第三视频流；以及在所述回放设备回放所述第三视频流连同所述第一视频流。

【技术特征摘要】
【国外来华专利技术】2015.05.27 US 62/167,2601.一种方法，包括：在回放设备接收第一视频流，所述第一视频流具有第一质量；在所述回放设备接收至少两个第二视频流，所述至少两个第二视频流各自与所述第一视频流的一部分相对应，所述至少两个第二视频流具有第二质量，所述第二质量与所述第一质量相比是更高的质量；在所述回放设备回放所述第一视频流；基于所述回放设备的用户的观看视角从所述至少两个第二视频流中选择第三视频流；以及在所述回放设备回放所述第三视频流连同所述第一视频流。2.如权利要求1所述的方法，进一步包括：确定所述回放设备的所述用户的观看视角已经改变；基于改变的观看视角从所述至少两个第二视频流中选择第四视频流；以及在所述回放设备回放所述第四视频流连同所述第一视频流。3.如权利要求1所述的方法，其中：所述第一质量是基于比特率和分辨率，所述比特率是基于最小通信信道能力，并且所述分辨率是基于与所述回放设备相关联的最小像素密度。4.如权利要求1所述的方法，进一步包括：缓冲所述第一视频流，其中，在所述回放设备回放所述第三视频流连同所述第一视频流包括：用所述第三视频流替代所述第一视频流的相应部分，在所述回放设备上渲染结果，确定所述第三视频流存在问题，以及在确定所述第三视频流存在问题时，在所述回放设备上渲染被缓冲的第一视频流。5.如权利要求1所述的方法，其中：所述回放设备是头戴显示器(HMD)，并且在所述回放设备回放所述第三视频流连同所述第一视频流包括：在HMD的左眼显示器或右眼显示器中的一个显示器上渲染所述第一视频流，以及在所述HMD的所述左眼显示器或所述右眼显示器中的另一个显示器上渲染所述第三视频流。6.如权利要求1所述的方法，其中，所述至少两个第二视频流具有在不同时间戳被编码的相关联的关键帧。7.如权利要求1所述的方法，进一步包括：确定所述至少两个第二视频流中的每个视频流是否在所述回放设备的可视阈值内；在确定所述至少两个第二视频流在所述回放设备的所述可视阈值内时，对所述至少两个第二视频流进行解码；以及在确定所述至少两个第二视频流不在所述回放设备的所述可视阈值内时，跳过对所述至少两个第二视频流进行解码。8.一种方法，包括：以第一质量对视频的帧进行编码；以第二质量对所述视频的所述帧的至少两部分进行编码，所述第二质量与所述第一质量相比是更高的质量；存储所述视频的所述帧；以及存储所述视频的所述帧的所述至少两部分。9.如权利要求8所述的方法，进一步包括：流传输所述视频的所述帧；以及流传输所述视频的所述帧的所述至少两部分。10.如权利要求8所述的方法，其中，以所述第二质量对所述视频的所述帧的所述至少两部分进行编码包括使用具有不同时间戳的关键帧对所述视频的所述帧...

【专利技术属性】
技术研发人员：R亚当斯，CL杜维维耶，A舍尔库斯，R苏德曼，J普劳蒂，DR考尔，
申请(专利权)人：谷歌公司，
类型：发明
国别省市：美国,US