处理内容的方法和设备技术

提供了一种处理内容的方法和设备。实时选择性自适应带宽方法使得能够通过划分内容并且利用内容的不同分辨率来发送三维360度虚拟现实内容，其中用户的能见区域中的内容比用户的非能见区域中的内容具有更高的分辨率。附加地，在确定要发送哪种分辨率内容时使用诸如可用带宽的网络信息。

Method and apparatus for processing content

A method and apparatus for processing content is provided. Real time selective adaptive bandwidth method enables by dividing the content and use of content of different resolution to send 360 of 3D virtual reality, which can see the contents of the regional users than non users can see the content in the area with higher resolution. Additionally, network information such as available bandwidth is used when determining what resolution content to send.

【技术实现步骤摘要】
处理内容的方法和设备相关申请的交叉引用本申请根据35U.S.C.§119(e)要求2014年11月26日提交的名称为“实时选择性自适应带宽”的美国临时专利申请序列号62/123,778的优先权，在此为了一切目的通过引用将其全部内容合并于此。
本专利技术涉及网络带宽的领域，更具体地，涉及选择性自适应网络带宽。
技术介绍
诸如来自的墨菲斯项目(ProjectMorpheus)、来自的GearVR、来自的OculusRift等等产品将在数以百万计的消费者的手中可用。除了游戏之外，用户还可以体验沉浸于逼真的3D360度视频。生成360度视频的处理包括使多个摄影机在所有方向上记录，其中，帧比特在每个镜头中重叠。软件将每个摄像机流拆成单个帧并且拼合所有片段(pieces)，以便创建完全投影全景(equirectangularpanorama)。然后，按照捕获帧率倒回这些全景帧，以生成360度视频。为了产生360度立体效果，使用两个360度视频流，每个360度视频流针对一只眼睛。为了实现高质量360度虚拟现实(VR)视频，针对每只眼睛使用按照8192x4096像素的分辨率每秒60帧的回放。对于当今的因特网平均宽带速度和设备的当前处理能力，这是非常有挑战的。结果，大多数视频以1080p或4K质量分发，从而限制了质量。流传输23个像素每度(PPD)(8K)分辨率自身是个挑战，因为它使用超高清(4K)的四倍分辨率和带宽。
技术实现思路
这里描述的
技术实现思路
仅提供示例性实施例，而不是意图以任何方式进行限制。实时选择性自适应带宽方法使得能够通过划分内容并且利用内容的不同分辨率来发送三维360度虚拟现实内容，其中用户的能见区域中的内容比用户的非能见区域中的内容具有更高的分辨率。附加地，在确定要发送哪种分辨率内容时使用诸如可用带宽的网络信息。在一个方面，一种处理内容的方法，所述方法包括：接收三维360度虚拟现实内容，其中所述三维360度虚拟现实内容包括高质量成分和比所述高质量成分更低的质量成分；以及显示所述三维360度虚拟现实内容。所述高质量成分和所述更低的质量成分各自包括内容的片段。所述高质量成分包括用户正在观看的内容，而所述更低的质量成分包括用户没有正在观看的内容。所述高质量成分和所述更低的质量成分按照相同的时间码同步。所述三维360度虚拟现实内容包括多个内容质量，以及基于能见区域和网络信息选择内容质量。所述三维360度虚拟现实内容包括多个内容质量，以及非能见区域的内容质量是最低质量，而能见区域的内容质量是基于剩余的可用网络带宽的。所述三维360度虚拟现实内容包括内容的多个分辨率和比特率。在另一个方面，一种处理内容的设备，所述设备包括：用于接收三维360度虚拟现实内容的装置，其中所述三维360度虚拟现实内容包括高质量成分和比所述高质量成分更低的质量成分；以及用于显示所述三维360度虚拟现实内容的装置。所述高质量成分和所述更低的质量成分各自包括内容的片段。所述高质量成分包括用户正在观看的内容，而所述更低的质量成分包括用户没有正在观看的内容。所述高质量成分和所述更低的质量成分按照相同的时间码同步。所述三维360度虚拟现实内容包括多个内容质量，以及基于能见区域和网络信息选择内容质量。所述三维360度虚拟现实内容包括多个内容质量，以及非能见区域的内容质量是最低质量，而能见区域的内容质量是基于剩余的可用网络带宽的。所述三维360度虚拟现实内容包括内容的多个分辨率和比特率。在另一个方面，一种处理内容的方法，所述方法包括：存储多个分辨率的三维360度虚拟现实内容；以及基于能见区域和非能见区域以及网络信息发送所述三维360度虚拟现实内容。所述多个分辨率的所述三维360度虚拟现实内容包括高分辨率内容的片段和更低分辨率内容的片段。所述高质量成分和所述更低质量成分按照相同的时间码同步。发送所述三维360度虚拟现实内容包括发送所述能见区域的高分辨率内容和所述非能见区域的更低分辨率内容。所述非能可见区域的内容的分辨率是最低分辨率，而所述能见区域的内容的分辨率是基于剩余的可用网络带宽的。所述网络信息包括网络速度和网络流量。在又一个方面，一种处理内容的设备，所述设备包括：用于存储多个分辨率的三维360度虚拟现实内容的装置；以及用于基于能见区域和非能见区域以及网络信息发送所述三维360度虚拟现实内容的装置。所述多个分辨率的所述三维360度虚拟现实内容包括高分辨率内容的片段和更低分辨率内容的片段。所述高分辨率内容和所述更低分辨率内容按照相同的时间码同步。发送所述三维360度虚拟现实内容包括发送所述能见区域的高分辨率内容和所述非能见区域的更低分辨率内容。所述非能见区域的内容的分辨率是最低分辨率，而所述能见区域的内容的分辨率是基于剩余的可用网络带宽的。所述网络信息包括网络速度和网络流量。附图说明图1例示平均人眼立体/双眼视场的示图。图2例示根据一些实施例的被划分为4个1024x2048片段的4K图像的示例。图3例示根据一些实施例的HMD的示图。图4例示根据一些实施例的使用实时选择性自适应带宽方法的体验。图5例示根据一些实施例的在内容中集成购买机会的实现方式。图6例示根据一些实施例的实现实时选择性自适应带宽方法的方法的流程图。图7例示根据一些实施例的被配置为实现实时选择性自适应带宽方法的示例性计算装置的框图。图8例示根据一些实施例的被配置为实现实时选择性自适应带宽方法的装置的网络。具体实施方式用于体育/现实内容的虚拟现实(VR)视频按照60fps传送；按照60fps流传输的4KAVC使用15～20mbps，按照60fps流传输的4KAVC3D使用30～40mbps，8KAVC流传输使用60～80mps，以及8K3DAVC流传输使用120～160mps。HEVC能够将AVC带宽减半。根据Akamai的因特网状态，美国和加拿大的平均因特网速度可以潜在地支持4K的一个流，而不是两个，其中使用4K以便支持头戴式显示器(HMD)装置的与生俱来的立体能力。考虑到实时流传输两个8K文件的比特率(160mbps)将比美国和加拿大可实现的平均比特率高12倍，为了传送用于VRHMD的高质量实时流，使用不同的方法。能够使用用于VR的选择性自适应实时流传输标准。平均人眼立体/双眼视场接近120度(对于某些人而言，更大或更小)，而当前HMD装置视场接近100度(尽管这可以增大或减小)，所以用户将不能同时看到整个360度球体。图1示出平均人眼立体/双眼视场的示图。结合VR的高像素密度和帧率速度需求，浪费了如此多的处理能力、网络带宽、gpu周期和电池寿命来发送和渲染用户不会看到的超过50％的数据是非常没有效率的。这里描述对自适应带宽标准的扩展，以便支持按照相同的时间码同步的多个层的回放，以及基于由头戴式显示器通知的用户视点，视频播放器将偏爱对于能见片段的带宽和分辨率。例如，能见片段在首先发送方面具有优先级和/或具有质量优先级(例如更高质量)。在用户高速移动他的头部的情况下，结果是在几秒内看到低质量内容(例如图像/视频)，直至播放器从HMD方位接收到信息，以便偏爱该层。此外，快速头部移动非常不舒服，特别是在VR中。对于正常用户的头部移动速度，将能够通过以高质量显示球体的仅一些本文档来自技高网...

【技术保护点】
一种处理内容的方法，所述方法包括：a.接收三维360度虚拟现实内容，其中所述三维360度虚拟现实内容包括高质量成分和比所述高质量成分更低的质量成分；以及b.显示所述三维360度虚拟现实内容。

【技术特征摘要】
2015.11.12 US 14/940,0891.一种处理内容的方法，所述方法包括：a.接收三维360度虚拟现实内容，其中所述三维360度虚拟现实内容包括高质量成分和比所述高质量成分更低的质量成分；以及b.显示所述三维360度虚拟现实内容。2.根据权利要求1所述的方法，其中，所述高质量成分和所述更低的质量成分各自包括内容的片段。3.根据权利要求1所述的方法，其中，所述高质量成分包括用户正在观看的内容，而所述更低的质量成分包括用户没有正在观看的内容。4.根据权利要求1所述的方法，其中，所述高质量成分和所述更低的质量成分按照相同的时间码同步。5.根据权利要求1所述的方法，其中，所述三维360度虚拟现实内容包括多个内容质量，以及基于能见区域和网络信息选择内容质量。6.根据权利要求1所述的方法，其中，所述三维360度虚拟现实内容包括多个内容质量，以及非能见区域的内容质量是最低质量，而能见区域的内容质量是基于剩余的可用网络带宽。7.根据权利要求1所述的方法，其中，所述三维360度虚拟现实内容包括内容的多个分辨率和比特率。8.一种处理内容的设备，所述设备包括：a.用于接收三维360度虚拟现实内容的装置，其中所述三维360度虚拟现实内容包括高质量成分和比所述高质量成分更低的质量成分；以及b.用于显示所述三维360度虚拟现实内容的装置。9.根据权利要求8所述的设备，其中，所述高质量成分和所述更低的质量成分各自包括内容的片段。10.根据权利要求8所述的设备，其中，所述高质量成分包括用户正在观看的内容，而所述更低的质量成分包括用户没有正在观看的内容。11.根据权利要求8所述的设备，其中，所述高质量成分和所述更低的质量成分按照相同的时间码同步。12.根据权利要求8所述的设备，其中，所述三维360度虚拟现实内容包括多个内容质量，以及基于能见区域和网络信息选择内容质量。13.根据权利要求8所述的设备，其中，所述三维360度虚拟现实内容包括...

【专利技术属性】
技术研发人员：D·S·穆拉，P·安邦安桑，P·旦东，
申请(专利权)人：索尼公司，
类型：发明
国别省市：日本,JP