背景天空盒构建方法和电子装置制造方法及图纸

本公开的实施例提供一种背景天空盒构建方法和电子装置。所述方法包含：获得第一内容帧且重新投影第一内容帧，其中重新投影的第一内容帧与第一视角相对应且包含多个第一对象；响应于判定第一内容帧具有表征各第一对象的深度的第一深度图，基于各第一对象的深度将第一对象划分为N个第一组，其中N为正整数；基于N个第一组构建N个天空盒层中的每一个的第一部分，其中各天空盒层的第一部分与第一视角相对应；以及将重新投影的第一内容帧与N个天空盒层组合以产生第一视觉内容且输出第一视觉内容。借此，可改善用户的虚拟现实(VR)体验。可改善用户的虚拟现实(VR)体验。可改善用户的虚拟现实(VR)体验。

【技术实现步骤摘要】
背景天空盒构建方法和电子装置


[0001]本公开大体上涉及一种用于改善视觉体验的机制，具体来说，涉及一种背景天空盒(skybox)构建方法和一种电子装置。

技术介绍

[0002]在提供虚拟现实(virtual reality；VR)服务期间，使用户感到身临其境是至关重要的。在一些情况下，当帧率由于某些原因(例如，重场景渲染)而下降时，可使用类似于重新投影的技术(例如，异步时间扭曲(asynchronous time wrap；ATW)、异步空间扭曲(asynchronous space wrap；ASW)等)来表示丢失帧以维持VR体验。然而，使用这些重新投影技术，视觉内容中可能存在黑边，使得沉浸式体验将受到负面影响。
[0003]相同的问题出现在远程VR流媒体内，这是因为流媒体导致的较长时延也会在重新投影之后引入这样的黑边。

技术实现思路

[0004]因此，本公开涉及一种背景天空盒构建方法和一种电子装置，其可用于解决上述技术问题。
[0005]本公开的实施例提供一种适用于电子装置的背景天空盒构建方法。所述方法包含：获得第一内容帧且重新投影第一内容帧，其中经重新投影的第一内容帧与第一视角相对应且包含多个第一对象；响应于判定第一内容帧具有表征各第一对象的深度的第一深度图，基于各第一对象的深度将第一对象划分为N个第一组，其中N为正整数；基于N个第一组构建N个天空盒层中的每一个的第一部分，其中各天空盒层的第一部分与第一视角相对应；以及将经重新投影的第一内容帧与N个天空盒层组合以产生第一视觉内容且输出第一视觉内容。
[0006]本公开的实施例提供一种电子装置，其包含存储电路和处理器。存储电路存储程序代码。处理器连接到存储电路且存取程序代码以执行：获得第一内容帧且重新投影第一内容帧，其中经重新投影的第一内容帧与第一视角相对应且包含多个第一对象；响应于判定第一内容帧具有表征各第一对象的深度的第一深度图，基于各第一对象的深度将第一对象划分为N个第一组，其中N为正整数；基于N个第一组构建N个天空盒层中的每一个的第一部分，其中各天空盒层的第一部分与第一视角相对应；以及将重新投影的第一内容帧与N个天空盒层组合以产生第一视觉内容且输出第一视觉内容。
附图说明
[0007]包含附图以提供对本专利技术的进一步理解，且附图并入在本说明书中且构成本说明书的一部分。附图示出本专利技术的实施例，且与描述一起用以解释本公开的原理。
[0008]图1绘示根据本公开的示例性实施例的电子装置的示意图。
[0009]图2绘示根据本公开的实施例的背景天空盒构建方法的流程图。
[0010]附图标号说明
[0011]100：电子装置；
[0012]102：存储电路；
[0013]104：处理器；
[0014]S210、S220、S230、S240、S250、S260：步骤。
具体实施方式
[0015]现将详细参考本专利技术的当前优选实施例，其实例在附图中示出。只要可能，在附图和描述中使用相同的附图标号来指代相同或类似部分。
[0016]参看图1，其绘示根据本公开的示例性实施例的电子装置的示意图。在各种实施例中，电子装置100可为可向用户提供视觉内容(例如，VR内容)的任何装置。在本公开的实施例中，电子装置100可为VR系统的主机，其中VR系统可包含例如头戴式显示器(head
‑
mounted display；HMD)、VR控制器、位置跟踪元件的其它元件，但本公开不限于此。在其它实施例中，电子装置100还可为独立的VR HMD，其可产生VR内容且向其用户显示VR内容，但本公开不限于此。
[0017]在图1中，手持装置100包含存储电路102和处理器104。存储电路102为固定或移动随机存取存储器(random access memory；RAM)、只读存储器(read
‑
only memory；ROM)、快闪存储器、硬盘或任何其它类似装置中的一个或组合，且其记录可由处理器104执行的多个模块。
[0018]处理器104可与存储电路102连接，且处理器104可为例如图形处理单元(graphic processing unit；GPU)、通用处理器、专用处理器、常规处理器、数字信号处理器(digital signal processor；DSP)、多个微处理器、与DSP内核相关联的一或多个微处理器、控制器、微控制器、专用集成电路(Application Specific Integrated Circuit；ASIC)、现场可编程门阵列(Field Programmable Gate Array；FPGA)电路、任何其它类型的集成电路(integrated circuit；IC)、状态机等。
[0019]在本公开的实施例中，处理器104可存取存储在存储电路102中的模块和/或程序代码以实施本公开中所提供的背景天空盒构建方法，这将在下文中进一步论述。
[0020]参看图2，其绘示根据本公开的实施例的背景天空盒构建方法的流程图。这一实施例的方法可由图1中的电子装置100执行，且下文将使用图1中所绘示的组件来描述图2中的各步骤的细节。
[0021]首先，在步骤S210中，处理器104可获得第一内容帧且重新投影第一内容帧。在实施例中，第一内容帧可为与由处理器104提供的VR服务相关的图像帧中的一个，且经重新投影的第一内容帧可与第一视角相对应且包含多个第一对象(例如，VR对象)。
[0022]更具体地说，如在上文中所提及，处理器104可能需要通过在一些场景中执行ASW或ATW来重新投影第一内容帧。举例来说，当用户以特定视角观看第一内容帧时，电子装置100可向用户提供/显示第一内容帧。然而，在较低帧率条件或其类似条件下，可能存在一些丢失帧。假设次于第一内容帧的内容帧丢失，且用户在与次于第一内容帧的内容帧相对应的时点处将他的/她的视角改变为第一视角，处理器104可能需要重新投影第一内容帧。
[0023]然而，经重新投影的第一内容帧中可能存在一些黑边。如果将经重新投影的第一
内容帧直接显示给用户，那么用户的VR体验可由于看到黑边而受到影响。因此，本公开的方法可用于解决这一问题，这将在下文中进行论述。
[0024]具体地说，在步骤S220中，处理器104可判断第一内容帧是否具有表征各第一对象的深度的第一深度图。如果是，那么处理器104可继续进行到步骤S230；如果否，那么处理器104可继续进行到步骤S240，其中步骤S240的细节将稍后论述。
[0025]在步骤S230中，处理器104可基于各第一对象的深度将第一对象划分为N个第一组，其中N为正整数。在一个实施例中，处理器104可首先获得N个深度阈值(由T1‑
T
N
表示)，其中N个深度阈值可基于设计者的要求而决定，但本公开不限于此。
[0026]在一个实施例中，深度阈值中的第j个深度阈值(即，T
...

【技术保护点】

【技术特征摘要】
1.一种背景天空盒构建方法，适用于电子装置，包括：获得第一内容帧且重新投影所述第一内容帧，其中经重新投影的所述第一内容帧与第一视角相对应且包括多个第一对象；响应于判定所述第一内容帧具有表征各所述第一对象的深度的第一深度图，基于各所述第一对象的所述深度将所述多个第一对象划分为N个第一组，其中N为正整数；基于所述N个第一组构建N个天空盒层中的每一个的第一部分，其中各所述天空盒层的所述第一部分与所述第一视角相对应；以及将经重新投影的所述第一内容帧与所述N个天空盒层组合以产生第一视觉内容且输出所述第一视觉内容。2.根据权利要求1所述的背景天空盒构建方法，其中所述N个第一组中的第i个第一组包括深度小于N个深度阈值中的第i个深度阈值的所述多个第一对象，其中i在1至N的范围内，其中所述多个深度阈值中的第j个深度阈值大于所述多个深度阈值中的第(j
‑
1)个深度阈值，其中j在2至N的范围内。3.根据权利要求1所述的背景天空盒构建方法，其中基于所述N个第一组构建所述N个天空盒层中的每一个的所述第一部分的所述步骤包括：将所述多个第一组中的第i个第一组中的所述多个第一对象映射到第i个天空盒层上。4.根据权利要求1所述的背景天空盒构建方法，其中所述多个天空盒层中的第j个天空盒层环绕所述多个天空盒层中的第(j
‑
1)个天空盒层，其中j在2至N的范围内。5.根据权利要求1所述的背景天空盒构建方法，其中所述第一内容帧包括第一眼部帧以及第二眼部帧，且所述方法还包括：响应于判定所述第一内容帧没有深度图，基于所述第一眼部帧以及所述第二眼部帧产生表征各所述第一对象的所述深度的所述第一深度图。6.根据权利要求5所述的背景天空盒构建方法，还包括：响应于判定处理负载低于负载阈值，基于所述第一眼部帧以及所述第二眼部帧产生表征各所述第一对象的所述深度的所述第一深度图；以及响应于判定所述处理负载不低于所述负载阈值，基于所有所述多个第一对象构建第N个天空盒层的所述第一部分。7.根据权利要求1所述的背景天空盒构建方法，其中经重新投影的所述第一内容帧用作所述第一视觉内容的前景，且所述N个天空盒层用作所述第一视觉内容的背景。8.根据权利要求1所述的背景天空盒构建方法，其中所述电子装置是虚拟现实(VR)系统的主机或独立的虚拟现实头戴式显示器。9.根据权利要求1所述的背景天空盒构建方法，还包括：获得第二内容帧且重新投影所述第二内容帧，其中经重新投影的所述第二内容帧与第二视角相对应，且包括多个第二对象；响应于判定所述第二内容帧具有表征各所述第二对象的深度的第二深度图，基于各所述第二对象的所述深度将所述多个第二对象划分为N个第二组；基于所述N个第二组构建各所述天空盒层的第二部分，其中各所述天空盒层的所述第二部分与所述第二视角相对应；以及将经重新投影的所述第二内容帧与所述N个天空盒层组合以产生第二视觉内容且输出
所述第二视觉内容。10.根据权利要求9所述的背景天空盒构建方法，其中在构建各所述天空盒层的所述第二部分的所述步骤之前，所述方法还包括：响应于判定所述第二内容帧以及所述第一内容帧与不同场景相对应，重置所述N个天空盒层。11.一种电子装置，包括：存储...

【专利技术属性】
技术研发人员：陈俊霖，武景龙，
申请(专利权)人：宏达国际电子股份有限公司，
类型：发明
国别省市：