用于调适可穿戴装置的视频图像的方法和设备制造方法及图纸

本申请涉及用于调适可穿戴装置的视频图像的方法和设备。确定表示可穿戴装置的实际观看方向的所述可穿戴装置的空间方向。所述可穿戴装置的所述空间方向用于从包括单视图图像的多视图图像中选择一组单视图图像。使显示器图像呈现在所述可穿戴装置的装置显示器上。所述显示器图像表示从所述可穿戴装置的所述实际观看方向观看的单视图图像。基于所述可穿戴装置的所述空间方向和所述一组单视图图像，构建所述显示器图像。

【技术实现步骤摘要】
用于调适可穿戴装置的视频图像的方法和设备
本专利技术大体上涉及视频图像，且具体来说，涉及调适可穿戴装置的视频图像。
技术介绍
可穿戴装置可用于广泛多种显示器应用，例如与虚拟现实(virtualreality，VR)和扩增现实(augmentedreality，AR)、混合现实(mixedreality，MR)、智真(telepresence)、远程医疗(telemedicine)、3D视频、全向视频等有关的那些应用。为了在观看者的体验中增加动态性和互动性，此类应用可直接或间接地监测可穿戴装置的空间位置和观看方向，所述空间位置和观看方向由可穿戴装置或其观看者的物理移动所产生。显示器应用可基于可穿戴装置的空间位置和观看方向而进一步调适所显示的图像。然而，支持在某一空间分辨率下，在任何时间在不同观看方向上用最高视力观看视频图像的顺畅体验的视频数据的数量可能极大。大量视频数据的传递在许多可操作情形中可能难以进行，尤其是在例如电影院等的位置，其中可能会包括众多可穿戴装置或观看者。此外，为了处理大量视频数据，可穿戴装置可能会在可穿戴装置变成新观看方向的第一时间和根据新观看方向在可穿戴装置中呈现高质量图像内容的稍晚的第二时间之间产生显著时间滞后(例如，长于12到15毫秒等)。此时间滞后可易于被观看者感知，并且使观看者体验变差。在此部分中描述的方法是可以实行的方法，但不一定是先前已经构想或实行过的方法。因此，除非另有指示，否则仅凭借在此部分中包含方法，不应该假设在此部分中描述的所有方法都是现有技术。类似地，除非另有指示，否则基于此部分，不应该假设在任何现有技术中已经认识到相对于一或多个方法所识别的问题。
技术实现思路
一方面，本专利技术提供一种方法，包括：确定可穿戴装置的空间方向，所述可穿戴装置的所述空间方向表示可穿戴装置在第一时间点的实际观看方向；使用表示可穿戴装置的实际观看方向的可穿戴装置的空间方向从包括多个单视图图像的多视图图像中选择对应于所述第一时间点的一组两个或两个以上观看方向的一组两个或两个以上单视图图像，多视图图像中的多个单视图图像中的每一单视图图像：(a)对应于多个观看方向中的相应观看方向，并且(b)表示从相应观看方向的多视图图像的视图；使显示器图像呈现在可穿戴装置的装置显示器上，所述显示器图像表示如在第一时间点从可穿戴装置的实际观看方向观看的单视图图像，至少部分地基于可穿戴装置的空间方向和对应于一组两个或两个以上观看方向的一组两个或两个以上单视图图像，构建所述显示器图像。另一方面，本专利技术提供一种方法，包括：确定可穿戴装置的空间方向，所述可穿戴装置的所述空间方向表示可穿戴装置在第一时间点的实际观看方向；接收对应于所述第一时间点的一组两个或两个以上观看方向的一组两个或两个以上单视图图像，可穿戴装置的空间方向用于从包括多个单视图图像的多视图图像中选择单视图图像到所述一组两个或两个以上单视图图像中，多视图图像中的多个单视图图像中的每一单视图图像：(a)对应于多个观看方向中的相应观看方向，并且(b)表示从相应观看方向的多视图图像的视图；至少部分地基于可穿戴装置的空间方向和对应于一组两个或两个以上观看方向的一组两个或两个以上单视图图像，构建显示器图像，所述显示器图像呈现在可穿戴装置的装置显示器上，所述显示器图像表示如在第一时间点从可穿戴装置的实际观看方向观看的单视图图像。另一方面，本专利技术提供一种用于执行上述方法的设备。另一方面，本专利技术提供一种用于执行上述方法的系统。另一方面，本专利技术提供一种存储软件指令的非暂时性计算机可读存储媒体，所述软件指令在由一或多个处理器执行时执行上述方法。另一方面，本专利技术提供一种包括一或多个处理器和一个或多个存储媒体的计算装置，所述存储媒体存储指令集，所述指令集在由一或多个处理器执行时执行上述方法。附图说明借助于实例而非限制在附图的图中说明本专利技术，且附图中相似参考标号指代类似元件，且其中：图1A到图1C说明涉及基于图像集合的图像重构的娱乐系统的实例配置；图2A说明通过可穿戴装置上的图像传感器进行的实例由内而外跟踪；图2B说明从多视图图像产生的实例图像集合；图2C说明可穿戴装置的左和右空间方向的实例确定；图3A说明将在可穿戴装置的装置显示器上呈现的显示器图像的实例确定；图3B说明基于图像集合中的不同图像子集的单视图图像的实例图像重构；图4A和图4B说明实例过程流；以及图5说明在其上可实施如本文中所描述的计算机或计算装置的实例硬件平台。具体实施方式本文中描述涉及调适可穿戴装置的视频图像的实例实施例。在以下描述中，出于解释的目的，阐述许多特定细节以便提供对本专利技术的透彻理解。然而，很明显，可在没有这些特定细节的情况下实践本专利技术。在其它情况下，并未详尽地描述熟知的结构和装置，以免不必要地封闭、模糊或混淆本专利技术。本文中根据以下提纲描述实例实施例：1.综述2.实例娱乐系统3.外部装置跟踪4.由内而外的装置跟踪5.图像集合产生6.基于图像集合的图像重构7.利用低带宽传输图像集合8.实例过程流9.实施机构——硬件概述10.等效方案、扩展方案、替代方案和杂项1.综述此概述呈现本专利技术的实例实施例的一些方面的基本描述。应注意，此概述不是对实例实施例的各方面的深入或详尽的总结。此外，应注意，此概述并非意图被理解为识别实例实施例的任何特别显著的方面或元件，也并非意图被理解为描绘实例实施例(具体来说)或本专利技术(一般来说)的任何范围。此概述仅以经精简和简化格式呈现涉及实例实施例的一些概念，并且应理解为仅是对随后的实例实施例的更详细描述的概念性序言。应注意，尽管本文中论述单独的实施例，但是本文中论述的实施例和/或部分实施例的任何组合可进行组合以形成其它实施例。如本文中所描述的技术可以与3D技术一起使用以提供娱乐体验。这些娱乐体验可利用共享显示器来提供，例如与以下中的任一个有关的那些显示器：杜比3D、RealD、基于线性极化的3D、基于圆极化的3D、基于光谱空间分离的3D等。娱乐体验还可利用可移动装置显示器来提供，例如与以下有关的那些可移动装置显示器：可穿戴装置上的图像投影仪、AR显示器、HoloLens显示器、MagicLeap显示器、混合现实(MixedReality，MR)显示器、张量显示器、立体显示器、光场(lightfield，LF)显示器、Immy显示器、Meta显示器等。实例可穿戴装置和装置显示器可见于阿吉特·尼南(AjitNinan)和尼尔·曼明(NeilMammen)在2017年4月11日提交的第__/___,___号美国临时专利申请(代理人案号：D17013USP1；60175-0303)，申请名称为“扩增3D娱乐系统(AUGMENTED3DENTERTAINMENTSYSTEMS)”，所述申请的全部内容由此以引用的方式并入，如同在本文中完整阐述一般。多视图图像可包括相对较大数量的视频数据，且需要相对较大的网络带宽来进行从服务器到客户端装置的流式传输。这在与实时视频应用、近实时视频应用、非实时视频应用、VR应用、AR应用、远程呈现应用、汽车娱乐应用、头盔式显示器应用、抬头显示器应用、比赛、2D显示器应用、3D显示器应用、多视点显示器应用等有关的低延迟图像处理/呈现操作中尤其具有挑战性。如本文中所描述的本文档来自技高网...

【技术保护点】
1.一种方法，其包括：确定可穿戴装置的空间方向，所述可穿戴装置的所述空间方向表示所述可穿戴装置在第一时间点的实际观看方向；使用表示所述可穿戴装置的所述实际观看方向的所述可穿戴装置的所述空间方向从包括多个单视图图像的多视图图像中选择对应于所述第一时间点的一组两个或两个以上观看方向的一组两个或两个以上单视图图像，所述多视图图像中的所述多个单视图图像中的每一单视图图像(a)对应于多个观看方向中的相应观看方向，并且(b)表示从所述相应观看方向的所述多视图图像的视图；使显示器图像呈现在所述可穿戴装置的装置显示器上，所述显示器图像表示在所述第一时间点从所述可穿戴装置的所述实际观看方向观看的单视图图像，至少部分地基于所述可穿戴装置的所述空间方向和对应于所述一组两个或两个以上观看方向的所述一组两个或两个以上单视图图像，构建所述显示器图像。

【技术特征摘要】
2017.04.11 US 62/484,1481.一种方法，其包括：确定可穿戴装置的空间方向，所述可穿戴装置的所述空间方向表示所述可穿戴装置在第一时间点的实际观看方向；使用表示所述可穿戴装置的所述实际观看方向的所述可穿戴装置的所述空间方向从包括多个单视图图像的多视图图像中选择对应于所述第一时间点的一组两个或两个以上观看方向的一组两个或两个以上单视图图像，所述多视图图像中的所述多个单视图图像中的每一单视图图像(a)对应于多个观看方向中的相应观看方向，并且(b)表示从所述相应观看方向的所述多视图图像的视图；使显示器图像呈现在所述可穿戴装置的装置显示器上，所述显示器图像表示在所述第一时间点从所述可穿戴装置的所述实际观看方向观看的单视图图像，至少部分地基于所述可穿戴装置的所述空间方向和对应于所述一组两个或两个以上观看方向的所述一组两个或两个以上单视图图像，构建所述显示器图像。2.根据权利要求1所述的方法，其中所述多视图图像的所述多个单视图图像接收有所述多个单视图图像的深度信息，并且其中进一步基于所述深度信息而构建所述显示器图像。3.根据权利要求1所述的方法，其中基于所述可穿戴装置的一或多个空间坐标确定所述可穿戴装置的所述空间方向，并且其中所述可穿戴装置的所述一或多个空间坐标包括以下中的一个：仅一或多个旋转坐标，或平移坐标和旋转坐标的组合。4.根据权利要求1所述的方法，其中进一步基于所述可穿戴装置的空间位置而选择所述一组两个或两个以上单视图图像中的单视图图像。5.根据权利要求1所述的方法，其中相对于其中驻存所述可穿戴装置的3D空间的参考坐标系确定所述可穿戴装置的所述空间方向。6.根据权利要求1所述的方法，其中所述多视图图像的所述多个单视图图像所支持的所述多个观看方向相对于所述可穿戴装置的观看者形成立体角。7.根据权利要求1所述的方法，其中所述显示器图像包括形成立体图像的左视图显示器图像和右视图显示器图像。8.根据权利要求1所述的方法，其中电影院显示器图像在3D图像空间中描绘多个视觉对象中的视觉对象的第一适当子集；其中所述显示器图像表示在所述3D图像空间中描绘所述多个视觉对象中的视觉对象的一或多个第二适当子集的装置显示器图像；并且其中所述电影院显示器图像呈现在电影院显示器上以供观看者观看，同时所述显示器图像呈现在所述可穿戴装置的所述装置显示器上以供同一观看者观看。9.根据权利要求8所述的方法，其中在多层多视图视频信号的电影院图像层中接收在所述3D图像空间中描绘所述...

【专利技术属性】
技术研发人员：A·尼南，N·马门，
申请(专利权)人：杜比实验室特许公司，
类型：发明
国别省市：美国,US