【技术实现步骤摘要】
【国外来华专利技术】
本公开的主题涉及将资产(asset)存储在客户端缓冲器中以用于在光场和/或全息显示器中的重用性的方法。
技术介绍
1、沉浸式媒体是由沉浸式技术所定义的，沉浸式技术试图通过数字模拟来创建或模仿物理世界，从而模拟任何人或所有人的感知系统，以创建用户物理地存在于场景中的感知。
2、目前有以下不同类型的沉浸式媒体技术在发挥作用：虚拟现实(virtualreality，vr)、增强现实(augmented reality，ar)、混合现实(mixed relaity，mr)、光场/全息等。vr是指通过使用头戴式耳机将用户置于由计算机生成的世界中来取代用户物理环境的数字环境。另一方面，ar采用数字媒体，并通过使用清晰的视觉、头戴式耳机、眼镜或智能手机等，将数字媒体分层到用户周围的真实世界中。mr指的是现实世界与数字世界的融合，从而创建技术和物理世界可以共存的环境。
3、光场和/或全息技术由3d空间中的来自每个点和方向的光线组成。光场和/或全息技术是基于这样一个概念：周围所看到的一切都被来自任何来源的光照亮，该光通过空间传播并击中对象的表面，在光到达我们的眼睛之前，部分光在对象的表面被吸收，部分光被反射到另一个表面。正确地再现光场将为用户提供例如双目和连续运动视差的3d效果。光场和/或全息显示器的根本概念是将光投射到全息屏幕上的大量投影模块阵列，通过在稍微不同的方向上显示不同但一致的信息来再现光场和/或全息的近似。
4、可以由五维全光函数来定义光线，其中，可以由三维(3dimensional，3d)空间中的
5、为了采集360度视频的内容，需要360度照相机；然而，当涉及到采集光场和/或全息显示器的内容时，取决于待呈现的场景的视场角(field of view，fov)，需要包括多个深度照相机或照相机阵列的昂贵设置。
6、传统的照相机只能对到达给定位置的照相机镜头的光线的2d表示进行采集。图像传感器对到达每个像素的所有光线的亮度和颜色之和进行记录。
7、当涉及到采集光场和/或全息显示器的内容时，需要光场照相机。光场照相机不仅可以采集亮度和颜色，还可以对到达照相机传感器的所有光线的方向进行采集。通过使用该信息，可以利用每个光线的来源的精确表示来重建数字场景，使得在3d中以数字方式对精确采集的场景进行重建成为可能。
8、目前，有两种主要技术用于采集这类体积的场景。第一种技术使用照相机或照相机模块阵列来采集来自每个方向的不同光线/视图，其中，每个方向对应于阵列中的一个照相机或一个照相机模块。第二种技术使用深度照相机，通过在受控的照明条件下测量多个对象的深度，可以在一次曝光中采集3d信息，而不需要结构化照明。
9、采集这类光场和/或全息显示器的多媒体内容并将其存储在服务器中，该多媒体内容可能是真实世界的内容或合成的内容。将这些数据传输到最终客户端需要大量的带宽，即使在该数据被压缩之后也不例外。因此，在带宽有限的情况下，客户端可能会经历缓冲或中断，从而使体验变得不愉快。这是将通过本申请所描述的技术解决方案而得到解决的技术问题。
10、也就是说，由于在对光场和/或全息显示器的多媒体内容进行处理的背景中的大量带宽要求而可能遭受数据存储和传输限制，现有的计算机技术在技术上是有缺陷的。因此，渴望这些问题的技术解决方案。正因此，本申请公开了通过例如经由在任何光场和/或全息显示器中的重用性来提高缓冲器(例如，客户端缓冲器)所面临的资产存储和传输能力以解决计算机技术。
技术实现思路
1、本公开包括一种方法和设备，该设备包括存储器，该存储器被配置成存储计算机程序代码；一个或多个硬件处理器，该硬件处理器被配置成访问计算机程序代码并按照计算机程序代码的指示进行操作。该计算机程序代码包括：控制代码，该控制代码被配置成使得至少一个硬件处理器对待流式传输到客户端的光场和/或全息媒体的场景进行控制；确定代码，该确定代码被配置成使得至少一个硬件处理器至少基于与客户端相关联的客户端缓冲器的状态来确定客户端能用于流式传输光场和/或全息媒体的带宽；分割代码，该分割代码被配置成使得至少一个硬件处理器将光场和/或全息媒体的场景分割成多个分割场景，每个分割场景包括场景的一个或多个资产；进一步确定代码，该进一步确定代码被配置为确定客户端缓冲器中是否存在一个或多个资产；映射代码，该映射代码被配置为使得至少一个硬件处理器基于确定客户端缓冲器中是否存在一个或多个资产而将场景的一个或多个资产映射到相应的分割场景；传输控制代码，该传输控制代码被配置为使得至少一个硬件处理器基于带宽、映射以及确定客户端缓冲器中是否存在一个或多个资产来控制一个或多个资产的子集到客户端缓冲器的传输；以及重用性控制代码，该重用性控制代码被配置为使得至少一个硬件处理器在呈现多个分割场景中的至少一个分割场景时，控制客户端重新使用资产中的至少一个资产。
2、根据各示例性实施例，该至少一个硬件处理器属于与客户端联网通信的服务器。
3、根据示例性实施例，计算机程序代码还包括跟踪代码，该跟踪代码被配置为使得至少一个硬件处理器针对多个分割场景中的前一个分割场景和连续的分割场景中的每一个，对哪些资产被发送到客户端设备进行跟踪。
4、根据各示例性实施例，该至少一个硬件处理器属于客户端。
5、根据各示例性实施例，还基于多个资产在光场和/或全息媒体的场景中的相对深度，对多个资产的一个或多个资产中的资产到客户端缓冲器的传输进行控制。
6、根据各示例性实施例，还基于多个资产在光场和/或全息媒体的场景中的相对优先级，对多个资产的一个或多个资产中的资产到客户端缓冲器的传输进行控制。
7、根据各示例性实施例，确定客户端缓冲器中是否存在一个或多个资产还包括：确定多个客户端缓冲器的任一个中是否存在一个或多个资产，其中，多个客户端缓存器包括在局域网(local area network，lan)上联网的每个客户端缓冲器。
8、根据各示例性实施例，计算机程序代码还包括分配代码，该分配代码被配置为使得至少一个硬件处理器基于多个资产中的至少一个资产在场景中出现的次数中的至少一次，给多个资产中的至少一个资产分配重用性优先级。
9、根据各示例性实施例，当呈现多个分割场景中的至少一个分割场景时，基于给多个资产中的至少一个资产分配的重用性优先级来控制客户端重新使用多个资产中的至少一个资产。
10、根据各示例性实施例，还基于以下中的至少一个给多个资产中的至少一个资产分配重用性优先级：多个资产中的至少一个资产的大小和多个资产中的至少一个资产的复杂性。
本文档来自技高网...【技术保护点】
1.一种由至少一个硬件处理器实现的方法，包括：
2.根据权利要求1所述的方法，其中，所述至少一个硬件处理器属于与所述客户端进行网络通信的服务器。
3.根据权利要求2所述的方法，还包括：
4.根据权利要求1所述的方法，其中，所述至少一个硬件处理器属于所述客户端。
5.根据权利要求1所述的方法，其中，还基于多个资产在所述光场或全息媒体的场景中的相对深度，对所述多个资产中的一个或多个资产中的资产到所述客户端缓冲器的传输进行控制。
6.根据权利要求1所述的方法，其中，还基于多个资产在所述光场或全息媒体的场景中的相对优先级，对所述多个资产的一个或多个资产中的资产到所述客户端缓冲器的传输进行控制。
7.根据权利要求1所述的方法，其中，确定所述客户端缓冲器中是否存在所述一个或多个资产还包括：确定多个客户端缓冲器的任一个中是否存在所述一个或多个资产，其中，所述多个客户端缓冲器包括在局域网LAN上联网的每个客户端缓冲器。
8.根据权利要求1所述的方法，还包括基于多个资产中的至少一个资产在所述场景中出现的次数中的至少
9.根据权利要求8所述的方法，其中，在呈现所述多个分割场景中的所述至少一个分割场景时，基于给所述多个资产中的所述至少一个资产分配的所述重用性优先级来控制所述客户端重新使用所述多个资产中的所述至少一个资产。
10.根据权利要求9所述的方法，其中，还基于以下中的至少一个给所述多个资产中的所述至少一个资产分配所述重用性优先级：所述多个资产中的所述至少一个资产的大小和所述多个资产中的所述至少一个资产的复杂性。
11.一种设备，包括：
12.根据权利要求11所述的设备，其中，所述至少一个硬件处理器属于与所述客户端进行网络通信的服务器。
13.根据权利要求12所述的设备，其中，所述计算机程序代码还包括跟踪代码，所述跟踪代码被配置成使得所述至少一个硬件处理器针对所述多个分割场景中的前一个分割场景和连续的分割场景中的每一个，对哪些资产被发送到所述客户端设备进行跟踪。
14.根据权利要求11所述的设备，其中，所述至少一个硬件处理器属于所述客户端。
15.根据权利要求11所述的设备，其中，还基于多个资产在所述光场或全息媒体的场景中的相对深度，对所述多个资产的一个或多个资产中的资产到所述客户端缓冲器的传输进行控制。
16.根据权利要求11所述的设备，其中，还基于多个资产在所述光场或全息媒体的场景中的相对优先级，对所述多个资产的一个或多个资产中的资产到所述客户端缓冲器的传输进行控制。
17.根据权利要求11所述的设备，其中，确定所述客户端缓冲器中是否存在所述一个或多个资产还包括：确定多个客户端缓冲器的任一个中是否存在所述一个或多个资产，其中，所述多个客户端缓存器包括在局域网LAN上联网的每个客户端缓冲器。
18.根据权利要求11所述的设备，其中，所述计算机程序代码还包括分配代码，所述分配代码被配置成使得所述至少一个硬件处理器基于以下中的至少一个给多个资产中的所述至少一个资产分配重用性优先级：所述多个资产中的所述至少一个资产在所述场景中出现的次数、所述多个资产中的所述至少一个资产的大小和所述多个资产中的所述至少一个资产的复杂性。
19.根据权利要求11所述的设备，其中，在呈现所述多个分割场景中的所述至少一个分割场景时，基于给多个资产中的所述至少一个资产分配的所述重用性优先级来控制所述客户端重新使用所述多个资产中的所述至少一个资产。
20.一种非暂时性计算机可读介质，存储有程序，所述程序使计算机执行过程，所述过程包括：
...【技术特征摘要】
【国外来华专利技术】
1.一种由至少一个硬件处理器实现的方法，包括：
2.根据权利要求1所述的方法，其中，所述至少一个硬件处理器属于与所述客户端进行网络通信的服务器。
3.根据权利要求2所述的方法，还包括：
4.根据权利要求1所述的方法，其中，所述至少一个硬件处理器属于所述客户端。
5.根据权利要求1所述的方法，其中，还基于多个资产在所述光场或全息媒体的场景中的相对深度，对所述多个资产中的一个或多个资产中的资产到所述客户端缓冲器的传输进行控制。
6.根据权利要求1所述的方法，其中，还基于多个资产在所述光场或全息媒体的场景中的相对优先级，对所述多个资产的一个或多个资产中的资产到所述客户端缓冲器的传输进行控制。
7.根据权利要求1所述的方法，其中，确定所述客户端缓冲器中是否存在所述一个或多个资产还包括：确定多个客户端缓冲器的任一个中是否存在所述一个或多个资产，其中，所述多个客户端缓冲器包括在局域网lan上联网的每个客户端缓冲器。
8.根据权利要求1所述的方法，还包括基于多个资产中的至少一个资产在所述场景中出现的次数中的至少一次，给所述多个资产中的所述至少一个资产分配重用性优先级。
9.根据权利要求8所述的方法，其中，在呈现所述多个分割场景中的所述至少一个分割场景时，基于给所述多个资产中的所述至少一个资产分配的所述重用性优先级来控制所述客户端重新使用所述多个资产中的所述至少一个资产。
10.根据权利要求9所述的方法，其中，还基于以下中的至少一个给所述多个资产中的所述至少一个资产分配所述重用性优先级：所述多个资产中的所述至少一个资产的大小和所述多个资产中的所述至少一个资产的复杂性。
11.一种设备，包括：
12.根据权利要求11所述的设备，其中，所述至少一个硬件处理器属于与所述客户端进...
【专利技术属性】
技术研发人员：罗伊特·阿比什克，阿芮亚娜·汉斯，
申请(专利权)人：腾讯美国有限责任公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。