用于通知推荐视口和用户选择视口的装置和方法制造方法及图纸

本公开提供了用于通知推荐视口和用户选择视口的装置和方法。一种装置包括处理器电路。该处理器电路用于：对从服务器接收到的清单文件进行解码，以获得推荐视口信息和适配集信息，其中推荐视口信息用于表明一个或多个推荐视口，适配集信息用于表明一个或多个适配集，其中每个适配集与一个或多个推荐视口中的相应推荐视口相对应；基于一个或多个推荐视口来选择视口；以及对一个或多个适配集中与所选择的视口相对应的适配集进行解码。还可以公开并要求保护其他实施例。并要求保护其他实施例。并要求保护其他实施例。

【技术实现步骤摘要】
用于通知推荐视口和用户选择视口的装置和方法
[0001]优先权声明
[0002]本申请基于2020年6月24日提交的序列号为63/043,667的美国临时申请，并且要求该申请的优先权。该申请的全部内容通过引用被整体结合于此。


[0003]本公开的实施例总体涉及通信领域，具体地，涉及用于通知推荐视口和用户选择视口的装置和方法。

技术介绍

[0004]最初的虚拟现实(VR)360支持限于三个自由度(3DoF)，这意味着观看姿势只能通过分别在x轴、y轴和z轴上旋转(分别表示为滚动(roll)、俯仰(pitch)、和偏航(yaw))来改变，而纯粹的平移(translational)运动不会导致渲染不同的媒体。因此，VR 360提供了整体的平面体验，因为它将观看者定位在静态位置，运动自由度有限且交互性水平较低。从某种意义上说，这是一种限制，因为不可能实现完全沉浸式体验，从而损害了用户体验和真实感。新兴的VR标准和产品将针对3DoF+和六个自由度(6DoF)提供支持，以提高沉浸感和用户体验的水平。3DoF+通过限制用户头部围绕原始视点的平移运动来限制观看位置的修改，而6DoF既支持旋转运动也支持平移运动，从而使用户不仅可以更改方向，还可以改变在观察场景中四处移动的位置。运动图像专家组(MPEG)目前正在开发编解码器、存储装置和分发格式，以及渲染元数据以提供可互操作且基于标准的沉浸式3DoF+和6DoF体验，这作为其“沉浸式媒体的编码表示”(MPEG
‑
I)项目的一部分来开发。
专利技术内容
[0005]本公开的一方面提供了一种装置，包括：接口电路；和处理器电路，所述处理器电路与所述接口电路耦合，其中，所述处理器电路用于：对经由所述接口电路从服务器接收到的清单文件进行解码，以获得推荐视口信息和适配集信息，其中所述推荐视口信息用于表明一个或多个推荐视口，并且所述适配集信息用于表明一个或多个适配集，其中每个适配集与所述一个或多个推荐视口中的相应推荐视口相对应；基于所述一个或多个推荐视口来选择视口；以及对所述一个或多个适配集中与所选择的视口相对应的适配集进行解码。
[0006]本公开的一方面提供了一种装置，包括：接口电路；和处理器电路，所述处理器电路与所述接口电路耦合，其中，所述处理器电路用于：编码清单文件以经由所述接口电路传输到用户设备(UE)，所述清单文件用于表明一个或多个推荐视口和一个或多个适配集，每个适配集与所述一个或多个推荐视口中的相应推荐视口相对应；对经由所述接口电路从所述UE接收到的消息进行解码，以获得所述UE基于所述一个或多个推荐视口所选择的视口；以及对所述一个或多个适配集中与所述UE所选择的视口相对应的适配集进行编码，以经由所述接口电路传输到所述UE。
[0007]本公开的一方面提供了一种装置，包括：接口电路；和处理器电路，所述处理器电
路与所述接口电路耦合，其中，所述处理器电路用于：对经由所述接口电路从服务器接收到的媒体呈现描述(MPD)文件进行解码，以获得针对一个或多个基于HTTP动态自适应流送(DASH)的适配集的信息；对经由所述接口电路从所述服务器接收到的网络辅助消息进行解码，以获得推荐视口；基于所述推荐视口，从所述一个或多个基于DASH的适配集中选择基于DASH的适配集；以及对经由所述接口电路从所述服务器接收到的、所选择的基于DASH的适配集进行解码。
[0008]本公开的一方面提供了一种装置，包括：接口电路；和处理器电路，所述处理器电路与所述接口电路耦合，其中，所述处理器电路用于：对经由所述接口电路从第一用户设备(UE)接收到的第一消息进行解码，以获得由所述第一UE选择的视口；以及对第二消息进行编码，以经由所述接口电路传输到第二UE，其中，所述第二消息包括由所述第一UE选择的视口以作为针对所述第二UE的推荐视口。
附图说明
[0009]在附图中，将通过示例而非限制的方式说明本公开的实施例，其中相同的参考标号指代相似的元件。
[0010]图1示出了根据本公开的一些实施例的V
‑
PCC架构的示例。
[0011]图2示出了根据本公开的一些实施例的基于DASH的流送框架的示例。
[0012]图3示出了根据本公开的一些实施例的用于点云内容递送的DASH递送功能中的内容流的示例。
[0013]图4示出了根据本公开的一些实施例的SAND增强的DASH参考架构。
[0014]图5示出了根据本公开的一些实施例的用于通知推荐视口的和用户选择视口的方法的流程图。
[0015]图6示出了根据本公开的一些实施例的用于通知推荐视口的和用户选择视口的方法的流程图。
[0016]图7示出了根据本公开的一些实施例的用于通知推荐视口的和用户选择视口的方法的流程图。
[0017]图8示出了根据本公开的一些实施例的用于通知推荐视口的和用户选择视口的方法的流程图。
[0018]图9是示出根据一些示例实施例的能够从机器可读或者计算机可读介质读取指令并且执行本文所论述的任何一种或多种方法的组件的框图。
[0019]图10示出了根据本公开的各种实施例的网络。
[0020]图11示意性地示出了根据本公开的各种实施例的无线网络。
[0021]图12示出了根据本公开的一些实施例的设备的示例组件。
[0022]图13示出了根据各种实施例的基础设施设备的示例。
具体实施方式
[0023]将使用本领域技术人员通常采用的术语来描述说明性实施例的各个方面，以将本公开的实质传达给本领域其他技术人员。然而，对于本领域技术人员易于理解的是，可以使用所描述方面的部分来实践许多替代实施例。出于解释的目的，阐述了具体的数字、材料和
配置，以提供对说明性实施例的透彻理解。然而，对于本领域技术人员易于理解的是，可以在没有这些具体细节的情况下实践替代实施例。在其他情况下，可以省略或简化众所周知的特征，以避免模糊说明性实施例。
[0024]此外，各种操作将以最有助于理解说明性实施例的方式被描述为多个离散操作；然而，描述的顺序不应被解释为暗示这些操作必须依赖于顺序。特别是，这些操作不需要按照呈现的顺序执行。
[0025]本文重复使用短语“在实施例中”、“在一种实施例中”和“在一些实施例中”。该短语通常不是指同一实施例；但是，它可能指同一实施例。除非上下文另有规定，否则术语“包含”、“具有”和“包括”是同义词。短语“A或B”和“A/B”表示“(A)，(B)或(A和B)”。
[0026]图1示出了根据本公开的一些实施例的基于视频的点云编码(video
‑
based point cloud coding，V
‑
PCC)架构的示例。这种V
‑
PCC架构可以允许重用传统视频编解码器，例如H.264/AVC和H.265/HEVC。特别地，可以将点云的3D几何和属性数据转换为一组2D补丁(patch)。然后将此类补丁打包本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种装置，包括：接口电路；和处理器电路，所述处理器电路与所述接口电路耦合，其中，所述处理器电路用于：对经由所述接口电路从服务器接收到的清单文件进行解码，以获得推荐视口信息和适配集信息，其中所述推荐视口信息用于表明一个或多个推荐视口，并且所述适配集信息用于表明一个或多个适配集，其中每个适配集与所述一个或多个推荐视口中的相应推荐视口相对应；基于所述一个或多个推荐视口来选择视口；以及对所述一个或多个适配集中与所选择的视口相对应的适配集进行解码。2.如权利要求1所述的装置，其中，所述清单文件包括媒体呈现描述(MPD)。3.如权利要求1所述的装置，其中，所述推荐视口信息包括关于相机在x
‑
y
‑
z笛卡尔坐标中的位置和/或在x
‑
y
‑
z四元数表示中的方向方面的语法要素。4.如权利要求1所述的装置，其中，所述处理器电路还用于：编码超文本传输协议(HTTP)GET请求以经由所述接口电路传输到所述服务器，并且其中，所述清单文件是响应于所述HTTP GET请求来接收的。5.如权利要求1所述的装置，其中，所述清单文件是经由HTTP协议或WebSocket协议接收的。6.如权利要求1所述的装置，其中，所述处理器电路还用于：编码所选择的视口以经由HTTP协议或WebSocket协议传输到所述服务器。7.如权利要求1所述的装置，其中，所述适配集包括沉浸式媒体内容。8.如权利要求7所述的装置，其中，所述沉浸式媒体内容包括点云视频内容。9.如权利要求7所述的装置，其中，所述沉浸式媒体内容是以自适应流送格式来流送的。10.如权利要求9所述的装置，其中，所述自适应流送格式包括HTTP动态自适应流送(DASH)内容格式。11.如权利要求1所述的装置，其中，所述处理器电路还用于：将所选择的视口编码在服务器和网络辅助DASH(SAND)状态消息中，以传输到所述服务器。12.一种装置，包括：接口电路；和处理器电路，所述处理器电路与所述接口电路耦合，其中，所述处理器电路用于：编码清单文件以经由所述接口电路传输到用户设备(UE)，所述清单文件用于表明一个或多个推荐视口和一个或多个适配集，每个适配集与所述一个或多个推荐视口中的相应推荐视口相对应；对经由所述接口电路从所述UE接收到的消息进行解码，以获得所述UE基于所述一个或多个推荐视口所选择的视口；以及对所述一个或多个适配集中与所述UE所选择的视口相对应的适配集进行编码，以经由所述接口电路传输到所述UE。
13.如权利要求12所述的装置，其中，所述清单文件是经由HTTP协议或WebSocket协议来发送的。14.如权利要求12所述的...

【专利技术属性】
技术研发人员：奥兹古尔，
申请(专利权)人：英特尔公司，
类型：发明
国别省市：