基于视频的点云流制造技术

本文公开了与一个或多个ISO基础媒体文件格式(ISOBMFF)容器文件中的基于视频的点云流相关的系统、方法和工具。提供了点云数据的容器格式，并且该容器格式至少指示该点云的3D区域与一个或多个基于视频的点云压缩(V

【技术实现步骤摘要】
【国外来华专利技术】基于视频的点云流
[0001]相关申请的交叉引用
[0002]本申请要求2019年5月23日提交的美国临时申请号62/852,046和2019年9月27日提交的美国临时申请号62/907,249的权益，其公开内容全文通过引用方式并入本文。

技术介绍

[0003]视频编码系统可用于压缩和/或解压数字视频信号，例如以减少此类信号需要的存储和/或传输带宽。三维(3D)点云已成为沉浸式媒体的高级表示。可使用例如多个相机、深度传感器和/或光检测和测距(LiDAR)激光扫描仪，以多种方式来捕获这些点云。在3D空间中现实地重建对象和/或场景所需的点数可为约数百万或数十亿个。因此，期望有效的表示、压缩和/或递送技术以用于存储和/或传输点云数据。

技术实现思路

[0004]本专利技术公开了用于处理与三维(3D)空间相关联的视频数据的系统、方法和工具。如本文所述的视频解码设备可包括被配置为接收媒体容器文件(例如，国际标准化组织(ISO)基础媒体文件格式(ISOBMFF)容器文件)的处理器，该媒体容器文件包括基于视频的点云压缩(V
‑
PCC)比特流。该处理器可解析其中包括的该媒体容器文件和/或该V
‑
PCC比特流以确定该3D空间中的3D区域的区域识别符(ID)以及与该3D空间相关联的一个或多个轨组的相应轨组ID。该处理器可基于确定该一个或多个轨组的该相应轨组ID与该3D区域的该区域ID链接，确定该一个或多个轨组与该3D区域相关联。该处理器可对属于该一个或多个轨组的视频轨(例如，对应于2D帧中的一个或多个区块)进行解码以渲染该3D空间的该3D区域的视觉表示。本文中描述的该一个或多个轨组可共享公共轨组类型，并且可进一步基于该轨组类型来确定该一个或多个轨组与该3D区域相关联。该媒体容器文件可包括定义与该3D空间相关联的区域的数量以及与该区域中的每一者相关联的轨组的数量的一个或多个结构，并且该处理器可被配置为基于包括在该结构中的信息来确定该一个或多个轨组的该相应轨组ID与该3D区域的该区域ID链接。
[0005]该媒体容器文件可包括定时元数据，该定时元数据包括与已被更新的该区域的子集相关联的信息，并且该定时元数据可指示对该区域的该子集的该更新(例如，位置、维度等)。此外，该视频轨可包括一个或多个样本条目，并且该一个或多个样本条目中的每一者可包括指示网络抽象层(NAL)单元大小的数据字段的长度的指示。该样本条目还可包括与该样本条目相关联的V
‑
PCC参数集的数量或与该样本条目相关联的图集NAL单元的阵列的数量的指示。
附图说明
[0006]图1A是示出可在其中实现一个或多个所公开的实施方案的示例性通信系统的系统图。
[0007]图1B是示出根据实施方案可在图1A所示的通信系统内使用的示例性无线发射/接
收单元(WTRU)的系统图。
[0008]图1C是示出根据实施方案的可在图1A所示的通信系统内使用的示例性无线电接入网络(RAN)和示例性核心网络(CN)的系统图。
[0009]图1D是示出根据实施方案的可在图1A所示的通信系统内使用的另一个示例性RAN和另一个示例性CN的系统图。
[0010]图2示出了包括多个V
‑
PCC单元的示例性基于视频的点云压缩(V
‑
PCC)比特流结构。
[0011]图3示出了示例性媒体容器结构。
[0012]图4示出了部件的内随机接入点(IRAP)样本被对准的示例性约束。
[0013]图5示出了使用IRAP周期的最小公倍数来指示V
‑
PCC IRAP的示例。
[0014]图6示出了可用于实现对3D空间内的特定区域的空间访问的示例性媒体容器结构。
具体实施方式
[0015]由以下结合附图以举例的方式给出的描述可得到更详细的理解。
[0016]图1A是示出在其中一个或多个所公开的实施方案可得以实现的示例性通信系统100的示意图。通信系统100可为向多个无线用户提供诸如语音、数据、视频、消息、广播等内容的多址接入系统。通信系统100可使多个无线用户能够通过系统资源(包括无线带宽)的共享来访问此类内容。例如，通信系统100可采用一个或多个信道接入方法，诸如码分多址接入(CDMA)、时分多址接入(TDMA)、频分多址接入(FDMA)、正交FDMA(OFDMA)、单载波FDMA(SC
‑
FDMA)、零尾唯一字DFT扩展OFDM(ZT UW DTS
‑
s OFDM)、唯一字OFDM(UW
‑
OFDM)、资源块滤波OFDM、滤波器组多载波(FBMC)等。
[0017]如图1A所示，通信系统100可包括无线发射/接收单元(WTRU)102a、102b、102c、102d、RAN 104/113、CN 106/115、公共交换电话网(PSTN)108、互联网110和其他网络112，但应当理解，所公开的实施方案设想了任何数量的WTRU、基站、网络和/或网络元件。WTRU 102a、102b、102c、102d中的每一者可以是被配置为在无线环境中操作和/或通信的任何类型的设备。作为示例，WTRU 102a、102b、102c、102d(其中任何一个均可被称为“站”和/或“STA”)可被配置为传输和/或接收无线信号，并且可包括用户装备(UE)、移动站、固定或移动用户单元、基于订阅的单元、寻呼机、蜂窝电话、个人数字助理(PDA)、智能电话、膝上型电脑、上网本、个人计算机、无线传感器、热点或Mi
‑
Fi设备、物联网(IoT)设备、手表或其他可穿戴设备、头戴式显示器(HMD)、车辆、无人机、医疗设备和应用(例如，远程手术)、工业设备和应用(例如，在工业和/或自动处理链环境中操作的机器人和/或其他无线设备)、消费电子设备、在商业和/或工业无线网络上操作的设备等。WTRU 102a、102b、102c和102d中的任一者可互换地称为UE。
[0018]通信系统100还可包括基站114a和/或基站114b。基站114a、114b中的每一者可为任何类型的设备，其被配置为与WTRU 102a、102b、102c、102d中的至少一者无线对接以促进对一个或多个通信网络(诸如CN 106/115、互联网110和/或其他网络112)的访问。作为示例，基站114a、114b可为基站收发台(BTS)、节点B、演进节点B、家庭节点B、家庭演进节点B、gNB、NR节点B、站点控制器、接入点(AP)、无线路由器等。虽然基站114a、114b各自被描绘为
单个元件，但应当理解，基站114a、114b可包括任何数量的互连基站和/或网络元件。
[0019]基站114a可以是RAN 104/113的一部分，该RAN还可包括其他基站和/或网络元件(未示出)，诸如基站控制器(BSC)、无线电网络控制器(RNC)、中继节点等。基站114a和/或基站114b可被配置为在一个或多个载波频率(其可被称本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种视频解码设备，所述视频解码设备被配置为处理与三维(3D)空间相关联的视频数据，视频解码器包括：处理器，所述处理器被配置为：接收媒体容器文件；解析所述媒体容器文件以确定所述3D空间中的3D区域的区域识别符(ID)以及与所述3D空间相关联的一个或多个轨组的相应轨组ID；基于确定所述一个或多个轨组的所述相应轨组ID与所述3D区域的所述区域ID链接，确定所述一个或多个轨组与所述3D区域相关联；以及对属于所述一个或多个轨组的视频轨进行解码以渲染所述3D空间的所述3D区域的视觉表示。2.根据权利要求1所述的视频解码设备，其中所述一个或多个轨组共享公共轨组类型，并且其中进一步基于确定所述一个或多个轨组共享所述公共轨组类型，确定所述一个或多个轨组与所述3D区域相关联。3.根据权利要求1所述的视频解码设备，其中所述媒体容器文件包括定义与所述3D空间相关联的区域的数量以及与所述区域中的每一者相关联的轨组的数量的结构，并且所述处理器被配置为基于包括在所述结构中的信息来确定所述一个或多个轨组的所述相应轨组ID与所述3D区域的所述区域ID链接。4.根据权利要求1所述的视频解码设备，其中所述媒体容器文件包括指示对所述3D区域的至少一个特性的更新的定时元数据。5.根据权利要求4所述的视频解码设备，其中所述处理器被配置为基于所述定时元数据来确定所述一个或多个轨组的所述相应轨组ID与所述3D区域的所述区域ID链接。6.根据权利要求4所述的视频解码设备，其中所述3D空间包括多个区域，并且所述定时元数据包括与已被更新的所述区域的子集相关联的信息。7.根据权利要求1所述的视频解码设备，其中所述处理器被进一步配置为基于所述媒体容器文件确定与所述3D区域相关联的参考点和所述3D区域的维度。8.根据权利要求1所述的视频解码设备，其中属于所述一个或多个轨组的所述视频轨对应于二维(2D)帧中的一个或多个区块。9.根据权利要求1所述的视频解码设备，其中所述视频轨包括一个或多个样本条目，并且所述一个或多个样本条目中的每一者包括指示网络抽象层(NAL)单元大小的数据字段的长度的指示。10.根据权利要求9所述的视频解码设备，其中所述一个或多个样本条目中的每一者还包括与所述样本条目相关联的V
‑
PCC参数集的数量或与所述样本条目相关联的图集NAL单元的阵列的数量的指示。11.一种用于对与三维(3D)空间相关联的视频数据进行解码的方法，所述方法包括：接收媒体容器文件；解析所述媒体容器文件以确定所述3D空间中的3D区域的区域识别符(ID)以及与所述3D空间相关联的一个或多个轨组的相应轨组ID；基于确定所述一个或多个轨组的所述相应轨组ID与所述3D区域的所述区域ID链接，确定所述一个或多个轨组与所述3D区...

【专利技术属性】
技术研发人员：阿赫麦德，
申请(专利权)人：VID拓展公司，
类型：发明
国别省市：