【技术实现步骤摘要】
多媒体数据收发方法、系统、处理器和播放器
[0001]本专利技术属于沉浸式多媒体领域，具体涉及一种多自由度下多媒体数据的发送方法、接收方法、多自由度下多媒体数据系统以及媒体处理器和播放器。
技术介绍
[0002]近年来，由于虚拟现实(VR)技术的发展，媒体服务已经从传统的平面二维电视发展到佩戴头戴显示器(Head Mounted Display，HMD)进行全景沉浸式内容的体验。由VR系统制作的沉浸式媒体代表了一个虚拟空间，用户可以像在现实世界中一样自然地进行互动。虚拟现实对现实世界中视觉和听觉的感官刺激的渲染并呈现给用户。用户从一个三维空间的显示区域开始向周围观看，同时根据视窗得到关联的音频。
[0003]但随着视觉媒体相关硬件性能的增强，特别是媒体获取设备、媒体处理设备和计算设备性能的提升。传统的沉浸媒体如，3自由度(three Degrees of Freedom，3DoF)已经得到了全面和成熟的应用和发展。随着用户对于沉浸式媒体的需求不断增多，3DoF技术由于仅支持用户在固定点进行头部旋转的观看模式，已经不能...
【技术保护点】
【技术特征摘要】
1.一种多自由度下多媒体数据的发送方法，其特征在于，包括：对多媒体数据按照封装传输协议进行封装，该封装传输协议包含：确定多媒体数据的属性信息，包含：针对多媒体数据的不同媒体类型，确定数据类型；确定并标识媒体类型的多媒体数据所在轨道媒体流的数量和位置信息；和确定不同媒体数据中多个数据内容之间的关联关系；以及对所述属性信息分别确定相对应的索引方式和索引信息，将封装后的多媒体数据进行传输。2.根据权利要求1所述的多自由度下多媒体数据的发送方法，其特征在于，包括：多媒体数据的数据形式包含3Dof+方式、和6Dof方式；封装传输适用于MPEG媒体文件传输MMT方式、智能媒体传输SMT方式、基于ISO的媒体文件格式ISOBMFF、和全景媒体应用OMAF的扩展方式。3.根据权利要求1所述的多自由度下多媒体数据的发送方法，其特征在于，包括：多媒体数据的不同媒体类型包含：传统二维视频、图集视频、动态点云、静态点云、光场。4.根据权利要求1所述的多自由度下多媒体数据的发送方法，其特征在于，包括：确定多媒体数据的数据类型，包含：当媒体类型为图集视频时，数据类型包含纹理数据和深度数据；当媒体类型为动态点云时，数据类型包含纹理、几何、占用图和附加信息数据；当媒体类型为静态点云时，数据类型包含纹理、几何、和附加信息数据；当媒体类型为光场时，数据类型包含纹理数据、和角度数据。5.根据权利要求1所述的多自由度下多媒体数据的发送方法，其特征在于，包括：确定多媒体数据的数据类型，还进一步包括：针对每个数据类型确定对应的数据类型的数据组数。6.根据权利要求5所述的多自由度下多媒体数据的发送方法，其特征在于，包括：其中，不同数据类型的数据组数之间对应关系包含：同一结构对应同一的纹理；或者同一结构对应的不同且互为替补关系的纹理。7.根据权利要求1所述的多自由度下多媒体数据的发送方法，其特征在于，包括：确定并标识媒体类型的多媒体数据所在轨道媒体流的数量和位置信息，包含：定义轨道类型，表明每种媒体类型的多媒体数据在一个或至少两个轨道中，其中，单轨时：定义多媒体数据所在媒体轨道号；以及定义多媒体数据中每个数据在轨道中的具体位置；至少两轨时：定义多媒体数据中包含的每个数据在媒体轨道号，以及定义多媒体数据中每个数据在轨道中的具体位置。8.根据权利要求1所述的多自由度下多媒体数据的发送方法，其特征在于，包括：确定不同媒体数据中多个数据内容之间的关联关系，该关联关系包含：数据内容之间相互依赖、数据内容之间单一依赖、以及数据内容之间互相替换。
9.根据权利要求7所述的多自由度下多媒体数据的发送方法，其特征在于，包括：相互依赖的关联关系包含：图集中纹理和深度数据相互依赖；点云中的几何、占用图、附加信息之间相互依赖共同构建出点云几何骨架，单一依赖的关联关系包含：点云中的纹理数据需要依赖几何、占用图、附加信息共同构建几何骨架；附加图集依赖基本图集，以及互相替换的关联关系包含：针对同一个点云几何骨架，配以不同的纹理数据用于替换。10.根据权利要求1所述的多...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。