一种基于媒体自身属性以支持空间分块的存储与传输方法技术

本发明专利技术提供一种基于媒体自身属性以支持空间分块的存储与传输方法，针对多媒体内容空间分块，在MMT中添加分块关联信息，所述分块关联信息是用于标识原多媒体内容与其空间分块之间的关联关系的信息，同时将分块关联信息与多媒体内容自身属性相结合。本发明专利技术有利于在存储和传输时都能准确索引到原多媒体内容及其空间分块内容，改进了现有的依赖于传输对原多媒体内容及其空间分块内容关联关系进行描述的严重缺陷。

A storage and transmission method based on media attributes to support spatial partitioning

【技术实现步骤摘要】
一种基于媒体自身属性以支持空间分块的存储与传输方法
本专利技术涉及一种数字媒体技术的存储和传输方法，具体地，涉及一种在互联网(Internet)中基于多媒体内容自身属性以支持空间分块的存储和传输方法。
技术介绍
随着数字媒体技术的快速发展，互联网中产生的多媒体内容呈现爆炸式的增长，特别是360度全景视频和超高分辨率视频业务(如4K，8K等)的广泛应用，多媒体服务给网络带宽造成了愈加沉重的负担。同时，终端呈现设备越来越多样化，例如超高清电视、平板电脑、智能手机等，由于硬件能力的限制，部分设备并不支持超高分辨率视频的解码及呈现。当前一些多媒体协议提出将超高分辨率的视频在空间上进行分块，构建独立于原视频编解码的分块视频，并通过信令表的形式在传输过程中对原视频与分块视频之间的关联信息进行说明，以针对不同的终端呈现设备，并结合网络带宽状况支持超高分辨率视频的完整呈现或部分呈现。然而，该种传输信令表的形式并未结合多媒体内容自身的属性去考虑，仅能够在传输过程中对原视频与分块视频之间的关联关系进行标识。一旦脱离传输，原视频与分块视频之间在空间上的固有联系便无法体现出来。如此一来，不仅破坏了原视频与分块视频、分块视频与分块视频之间的关联体系，不利于视频分块后对多媒体内容的管理，而且可能会造成已缓存内容的重复传输，降低了数据传输的效率并徒增了网络带宽的压力。此外，重复的媒体内容占据着大量的存储空间，在资源利用上存在极大的浪费。
技术实现思路
针对现有技术中的缺陷，本专利技术的目的是提供一种基于媒体自身属性以支持空间分块的存储与传输方法，解决了现有的依赖于传输对原多媒体内容及其空间分块关联关系进行描述所带来的问题，充分利用了多媒体内容自身属性对其空间分块进行有效存储及高效传输。为实现上述目的，本专利技术采用了以下技术方案：本专利技术的目的是提供一种基于多媒体内容自身属性以支持空间分块的存储和传输方法，具体为：针对多媒体内容空间分块，在MMT(多媒体终端)中添加分块关联信息，所述分块关联信息是用于标识原多媒体内容与其空间分块之间的关联关系的信息，同时将分块关联信息与多媒体内容自身属性相结合，以在存储和传输时都能准确索引到原多媒体内容及其空间分块。本专利技术中，需添加的用于标识原多媒体内容与其空间分块之间关联关系的信息可以多样，优选地，可以由以下一组信息为例实现：信息一：指示多媒体内容是否为多媒体内容空间分块；信息二：用于指示多媒体空间内容分块空间尺寸及其与原多媒体内容相对位置的刻度；信息三：在信息二的基础上，指示多媒体内容空间分块的高度尺寸及其相对于原多媒体内容在垂直方向上的位置；信息四：在信息三的基础上，指示多媒体内容空间分块的宽度尺寸及其相对于原多媒体内容在水平方向上的位置。所述多媒体内容，可以是视频、图像、音频等等。本专利技术中，至于将分块关联信息与多媒体内容自身属性相结合的方法也可以有多种，优选地，可以由以下两种方法为例实现，两者可以结合使用：方法一：将原多媒体内容与多媒体内容空间分块作为同一个媒体资源Asset，在构成Asset的媒体处理单元(MediaProcessingUnit，MPU)封装中添加分块关联信息，融为MPU固有属性，并结合媒体数据单元在Asset中的标号mpu_sequence_number确立原多媒体内容与其空间分块之间的固有联系；方法二：将原多媒体内容与其空间分块作为不同的Asset，构建信念表或者描述子，并结合MPU自身属性，即MPU所属的Asset的标识asset_id确立原多媒体内容与其空间分块之间的固有联系。进一步的，所述方法一，具体为：令处于同一个Asset中的原MPU与其空间分块MPU具有相同的mpu_sequence_number，因此若想区分原MPU与其空间分块MPU，需添加分块关联信息，而具体的添加方式也可以多种多样，可以由以下角度为例进行考虑：1、选择性地在MPU封装格式中的MediaProcessingUnit(“mmpu”)Box里设置一个分块标识字段，该字段用于指示该多媒体内容是否为多媒体内容空间分块。2、无论原MPU或其空间分块MPU，在MPU封装格式中的MediaProcessingUnit(“mmpu”)Box中以强制或可选的方式添加一字段，该字段用于标识原多媒体内容与其空间分块之间的关联关系，以在涉及空间分块时能唯一标识MPU。3、对原MPU及其空间分块MPU进行分类，结合该分类标识符，以可选的方式实现仅对多媒体内容空间分块MPU添加相应字段，该字段用于标识原多媒体内容与其空间分块之间的关联关系的信息，以在涉及空间分块时能唯一标识MPU。进一步的，所述方法二，具体为：令处于不同Asset中的原MPU及其空间分块MPU具有相同的mpu_sequence_number，且利用MPU的自身属性assed_id作为标识原Asset与其空间分块Asset之间关联关系的基础，同时围绕分块关联信息构建原Asset与其空间分块Asset之间的关联关系。关联关系的表述形式可以有多种，可以由以下角度为例进行考虑：1、选择性地在描述Asset属性的预留数据里取出或新开辟一字段，该字段用于指示该多媒体内容是否为空间分块Asset，以区别原Asset与空间分块Asset。2、构建信令信息tile_association_message()，用于描述媒体资源中原Asset与其空间分块Asset之间的空间关联关系。3、构建信令表tile_association_table()，用于描述媒体资源中原Asset与其空间分块Asset之间的空间关联关系。4、构建描述子tile_association_descriptor()，用于描述媒体资源中原Asset与其空间分块Asset之间的空间关联关系。具体的，所述基于多媒体内容自身属性以支持空间分块的存储和传输方法，步骤如下：S1：服务器端准备原多媒体内容及其空间分块；S2：利用分块关联信息标识原多媒体内容与其空间分块在空间上的关联关系；S3：用户请求原多媒体内容的某一空间分块内容，客户端将接收到的MPU存储到本地，并更新本地存储数据库；S4：用户请求原多媒体内容其他视角的内容，客户端检查本地数据库中已有的空间分块内容，并根据用户需求及分块关联信息请求空间上剩余的MPU。需要注意的是，终端设备的编解码能力限制了客户端所能播放的最大视角的多媒体内容。以上步骤采用了客户端驱动的模式为例进行说明，同样的方法也可以采用服务器端驱动等模式来实现，具体步骤如下所示：S1：服务器端准备原多媒体内容及其空间分块；S2：利用分块关联信息标识原多媒体内容与其空间分块在空间上的关联关系；S3：服务器端获取用户的终端设备编解码能力，并发送适配的原多媒体内容的某一空间分块内容；S4：客户端将接收到的MPU存储到本地，并更新本地存储数据库；S5：服务器端需向用户发送原多媒体内容其他视角的内容时，首先检查客户端的本地数据库中已有的空间分块内容，再根据分块关联信息发送空间上剩余的MPU。与现有技术相比，本专利技术具有如下的有益效果：本专利技术提供了一种基于多媒体内容自身属性以支持空间分块的存储和传输方法。针对多媒体内容空间分块，在MMT中添加必要的信息以标识原多媒体内容与其分块之间的关联关系，同时将分块本文档来自技高网...

【技术保护点】
1.一种多媒体内容的存储与传输方法，其特征在于，采用分块关联信息对原多媒体内容及其所对应的多媒体内容空间分块进行索引，从而对多媒体内容进行存储与传输，其中，所述分块关联信息结合于多媒体内容的自身属性信息中，所述分块关联信息用于标识原多媒体内容与其多媒体内容空间分块之间的关联关系。

【技术特征摘要】
1.一种多媒体内容的存储与传输方法，其特征在于，采用分块关联信息对原多媒体内容及其所对应的多媒体内容空间分块进行索引，从而对多媒体内容进行存储与传输，其中，所述分块关联信息结合于多媒体内容的自身属性信息中，所述分块关联信息用于标识原多媒体内容与其多媒体内容空间分块之间的关联关系。2.根据权利要求1所述的多媒体内容的存储与传输方法，其特征在于，存储与传输的所述多媒体内容为原多媒体内容和/或与原多媒体内容所对应的多媒体内容空间分块。3.根据权利要求1所述的多媒体内容的存储与传输方法，其特征在于，将所述分块关联信息结合于多媒体内容的自身属性信息中包括如下步骤：将原多媒体内容与多媒体内容空间分块作为相同的媒体资源，在多媒体处理单元的封装中添加分块关联信息，其中，所述原多媒体内容与多媒体内容空间分块均由多媒体处理单元组成。4.根据权利要求1所述的多媒体内容的存储与传输方法，其特征在于，将所述分块关联信息结合于多媒体内容中包括如下步骤：将原多媒体内容与多媒体内容空间分块作为不同的媒体资源，构建信念表或描述子，通过多媒体处理单元所属的媒体资源的标识确立原多媒体内容与其多媒体内容空间分块之间的固有联系。5.根据权利要求1所述的多媒体内容的存储与传输方法，其特征在于，所述分块关联信息包括：信息一：指示多媒体内容是否为多媒体内容空间分块；信息二：指示多媒体内容空间分块的空间尺寸及其与原多媒体内容相对位置的刻度。6.根据权利要求5所述的多媒体内容的存储与传输方法，其特征在于，所述指示多媒体内容空间分块的空间尺寸及其与原多媒体内容相对位置的刻度的方法包括：指示多媒体内容空间分块的高度尺寸及其相对于原多媒体内容在垂直方向上的位置，和指示多媒体内容空间分块的宽度尺寸及其相对于原多媒体内容在水平方向上的位置。7.一种多媒体内容的存储与传输方...

【专利技术属性】
技术研发人员：徐异凌，张文军，谢绍伟，陈浩，孙军，王延峰，柳宁，
申请(专利权)人：上海交通大学，
类型：发明
国别省市：上海,31