提升质量递送及合成处理制造技术

提供了一种将媒体内容编码成多个空间对象的媒体内容递送装置。所述媒体内容递送装置根据第一组参数编码第一空间对象，所述媒体内容递送装置根据第二组参数也编码第二空间对象，所述第一空间对象和所述第二空间对象独立地被编码。所述媒体内容递送装置也基于所述第一组参数、所述第二组参数以及所述第一空间对象和所述第二空间对象之间的关系生成元数据。所述媒体内容递送装置然后传输或存储已编码的所述第一空间对象、已编码的所述第二空间对象以及生成的所述元数据。

【技术实现步骤摘要】
【国外来华专利技术】提升质量递送及合成处理相关引用本专利技术是非临时申请的一部分，非临时申请要求分别提交于2016年9月2日、2016年9月9日、2016年12月19日、2017年1月11日、2017年1月11日的，号码为62/382,807、62/385,297、62/436,010、62/444,884及62/444,889的美国临时专利申请案的优先权。上述申请的内容在此通过参考纳入其中。
本专利技术一般涉及媒体内容的递送。特别地，本专利技术涉及可适性视频和360°虚拟现实(360VR)的媒体内容的准备、递送和合成的方法。
技术介绍
除非另有说明，否则本节所描述的方法不是下文所列权利要求的现有技术，并且不因为包含在本节中而被承认为现有技术。视频编码被用于广泛的应用中，从多媒体消息、视频通话和通过移动电视、无线和网络视频流的视频会议、标准和高清电视广播以及到虚拟现实。此外，视频内容被递送到各种各样的具有异构显示(heterogeneousdisplay)和计算能力的解码装置中。视频比特流(bit-stream)可适性有助于已编码的视频的传输的适度劣化(gracefuldegradation)。当相同的已编码的视频被递送至不同的具有异构显示和计算能力的解码装置中的时候，视频可适性方案例如可适性视频编码(scalablevideocoding,简称SVC)允许一个特定标准(例如H.264/AVC)的相同的已编码的视频去适应比特率(bitrates)、空间格式(spatialformats)和/或功耗(powerconsumption)的不同需求。为了有助于视频比特流的可适性，已编码的视频以各种各样的空间或时间分辨率或质量同时地传送或存储。360°虚拟现实(360VR)是改变的、增强的(augmented)或者代替的(substituted)环境的视听模拟(audiovisualsimulation)。虚拟现实视频围绕着用户，允许用户在任意方向或者以任意视角(viewangle)环视，就像他或她可以在真实生活中看到的那样。360VR视频生成了用于各种应用的印刷和全景虚拟旅游产品中的异常高质量和高分辨率的全景(panoramic)视频，如娱乐、飞行员训练、外科手术以及太空或深水勘探。
技术实现思路
下述说明仅是说明性的，并不旨在以任何方式进行限制，也就是说，下述说明被提供以介绍本文所描述的新颖的和非显而易见技术的概念、亮点、效益和优势。选择性的而不是所有实施方式将在下面的详细描述中进一步描述。因此，后续的说明并不旨在确定所要求保护主题的基本特征，也不旨在决定所要求保护主题的范围。有本专利技术的一些实施例提供了一种提升质量递送和合成方案，其中媒体内容(例如视频或图像)被编码成多个不同的层或多个空间对象以致可以被合成为具有各种各样质量的展示当中。所述多个空间对象被独立地编码及被独立地解码，已编码的媒体内容和元数据有关，元数据包括用于至少一些空间对象的参数以及表征所述多个空间对象之间关系的参数。在一些实施例中，媒体内容递送装置将媒体内容编码成多个空间对象，所述媒体内容递送装置根据第一组参数编码第一空间对象，所述媒体内容递送装置根据第二组参数也编码第二空间对象，所述第一空间对象和所述第二空间对象被独立地编码。所述媒体内容递送装置根据所述第一组参数、所述第二组参数以及所述第一空间对象和所述第二空间对象之间的关系还生成元数据，然后所述媒体内容递送装置传输或存储所述已编码的第一空间对象、所述已编码的第二空间对象以及所述生成的元数据。在一些实施例中，所述第一空间对象由第一视频或图像编码标准进行编码以及所述第二空间对象由第二、不同的视频编码或图像标准进行编码。所述第一空间对象可以由帧内编码而不经过帧间预测编码进行编码。所述第一空间对象是从原始图像中下变频的基础质量层对象，所述第二空间对象是由以下步骤获得的提升质量层，(i)重构来自于已编码的基础质量层对象的所述基础质量层对象；(ii)将重构的基础质量层对象上变频到特定的分辨率；以及(iii)以特定的分辨率计算上变频的所述重构的基础质量层对象和所述原始图像之间的差异。在一些实施例中，所述元数据可以包括来自于所述原始图像的所述基础质量层下变频的下变频的比率。所述基础质量层可以在第一投影模式中以及所述提升质量层在第二、不同的投影模式中。所述元数据可以包括指示所述第一投影模式、所述第二投影模式以及以基础质量层的包装模式的参数。所述元数据可以包括将空间域中的对象指定作为媒体内容的子资产的参数。所述元数据可以包括识别所述第一投影模式和基础质量层的包装模式的参数，所述元数据也可以包括从所述原始图像所述基础质量层下变频的下变频的比率。所述元数据可以包括用于指定所述第二空间对象作为以资产的子资产的参数。所述元数据可以包括指示所述第一空间对象和所述第二空间对象可以被处理用于同时展示的参数。当合成所述已解码的第一空间对象和所述已解码的第二空间对象的时候，所述元数据也可以包括指定一模式用于混合第一空间图像和第二空间图像的参数。在一些实施例中，媒体内容合成装置解码多个空间对象并将所述多个已解码的空间对象合成到合成展示中。所述媒体内容合成装置接收已编码的第一空间对象、已编码的第二空间对象以及和所述已编码的第一空间对象和所述已编码的第二空间对象有关的元数据。所述媒体内容合成装置根据从所述元数据获得的第一组参数，解码所述第一空间对象；根据从所述元数据获得的第二组参数，解码所述第二空间对象，所述第一空间对象和所述第二空间对象被独立地被解码。所述媒体内容合成装置根据从所述元数据获得所述第一空间对象和所述第二空间对象之间的关系参数，将所述已解码的第一空间对象和所述已解码的第二空间对象合成到合成展示中。在一些实施例中，根据感兴趣区域选择，所述第二空间对象可以部分地被取得和被解码。所述合成展示可以是基于全景图像的虚拟现实视频，以及其中所述ROI选择基于由一VR装置指定的一视口。附图说明附图被包括以提供本专利技术的更进一步的了解，并且被并入并构成本专利技术的一部分。附图说明了本专利技术的实施方式，并和说明书一起用于解释本专利技术的原理。可以理解的是，为了清楚地说明本专利技术的概念，附图不需要按比例绘制，如一些组件可以和实际实施方式中的尺寸不成比例地被示出。图1示出了媒体内容递送装置。第2图示出了媒体内容合成装置。图3概念性地示出了用于对合成展示的空间对象进行编码的一进程。图4概念性地示出了用于对合成展示的空间对象进行解码的一进程。图5示出了对将要被合成的基础质量层和提升质量层进行编码的可适性视频编码器。图6示出了接收、解码以及合成基础质量层对象和提升质量层对象以得到可适性视频展示的可适性视频解码器。图7示出了和示例性实施例一致的VR内容递送系统。图8a-b示出了VR内容递送系统的实施例。图9a-b示出了标示基础和提升质量内容的存在和关系的示例性的MPD。图10示出了示例性MPD，其中提升质量层被编码为HEVC方块(tile)。图11示出了示例性MPD，其中指示了用于VR投影的投影和包装格式。图12示出了2D笛卡尔(Cartesian)坐标样本的语法，所述语法携带混合信息作为参数。图13示出了示例性MPD，所述MPD使用携带混合信息作为参数的2D笛卡尔坐标样本。图1本文档来自技高网...

【技术保护点】
1.一种方法，其特征在于，包括：根据第一组参数编码第一空间对象；根据第二组参数编码第二空间对象，其中所述第一空间对象和所述第二空间对象独立地被编码；基于所述第一组参数、所述第二组参数以及所述第一空间对象和所述第二空间对象之间的关系生成元数据；以及传输或存储已编码的所述第一空间对象、已编码的所述第二空间对象以及生成的所述元数据。

【技术特征摘要】
【国外来华专利技术】2016.09.02 US 62/382,807;2016.09.09 US 62/385,297;1.一种方法，其特征在于，包括：根据第一组参数编码第一空间对象；根据第二组参数编码第二空间对象，其中所述第一空间对象和所述第二空间对象独立地被编码；基于所述第一组参数、所述第二组参数以及所述第一空间对象和所述第二空间对象之间的关系生成元数据；以及传输或存储已编码的所述第一空间对象、已编码的所述第二空间对象以及生成的所述元数据。2.如权利要求1所述的方法，其特征在于，所述第一空间对象由第一视频/图像编码标准进行编码，以及所述第二空间对象由第二、不同的视频/图像编码标准进行编码。3.如权利要求1所述的方法，其特征在于，所述第二空间对象由帧内编码而不经过帧间预测编码进行编码。4.如权利要求1所述的方法，其特征在于，所述第一空间对象包括来自于原始图像下变频的基础质量层，所述第二空间对象包括提升质量层，所述提升质量层通过以下步骤获得：(i)重构来自于已编码的所述基础质量层对象的所述基础质量层对象；(ii)将重构的所述基础质量层对象上变频至特定的分辨率；以及(iii)以所述特定的分辨率计算上变频的所述重构的基础质量层对象和所述原始图像之间的差异。5.如权利要求4所述的方法，其特征在于，所述元数据包括从所述原始图像到所述基础质量层的所述下变频的下变频的比率。6.如权利要求1所述的方法，其特征在于，所述第一空间对象和所述第二空间对象是合成全景图像的基础质量层和提升质量层，以及其中所述基础质量层在第一投影模式中，并且所述提升质量层在第二、不同的投影模式中。7.如权利要求1所述的方法，其特征在于，所述元数据包括识别所述基础质量层的所述第一投影模式、所述第二投影模式以及包装模式的参数。8.如权利要求1所述的方法，其特征在于，所述元数据包括将空间域中的对象指定为媒体内容的子资产的参数。9.一种电子装置，其特征在于，包括：第一视频编码电路，用于根据第一组参数编码第一空间对象；第二视频编码电路，用于根据第二组参数编码第二空间对象，其中所述第一空间对象和所述第二空间对象独立地被编码；元数据生成器，用于基于所述第一组参数、所述第二组参数以及所述第一空间对象和所述第二空间对象之间的关系生成元数据；以及汇编电路，用于对已编码的所述第一空间对象、已编码的所述第二空间对象以及生成的所述元数据进行汇编以用于传输。10.一种电子装置，其特征在于，包括：第一视频解码电路，用于根据第一组参数解码第一空间对象；第二视频解码电路，用于根据第二组参数解码第二空间对象，其中所述第一空间对象和所述第二空间对象独立地被解...

【专利技术属性】
技术研发人员：陈鲁林，刘杉，王新，赖柏霖，
申请(专利权)人：联发科技股份有限公司，
类型：发明
国别省市：中国台湾,71