用于编码和解码虚拟现实内容的方法和装置制造方法及图纸

本发明专利技术提供了一种处理多媒体数据的方法，装置和计算机可读介质。多媒体数据包括具有至少第一轨道和第二轨道的分层轨道结构，使得第一轨道处于分层轨道结构中的第一层，而第二轨道处于位于第一轨道的第一层之上的分层轨道结构中的第二层。第一元数据包含在第一轨道内，第二元数据包含在第二轨道内。可以通过基于第一元数据和第二元数据对与第一轨道相关联的多媒体数据执行轨道导出操作来解码多媒体数据，以生成第二轨道的多媒体数据，使得第二轨道是第一轨道的导出轨道。依据本发明专利技术提供的处理多媒体数据的方法，装置和计算机可读介质，可改善编解码效率。

Method and device for encoding and decoding virtual reality content

【技术实现步骤摘要】
用于编码和解码虚拟现实内容的方法和装置
本专利技术涉及视频编解码。具体而言，本专利技术涉及一种关联，存储和/或发信虚拟现实(virtualreality,VR)属性和/或元数据以及合成轨道导出(compositiontrackderivation)的方法和装置。
技术介绍
存在各种类型的3D内容(3Dcontent)和多方向内容(multi-directionalcontent)。例如，全向视频(omnidirectionalvideo)是使用一组摄像机捕获的一种视频，而不是像传统单向视频那样只使用一台摄像机。例如，可以将摄像机放置在特定中心点周围，使得每个摄像机捕获场景的球形覆盖上的一部分视频以捕获360度视频。来自多个相机的视频可以被缝合，旋转，并被投影以生成表示球形内容的投影的二维图像。例如，可以使用相等的矩形投影将球形图放入二维图像中。例如，然后可以使用二维编码和压缩技术对其进行进一步处理。最终，使用期望的传送机制(例如，拇指驱动器(thumbdrive)，数字视频光盘(digitalvideodisk,DVD)，文件下载，数字广播和/或在线流传输)来存储和传送编码和压缩的内容。这种视频可以用于虚拟现实(VR)和/或3D视频。在客户端，当客户端处理内容时，视频解码器对编码和压缩的视频进行解码并执行逆投影以将内容放回到球体上。然后，用户可以查看所呈现的内容，例如使用头戴式观看设备。内容通常根据用户的视口(viewport)进行渲染，该视口表示用户查看内容的角度。视口还可以包括表示观看区域的组件，其可以描述观看者在特定角度观看的区域的大小和形状。当视频处理不是以视口相关的方式完成时，使得视频编码器和/或解码器不知道用户将实际观看什么，则整个编码，传递和解码过程将处理整个球形内容。例如，这可以允许用户在任何特定视口和/或区域观看内容，因为所有球形内容都被编码，传递和解码。然而，处理所有球形内容可能是计算密集型的并且可能消耗大量带宽。例如，对于在线流媒体应用，处理所有球形内容会对网络带宽造成非必要的更大的负担。因此，当带宽资源和/或计算资源有限时，可能难以保持较好用户的体验。某些技术仅处理用户正在查看的内容。例如，如果用户正在观看顶部区域(例如，北极)，则不需要传送底部部分(例如，南极)的内容。如果用户更改视口，则可以相应地为新视口传递内容。作为另一示例，对于自由视点TV(freeviewpointTV,FTV)应用(例如，使用多个相机捕获场景的视频)，可以根据用户正在观看场景的角度来传送内容。例如，如果用户正在从一个视口(例如，相机和/或相邻相机)查看内容，则可能不需要为其他视口传送内容。
技术实现思路
根据本专利技术的实施方式，提供一种用于关联，存储和/或发信虚拟现实(virtualreality,VR)属性和/或元数据以及轨道合成的装置，系统和方法。依据本专利技术的一实施方式，提供一种用于解码视频数据的解码方法。该方法包括接收包括分层轨道结构的多媒体数据，该分层轨道结构包括至少第一轨道和第二轨道，其中第一轨道在分层轨道结构中处于第一层，并且第二轨道处于分层轨道中在第一轨道的第一层之上的第二层结构。该方法包括确定包含在第一轨道内的第一元数据和包含在第二轨道内的第二元数据。该方法包括解码多媒体数据，包括：基于第一元数据和第二元数据，对与第一轨道相关联的媒体数据执行轨道导出操作，以生成第二轨道的媒体数据，使得第二轨道是第一轨道的导出轨道。在一些示例中，第一轨道或第二轨道包括球形三维内容轨道，并且确定第一元数据或第二元数据包括确定立体视频轨道分组元数据，其中立体视频轨道分组元数据包括指示是否球形内容轨道用于立体视图的左视图或右视图的数据。在一些示例中，第一轨道或第二轨道包括投影的二维轨道，并且确定第一元数据或第二元数据包括确定投影的全向视频元数据，其中投影的全向视频元数据包括关于投影的二维轨道的投影格式的数据，区域式封装数据，指示局部坐标轴和全局坐标轴之间的转换的数据，指示内容覆盖的数据，或其某种组合。在一些示例中，第一轨道或第二轨道包括封装的二维轨道，并且确定第一元数据或第二元数据包括确定区域式封装元数据，其中区域式封装元数据包括在封装的二维轨道中的封装区域和在投影的二维轨道中的投影区域之间的关系。在一些示例中，第一轨道包括子图像轨道，并且确定第一元数据包括确定二维空间关系数据，其中二维空间关系数据包括指示坐标系中的位置，坐标系，坐标系的方向或其组合的数据。在一些示例中，解码多媒体数据包括：基于第一元数据，对与第一轨道相关联的多媒体内容执行第二轨道导出操作，以生成第二轨道的多媒体数据。第一轨道可以与多个变体轨道(varianttracks)相关联，每个变体轨道包括多媒体数据，并且执行轨道导出操作可以包括在多个变体轨道上执行轨道导出操作以生成第二轨道的多媒体数据。在一些示例中，该方法还包括为第二轨道生成新元数据。生成新元数据可以包括基于轨道导出操作生成一个或多个元数据，指示编码信息的元数据，或两者。在一些示例中，执行第一轨道导出操作或第二轨道导出选项包括执行轨道网格合成操作，包括基于第一元数据源确定轨道网格合成元数据，基于不同于第一元数据源的第二元数据源确定混合元数据，以及基于轨迹网格合成元数据和混合元数据执行轨迹网格合成操作。确定轨道网格合成元数据可以包括确定输出网格合成的维度，网格合成的行数，网格合成的列数，或其组合，并且确定混合元数据包括确定轨道叠加合成元数据。一些方面涉及用于编码视频数据的方法。该方法可以包括编码具有分层轨道结构的多媒体数据，该分层轨道结构包括至少第一轨道和第二轨道，其中第一轨道在分层轨道结构中处于第一层，并且第二轨道处于分层轨道结构中的在第一轨道的第一层之上的第二层中。该方法包括编码第一轨道内的第一元数据和第二轨道内的第二元数据，使得可以通过基于第一元数据和第二元数据，对与第一轨道相关的多媒体数据上执行轨道导出操作，以产生第二轨道的多媒体数据，以使得使得第二轨道是第一轨道的导出轨道。在一些示例中，第一轨道或第二轨道包括球形三维内容轨道，并且编码第一元数据或第二元数据包括编码立体视频轨道分组元数据，其中立体视频轨道分组元数据包括指示是否球形内容轨道用于立体视图的左视图或右视图的数据。在一些示例中，第一轨道或第二轨道包括投影的二维轨道，并且编码第一元数据或第二元数据包括编码投影的全向视频元数据，其中投影的全向视频元数据包括关于投影二维轨道的投影格式的数据，区域式封装数据，指示局部坐标轴和全局坐标轴之间的转换的数据，指示内容覆盖的数据，或其组合。在一些示例中，第一轨道或第二轨道包括封装的二维轨道，并且编码第一元数据或第二元数据包括编码区域式封装元数据，其中区域式封装元数据包括在封装的二维轨道中的封装区域和在投影的二维轨道中的投影区域之间的关系。在一些示例中，第一轨道包括子图像轨道，并且编码第一元数据包括编码二维空间关系数据，其中二维空间关系数据包括指示坐标系中的位置，坐标系，坐标系的方向或其组合的数据。在一些示例中，该方法还包括编码用于轨道网格合成操作的元数据，包括编码包括轨道网格合成元数据的第一元数据源，以及编码与第一元数据源不同的第二元数据源，其中第二元数据源包括：混合元数据。在一些实本文档来自技高网...

【技术保护点】
1.一种用于解码视频数据的解码方法，其特征在于，该方法包括：接收包括分层轨道结构的多媒体数据，该分层轨道结构包括至少第一轨道和第二轨道，其中：该第一轨道位于该分层轨道结构的第一层；以及该第二轨道位于该分层轨道结构中该第一轨道的该第一层之上的第二层；确定包含在该第一轨道内的第一元数据和包含在该第二轨道内的第二元数据；以及解码多媒体数据，包括：基于该第一元数据和该第二元数据，对与该第一轨道相关联的多媒体数据执行轨道导出操作，以生成该第二轨道的多媒体数据，使得该第二轨道是该第一轨道的导出轨道。

【技术特征摘要】
2018.01.17 US 62/618,099;2018.01.18 US 62/618,656;1.一种用于解码视频数据的解码方法，其特征在于，该方法包括：接收包括分层轨道结构的多媒体数据，该分层轨道结构包括至少第一轨道和第二轨道，其中：该第一轨道位于该分层轨道结构的第一层；以及该第二轨道位于该分层轨道结构中该第一轨道的该第一层之上的第二层；确定包含在该第一轨道内的第一元数据和包含在该第二轨道内的第二元数据；以及解码多媒体数据，包括：基于该第一元数据和该第二元数据，对与该第一轨道相关联的多媒体数据执行轨道导出操作，以生成该第二轨道的多媒体数据，使得该第二轨道是该第一轨道的导出轨道。2.如权利要求1所述的用于解码视频数据的解码方法，其特征在于，该第一轨道或该第二轨道包括球形三维内容轨道；以及确定该第一元数据或该第二元数据的步骤包括确定立体视频轨道分组元数据，其中该立体视频轨道分组元数据包括指示球形内容轨道是用于立体视图的左视图还是右视图的数据。3.如权利要求1所述的用于解码视频数据的解码方法，其特征在于，该第一轨道或该第二轨道包括投影的二维轨道；以及确定该第一元数据或该第二元数据包括确定投影的全向视频元数据，其中该投影的全向视频元数据包括关于投影的二维轨道的投影格式的数据，区域式封装数据，指示局部坐标轴和全局坐标轴之间转换的数据，指示内容覆盖的数据，或其组合。4.如权利要求1所述的用于解码视频数据的解码方法，其特征在于，该第一轨道或该第二轨道包括封装的二维轨道；以及确定该第一元数据或该第二元数据包括确定区域式封装元数据，其中该区域式封装元数据包括关于封装的二维轨道中的封装区域与投影的二维轨道中的投影区域之间的关系的数据。5.如权利要求1所述的用于解码视频数据的解码方法，其特征在于，该第一轨道包括子图像轨道；以及确定该第一元数据包括确定二维空间关系数据，其中该二维空间关系数据包括指示坐标系中的位置，坐标系，坐标系的方向，或其组合的数据。6.如权利要求1所述的用于解码视频数据的解码方法，其特征在于，解码多媒体数据包括：基于该第一元数据，对与该第一轨道相关联的多媒体内容执行第二轨道导出操作，以生成该第二轨道的多媒体数据。7.如权利要求6所述的用于解码视频数据的解码方法，其特征在于，该第一轨道与多个变体轨道相关联，每个变体轨道包括多媒体数据；以及执行轨道导出操作包括对多个变体轨道执行轨道导出操作以生成该第二轨道的多媒体数据。8.如权利要求1所述的用于解码视频数据的解码方法，其特征在于，还包括为该第二轨道生成新元数据。9.如权利要求8所述的用于解码视频数据的解码方法，其特征在于，生成该新元数据包括下述一个或多个数据：基于轨道导出操作的元数据；指示编码信息的元数据；或其组合。10.如权利要求1所述的用于解码视频数据的解码方法，其特征在于，执行该第一轨道导出操作或该第二轨道导出选项包括执行轨道网格合成操作，包括：基于第一元数据源确定轨道网格合成元数据；基于与该第一元数据源不同的第二元数据源确定混合元数据；以及基于该轨道网格合成元数据和该混合元数据执行轨道网格合成操作。11.如权利要求10所述的用于解码视频数据的解码方法，其特征在于，确定轨道网格合成元数据的步骤包括确定输出网格合成的维度，网格合成的行数，网格合成的列数，或其组合；确定混合元数据的步骤包括确定轨道覆盖合成元数据。12.一种用于编码视频数据的方法，其特征在于，该方法包括：编码包括至少包括第一轨道和第二轨道的分层轨道结构的...

【专利技术属性】
技术研发人员：王新，陈鲁林，
申请(专利权)人：联发科技新加坡私人有限公司，
类型：发明
国别省市：新加坡,SG