渲染三维内容的方法和装置制造方法及图纸

提供了用于编码，解码和渲染3D媒体内容的方法和装置。用于渲染三维(3D)媒体内容的装置包括：通信接口，被配置为接收多媒体流；以及一个或多个处理器，可操作地耦合到该通信接口，一个或多个处理器被配置为将多媒体流解析为包括几何帧和纹理帧的2D视频比特流、用于从2D帧渲染3D点的2D到3D转换元数据、以及描述6DoF场景中对象之间的6个自由度(6DoF)关系的场景描述元数据；解码包括几何数据和纹理数据的二维视频流，以生成二维像素数据；使用2D到3D转换元数据将2D像素数据转换为3D体素数据；以及使用场景描述元数据从3D体素数据生成6DoF场景。

Methods and devices for rendering 3D content

【技术实现步骤摘要】
【国外来华专利技术】渲染三维内容的方法和装置
本公开总体上涉及用于渲染三维(3D)内容的方法和装置。更具体地，本公开涉及用于编码，解码或渲染沉浸式(immersive)3D媒体的方法和装置。
技术介绍
由于功能强大的手持设备(诸如智能手机)的即时可用性，三百六十度(360°)视频正成为体验沉浸式视频的新方式。360°视频通过捕捉世界的360°全景，为消费者提供沉浸式“真实生活”、“身临其境”的体验。用户可以交互地改变其视点，并且根据他们的需要动态查看所捕获的场景或对象的任何部分。显示和导航传感器实时跟踪头部运动，以确定用户要观看的360°视频的区域。360°视频可提供三个自由度(3DoF)沉浸式体验。(6DoF)是沉浸式体验的下一个阶段，其中用户可以在虚拟/增强环境中转头并四处走动。为了提供6DoF体验，需要本质上是3维的多媒体数据，诸如点云。点云和网格是三维(3D)点的集合，表示对象或场景的表面的模型。点云在各种应用中都很常见，诸如游戏、3D地图、可视化、医疗应用、增强现实(AR)、虚拟现实(VR)、自动驾驶、多视图重播、6DoF沉浸式媒体等。如果不压缩，点云通常需要大量传输带宽。因此，比特率要求较高，因此在传输点云之前需要进行压缩。点云的压缩硬件和处理不同于传统的二维(2D)多媒体的压缩硬件和处理。
技术实现思路
技术问题本公开提供了用于编码、解码和渲染3D媒体内容的方法和装置。技术方案在一个实施例中，用于渲染三维(3D)媒体内容的装置包括：通信接口，被配置为接收多媒体流；以及一个或多个处理器，可操作地耦合到通信接口，一个或多个处理器被配置为：将多媒体流解析为包括几何帧和纹理帧的2D视频比特流、用于从2D帧渲染3D点的2D到3D转换元数据、以及描述6DoF场景中对象之间的6个自由度(6DoF)关系的场景描述元数据；解码包括几何数据和纹理数据的2D视频流，以生成2D像素数据；使用2D到3D转换元数据将2D像素数据转换为3D体素数据；以及使用场景描述元数据从3D体素数据生成6DoF场景。在另一实施例中，一种渲染三维(3D)媒体内容的方法，包括：接收多媒体流；将多媒体流解析为包括几何帧和纹理帧的2D视频比特流、用于从2D帧渲染3D点的2D到3D转换元数据、以及描述6DoF场景中对象之间的6个自由度(6DoF)关系的场景描述元数据；解码包括几何帧和纹理帧的2D视频流，以生成2D像素数据；使用2D到3D转换元数据将2D像素数据转换为3D体素数据；以及使用场景描述元数据从3D体素数据生成6DoF场景。在另一实施例中，用于对三维(3D)媒体内容进行编码的装置包括：一个或多个处理器，被配置为：获得6个自由度(DoF)场景；通过简化6DoF场景来生成一个或多个比特流。所述一个或多个比特流包括2D视频比特流，所述2D视频比特流包括6DoF场景每个点的几何和纹理，用于从2D像素渲染3D体素的2D到3D转换元数据、以及描述6DoF场景中对象之间的6DoF关系的场景描述元数据；以及通信接口，可操作地耦合到一个或多个处理器，其中，所述通信接口被配置为将一个或多个比特流发送到客户端设备。在另一实施例中，用于对三维(3D)媒体内容进行编码的装置包括：通信接口，被配置为接收包括6DoF场景的多媒体流；预渲染器，被配置为将6DoF场景转换为较低级别的DoF场景；编码器，被配置为将较低级别的DoF场景编码为视频数据，并且通信接口还被配置为发送包括编码的视频数据的比特流。根据以下附图、描述和权利要求，其他技术特征对于本领域技术人员而言将是显而易见的。有益效果本公开提供了用于编码、解码和渲染3D媒体内容的方法和装置。附图说明为了更完整地理解本公开及其优点，现在结合附图参照以下描述，其中相同的附图标记表示相同的部分：图1示出根据本公开的实施例的示例通信系统；图2示出根据本公开的实施例的示例电子设备；图3示出根据本公开的实施例的示例电子设备；图4示出根据本公开的一个实施例的用于三维(3D)流传输(streaming)服务的系统400的示例性概述；图5示出根据本公开的一个实施例的用于渲染沉浸式媒体内容的系统设备的示例图；图6示出根据本公开的一个实施例的用于渲染沉浸式媒体内容的系统的另一示例图；图7示出根据本公开的一个实施例的用于渲染三维(3D)内容的系统的另一示例图；图8示出根据本公开的一个实施例的用于渲染沉浸式媒体内容的客户端设备的另一示例图；以及图9示出用于渲染沉浸式媒体内容的方法900的示例性流程图。具体实施方式在进行下面的详细描述之前，阐明整个专利文件中使用的某些单词和短语的定义可能是有利的。术语“耦合”及其派生词是指两个或多个元件之间的任何直接或间接通信，无论这些元件是否彼此物理接触。术语“发送”、“接收”和“通信”及其派生词涵盖直接和间接通信。术语“包括”和“包含”及其派生词意指包括但不限于。术语“或”是包含性的，意指和/或。短语“与...关联”及其派生词意指包括、包含在其中、与...互连、包含、包含在其、连接到或与...连接、耦合到与...耦合、与...通信、与...合作、交织、并置、接近、绑定到或与...绑定、具有、具有...属性、或与...具有关系。术语“控制器”意指控制至少一个操作的任何设备、系统或其一部分。这样的控制器可以以硬件或硬件和软件和/或固件的组合来实现。与任何特定控制器相关联的功能可以是本地或远程的集中式或分布。短语“至少一个”当与项目列表一起使用时，意指可以使用一个或多个所列项目的不同组合，并且可能只需要列表中的一个项目。例如，“A、B和C中的至少一个”包括以下组合中的任何一个：A、B、C、A和B、A和C、B和C以及A和B和C。此外，以下描述的各种功能可以由一个或多个计算机程序实现或支持，每个计算机程序由计算机可读程序代码形成并体现在计算机可读介质中。术语“应用”和“程序”是指适于在合适的计算机可读程序代码中实现的一个或多个计算机程序、软件组件、指令集、过程、功能、对象、类、实例、相关数据或其一部分。短语“计算机可读程序代码”包括任何类型的计算机代码，包括源代码、目标代码和可执行代码。短语“计算机可读介质”包括能够由计算机访问的任何类型的介质，诸如只读存储器(ROM)、随机访问存储器(RAM)、硬盘驱动器、光盘(CD)、数字视频光盘(DVD)或任何其他类型的存储器。“非暂时性”计算机可读介质不包括传输暂时性电或其他信号的有线、无线、光学或其他通信链路。非暂时性计算机可读介质包括可永久存储数据的介质和可存储数据并随后覆盖的介质，诸如可重写光盘或可擦除存储设备。贯穿本专利文件提供了其他某些单词和短语的定义。本领域普通技术人员应该理解，在许多(如果不是大多数)情况下，这样的定义适用于这样定义的词和短语的先前以及将来的使用。以下讨论的图1至图9以及用于描述本专利文件中的本公开的原理的各种实施例仅是示例性的，并且不应以任何方式解释为限制本公开的范围本文档来自技高网...

【技术保护点】
1.一种用于渲染三维(3D)媒体内容的装置，所述装置包括：/n通信接口，被配置为接收多媒体流；以及/n一个或多个处理器，可操作地耦合到通信接口，一个或多个处理器被配置为：/n将多媒体流解析为包括几何帧和纹理帧的2D视频比特流、用于从2D帧渲染3D点的2D到3D转换元数据、以及描述6个自由度(6DoF)场景中对象之间的6DoF关系的场景描述元数据；/n解码包括几何数据和纹理数据的2D视频流，以生成2D像素数据；/n使用2D到3D转换元数据将2D像素数据转换为3D体素数据；以及/n使用场景描述元数据从3D体素数据生成6DoF场景。/n

【技术特征摘要】
【国外来华专利技术】20171013 US 62/571,952;20180117 US 62/618,311;20181.一种用于渲染三维(3D)媒体内容的装置，所述装置包括：
通信接口，被配置为接收多媒体流；以及
一个或多个处理器，可操作地耦合到通信接口，一个或多个处理器被配置为：
将多媒体流解析为包括几何帧和纹理帧的2D视频比特流、用于从2D帧渲染3D点的2D到3D转换元数据、以及描述6个自由度(6DoF)场景中对象之间的6DoF关系的场景描述元数据；
解码包括几何数据和纹理数据的2D视频流，以生成2D像素数据；
使用2D到3D转换元数据将2D像素数据转换为3D体素数据；以及
使用场景描述元数据从3D体素数据生成6DoF场景。


2.根据权利要求1所述的装置，其中，2D到3D视频转换元数据位于文件级别或2D视频比特流内部作为补充增强信息(SEI)消息。


3.根据权利要求1所述的装置，其中，一个或多个处理器还被配置为获得关于用户在3D空间中的位置或姿势的用户交互信息。


4.根据权利要求3所述的装置，其中，一个或多个处理器还被配置为基于用户交互信息来选择要渲染的6DoF的部分。


5.根据权利要求4所述的装置，其中，用户交互信息指示用户的位置、姿势、方向或视点中的至少一个。


6.根据权利要求4所述的装置，其中，一个或多个处理器还被配置为将多媒体流解析为渲染描述元数据，所述渲染描述元数据包括与渲染处理的配置有关的静态和动态描述。


7.根据权利要求1所述的装置，其中，通信接口还被配置为将2D视频比特流的部分发送到远程渲染器以进行部分渲染处理。


8.一种渲染三维(3D)媒体内容的方法，包括：<...

【专利技术属性】
技术研发人员：I博亚齐齐，林荣权，
申请(专利权)人：三星电子株式会社，
类型：发明
国别省市：韩国;KR