渲染三维内容的方法和装置制造方法及图纸

提供了用于编码，解码和渲染3D媒体内容的方法和装置。用于渲染三维(3D)媒体内容的装置包括：通信接口，被配置为接收多媒体流；以及一个或多个处理器，可操作地耦合到该通信接口，一个或多个处理器被配置为将多媒体流解析为包括几何帧和纹理帧的2D视频比特流、用于从2D帧渲染3D点的2D到3D转换元数据、以及描述6DoF场景中对象之间的6个自由度(6DoF)关系的场景描述元数据；解码包括几何数据和纹理数据的二维视频流，以生成二维像素数据；使用2D到3D转换元数据将2D像素数据转换为3D体素数据；以及使用场景描述元数据从3D体素数据生成6DoF场景。

Methods and devices for rendering 3D content

【技术实现步骤摘要】
【国外来华专利技术】渲染三维内容的方法和装置
本公开总体上涉及用于渲染三维(3D)内容的方法和装置。更具体地，本公开涉及用于编码，解码或渲染沉浸式(immersive)3D媒体的方法和装置。
技术介绍
由于功能强大的手持设备(诸如智能手机)的即时可用性，三百六十度(360°)视频正成为体验沉浸式视频的新方式。360°视频通过捕捉世界的360°全景，为消费者提供沉浸式“真实生活”、“身临其境”的体验。用户可以交互地改变其视点，并且根据他们的需要动态查看所捕获的场景或对象的任何部分。显示和导航传感器实时跟踪头部运动，以确定用户要观看的360°视频的区域。360°视频可提供三个自由度(3DoF)沉浸式体验。(6DoF)是沉浸式体验的下一个阶段，其中用户可以在虚拟/增强环境中转头并四处走动。为了提供6DoF体验，需要本质上是3维的多媒体数据，诸如点云。点云和网格是三维(3D)点的集合，表示对象或场景的表面的模型。点云在各种应用中都很常见，诸如游戏、3D地图、可视化、医疗应用、增强现实(AR)、虚拟现实(VR)、自动驾驶、多视图重播、6DoF沉浸式媒体等。如果不压缩本文档来自技高网...

【技术保护点】
1.一种用于渲染三维(3D)媒体内容的装置，所述装置包括：/n通信接口，被配置为接收多媒体流；以及/n一个或多个处理器，可操作地耦合到通信接口，一个或多个处理器被配置为：/n将多媒体流解析为包括几何帧和纹理帧的2D视频比特流、用于从2D帧渲染3D点的2D到3D转换元数据、以及描述6个自由度(6DoF)场景中对象之间的6DoF关系的场景描述元数据；/n解码包括几何数据和纹理数据的2D视频流，以生成2D像素数据；/n使用2D到3D转换元数据将2D像素数据转换为3D体素数据；以及/n使用场景描述元数据从3D体素数据生成6DoF场景。/n

【技术特征摘要】
【国外来华专利技术】20171013 US 62/571,952;20180117 US 62/618,311;20181.一种用于渲染三维(3D)媒体内容的装置，所述装置包括：
通信接口，被配置为接收多媒体流；以及
一个或多个处理器，可操作地耦合到通信接口，一个或多个处理器被配置为：
将多媒体流解析为包括几何帧和纹理帧的2D视频比特流、用于从2D帧渲染3D点的2D到3D转换元数据、以及描述6个自由度(6DoF)场景中对象之间的6DoF关系的场景描述元数据；
解码包括几何数据和纹理数据的2D视频流，以生成2D像素数据；
使用2D到3D转换元数据将2D像素数据转换为3D体素数据；以及
使用场景描述元数据从3D体素数据生成6DoF场景。


2.根据权利要求1所述的装置，其中，2D到3D视频转换元数据位于文件级别或2D视频比特流内部作为补充增强信息(SEI)消息。


3.根据权利要求1所述的装置，其中，一个或多个处理器还被配置为获得关于用户在3D空间中的位置或姿势的用户交互信息。


4.根据权利要求3所述的装置，其中，一个或多个处理器还被配置为基于用户交互信息来选择要渲染的6DoF的部分。


5.根据权利要求4所述的装置，其中，用户交互信息指示用户的位置、姿势、方向或视点中的至少一个。


6.根据权利要求4所述的装置，其中，一个或多个处理器还被配置为将多媒体流解析为渲染描述元数据，所述渲染描述元数据包括与渲染处理的配置有关的静态和动态描述。


7.根据权利要求1所述的装置，其中，通信接口还被配置为将2D视频比特流的部分发送到远程渲染器以进行部分渲染处理。


8.一种渲染三维(3D)媒体内容的方法，包括：<...

【专利技术属性】
技术研发人员：I博亚齐齐，林荣权，
申请(专利权)人：三星电子株式会社，
类型：发明
国别省市：韩国;KR