使用图像/视频编解码器的点云和网格压缩制造技术

公开了解码设备、编码设备和用于点云编码的方法。所述方法包括从三维点云生成多个二维帧，所述二维帧至少包括表示三维点云中的点的几何形状的第一帧和表示三维点云中的点的纹理的第二帧。所述方法还包括生成占用图，所述占用图指示表示三维点云中的点的二维帧中的像素的位置。所述方法还包括对二维帧和占用图进行编码以生成压缩的比特流。所述方法还包括发送压缩的比特流。

Point cloud and grid compression using image / video codec

【技术实现步骤摘要】
【国外来华专利技术】使用图像/视频编解码器的点云和网格压缩
本公开一般涉及图像处理。更具体地，本公开涉及用于压缩和解压缩点云(pointcloud)的装置和方法。
技术介绍
由于功能强大的手持设备(诸如智能电话)已经可用，三百六十度(360°)视频作为体验沉浸式视频的新方法正在出现。360°视频通过捕捉世界的360°景象，使得消费者能够有沉浸式的“真实生活”、“身临其境”的体验。用户可以交互地改变其视点，并动态查看他们想要的捕获场景或对象的任何部分。显示器和导航传感器实时跟踪头部运动，以确定用户想要观看的360°视频区域。360°视频可提供三自由度(3DoF)的沉浸式体验。(6DoF)是沉浸式体验的下一个等级，在(6DoF)中用户可以在虚拟/增强环境中转头并四处走动。本质上为3维的多媒体数据(诸如点云)是提供6DoF体验所需要的。点云和网格(mesh)是表示对象的表面或场景的模型的三维(3-D)点的集合。点云在各种应用中都很常见，所述各种应用诸如游戏、3-D地图、可视化、医疗应用、增强现实(AR)、虚拟现实(VR)、自动驾驶、多视图重播、6DoF沉浸式媒体本文档来自技高网...

【技术保护点】
1.一种用于点云解码的解码设备，所述解码设备包括：/n通信接口，被配置为接收压缩的比特流；和/n处理器，其可操作地耦合到通信接口，其中，所述处理器被配置为：/n将压缩的比特流解码为二维帧和占用图，其中，二维帧至少包括表示三维点云中的点的几何形状的第一帧和表示三维点云中的点的纹理的第二帧；/n识别指示表示三维点云中的每个点的二维帧中的像素的位置的占用图；和/n使用占用图从二维帧生成三维点云。/n

【技术特征摘要】
【国外来华专利技术】20170710 US 62/530,750;20170911 US 62/556,579;20171.一种用于点云解码的解码设备，所述解码设备包括：
通信接口，被配置为接收压缩的比特流；和
处理器，其可操作地耦合到通信接口，其中，所述处理器被配置为：
将压缩的比特流解码为二维帧和占用图，其中，二维帧至少包括表示三维点云中的点的几何形状的第一帧和表示三维点云中的点的纹理的第二帧；
识别指示表示三维点云中的每个点的二维帧中的像素的位置的占用图；和
使用占用图从二维帧生成三维点云。


2.根据权利要求1所述的解码设备，其中，为了从二维帧生成三维点云，所述处理器还被配置为：
映射第一帧中的每个点的位置，以重构三维点云中的点的几何形状；和
映射第二帧中的每个点的纹理属性，以重构三维点云中的点的纹理，
其中，基于指示三维点云中的点的几何形状的每个点的映射位置，来映射每个点的纹理属性。


3.根据权利要求1所述的解码设备，其中，为了解码压缩的比特流，所述处理器还被配置为：
解压缩第一系列的帧，每个帧表示点的几何形状，以生成包括点的几何形状的第一帧；和
解压缩第二系列的帧，每个帧表示三维点云的点的纹理，以生成包括点的纹理的第二帧。


4.根据权利要求1所述的解码设备，其中，所述处理器还被配置为：识别辅助信息，以将二维帧中的点的几何形状和点的纹理与三维点云相关联，所述辅助信息将三维点云中的几何位置和纹理属性指示到第一帧和第二帧中每一行。


5.根据权利要求1所述的解码设备，其中，为了从二维帧生成三维点云，所述处理器还被配置为：
分析第一帧的每一行以识别第一轴，其中位于每一行中的每个点对应于三维点云的沿着第一轴的位置处的点；和
通过将每个点放置在与第一帧的每一行相对应的第二轴和第三轴，来生成三维点云。


6.根据权利要求5所述的解码设备，其中，所述处理器被配置为：
识别三维点云的最长维度是第一轴；和
通过将每个点放置在与沿着三维点云的最长维度的第一帧的每一行相对应的第二轴和第三轴，来生成三维点云。


7.根据权利要求1所述的解码设备，其中：
表示点的纹理的第二帧指示三维点云的颜色属性，并且
所述处理器还被配置为将颜色属...

【专利技术属性】
技术研发人员：M布达加维，E法拉马兹，T霍，
申请(专利权)人：三星电子株式会社，
类型：发明
国别省市：韩国;KR