点云编码的方法和装置、计算机设备和存储介质制造方法及图纸

本申请的实施例提供了点云编码的方法和装置、计算机设备和存储介质。点云编码的方法包括：接收点云的占用图，所述占用图指示基于所述点云生成的图像中的编码块的背景部分和前景部分；在优化过程中对所述编码块的背景部分中的失真进行降值(devalating)，得到所述编码块的编码选项；以及根据所述编码选项对所述编码块进行编码。

【技术实现步骤摘要】
点云编码的方法和装置、计算机设备和存储介质优先权信息本申请要求于2019年3月1日递交的、申请号为62/812,957、专利技术名称为“用于点云压缩的增强型视频编码器RDO的技术与装置”的美国临时申请、以及于2020年2月27日递交的、申请号为16/803,600的美国申请的优先权，其全部内容通过引用并入本申请中。
本申请涉及视频编解码技术。具体地，本申请涉及点云编码的方法和装置、计算机设备和存储介质。
技术介绍
人们开发了各种技术来捕获和表示世界，例如世界中的对象、世界中的环境以及3维(3D)空间中的类似事物。世界的3D表示可以实现更身临其境的交互和沟通形式。点云可用作世界的3D表示。点云是3D空间中点的集合，每个点都具有关联的属性，例如颜色、材料特性、纹理信息、强度属性、反射率属性、运动相关属性、模态属性以及其它各种属性。这样的点云可能包含大量的数据，并且存储和传输可能既昂贵且又耗时。
技术实现思路
本申请的实施例提供了点云编码的方法和装置、计算机设备和存储介质，旨在解决在对图像进行编码的过程中，因为对图像的前景部分和后景部分采用同样的高保真度进行压缩而导致的图像压缩效率低下的问题。根据本申请的实施例，提供了一种点云编码的方法，包括：接收点云的占用图，所述占用图指示基于所述点云生成的图像中的编码块的背景部分和前景部分；在优化过程中对所述编码块的背景部分中的失真进行降值(devalating)，得到所述编码块的编码选项；以及根据所述编码选项对所述编码块进行编码。根据本申请的实施例，还提供了一种点云编码的装置，包括：接收模块，用于接收点云的占用图，所述占用图指示基于所述点云生成的图像中的编码块的背景部分和前景部分；降值(devalating)模块，用于在优化过程中对所述编码块的背景部分中的失真进行降值，得到所述编码块的编码选项；以及编码模块，用于根据所述编码选项对所述编码块进行编码。根据本申请的实施例，还提供了一种非易失性计算机可读存储介质，用于存储指令，当所述指令被用于点云编码/解码的计算机执行时，使得所述计算机执行所述点云编码的方法。根据本申请的实施例，还提供了一种计算机设备，包括一个或多个处理器和一个或多个存储器，所述一个或多个存储器中存储有至少一条指令，所述至少一条指令由所述一个或多个处理器加载并执行以实现所述点云编码的方法。通过本申请的实施例，在对图像进行编码的过程中，对图像的前景部分采用较高的保真度进行压缩，而对后景部分采用较低的高保真度进行压缩，从而提高了图像压缩的效率。附图说明根据以下详细描述和附图，所公开的主题的其他特征、性质和各种优点将进一步明确，其中图1是根据一实施例的通信系统的简化框图的示意图；图2是根据一实施例的流式传输系统的简化框图的示意图；图3示出了根据一些实施例的用于编码点云帧的编码器的框图；图4示出了根据一些实施例的用于解码与点云帧对应的压缩的比特流的解码器的框图；图5是根据一实施例的视频解码器的简化框图的示意图；图6是根据一实施例的视频编码器的简化框图的示意图；图7示出了根据本申请一些实施例的概述点云编码过程的示例的流程图；图8是根据一实施例的计算机系统的示意图。具体实施方式本申请的实施例提供了点云编码技术，特别是使用视频编码进行点云压缩(V-PCC)。V-PCC方案可以利用通用视频编解码器进行点云压缩。本申请中的点云编码技术可以增强基于V-PCC标准使用的视频编码器的速率失真优化(RDO)性能。点云是3D空间中点的集合，每个点都具有关联的属性，例如颜色、材料特性、纹理信息、强度属性、反射率属性、运动相关属性、模态属性以及其它各种属性。点云作为这些点的组合，可用于重建一个对象或场景。这些点可以在各种设置中使用多个相机和深度传感器来捕获，并且可以由数千到数十亿个点组成，以便真实地表示重建的场景。需要压缩技术以减少表示点云所需的数据量。因此，需要一些技术对点云进行有损压缩，以便将其用于实时通信和六自由度(6DoF)虚拟现实中。另外，在针对自动驾驶和文化遗产应用等的动态映射的环境中，寻求无损点云压缩的技术。运动图像专家组(MPEG)开始致力于解决几何形状和属性的压缩问题的标准，例如颜色和反射率、可缩放的/渐进的编码、随时间推移捕获的点云序列的编码以及对点云子集的随机访问。根据本申请的实施例，V-PCC背后的主要理念是利用现有的视频编解码器将动态点云的几何形状、占用和纹理压缩为三个单独的视频序列。解释这三个视频序列所需的额外元数据被单独压缩。总比特流的一小部分是元数据，可以使用软件实现对其进行有效地编码/解码。大部分信息由视频编解码器处理。图1示出了根据本申请一实施例的通信系统(100)的简化框图。通信系统(100)包括多个终端装置，所述终端装置可以通过例如网络(150)彼此通信。例如，通信系统(100)包括通过网络(150)互连的第一终端装置(110)和第二终端装置(120)。在图1的示例中，第一终端装置(110)和第二终端装置(120)执行点云数据的单向传输。例如，第一终端装置(110)可以压缩由与第一终端装置(110)连接的传感器105捕获的点云(例如，表示结构的点)。压缩的点云可以例如以比特流的形式通过网络(150)传输到第二终端装置(120)。第二终端装置(120)可以从网络(150)接收压缩的点云，解压缩该比特流以重建点云，并根据重建的点云适当地显示。单向数据传输在媒体服务等应用中可能很常见。在图1的示例中，第一终端装置(110)和第二终端装置(120)可以为服务器和个人计算机，但是本申请的原理可以不限于此。本申请的实施例适用于膝上型计算机、平板电脑、智能电话、游戏终端、媒体播放器和/或专用三维(3D)设备。网络(150)表示在第一终端装置(110)和第二终端装置(120)之间传输压缩的点云的任何数目的网络。网络(150)可以包括例如有线(连线的)和/或无线通信网络。网络(150)可以在电路交换和/或分组交换信道中交换数据。该网络可包括电信网络、局域网、广域网和/或互联网。出于本申请的目的，除非在下文中有所解释，否则网络(150)的架构和拓扑对于本申请公开的操作来说可能是无关紧要的。图2示出了针对点云的所公开主题的应用的示例。所公开的主题可以等同地应用于其他支持点云的应用，包括3D远程呈现应用、虚拟现实应用。流式传输系统200可以包括捕获子系统(213)。捕获子系统(213)可以包括点云源(201)，例如光检测和测距(LIDAR)系统、3D相机、3D扫描仪、在软件中生成未压缩的点云的图形生成组件、以及生成例如未压缩的点云(202)的类似组件。在一个示例中，点云(202)包括由3D相机捕获的点。与压缩的点云(204)(压缩的点云的比特流)相比，点云(202)被描绘为粗线以强调高数据量。压缩的点云(204)可以由电子设备(220)本文档来自技高网...

【技术保护点】
1.一种点云编码的方法，其特征在于，包括：/n接收点云的占用图，所述占用图指示基于所述点云生成的图像中的编码块的背景部分和前景部分；/n在优化过程中对所述编码块的背景部分中的失真进行降值(devalating)，得到所述编码块的编码选项；以及/n根据所述编码选项对所述编码块进行编码。/n

【技术特征摘要】
20190301 US 62/812,957;20200227 US 16/803,6001.一种点云编码的方法，其特征在于，包括：
接收点云的占用图，所述占用图指示基于所述点云生成的图像中的编码块的背景部分和前景部分；
在优化过程中对所述编码块的背景部分中的失真进行降值(devalating)，得到所述编码块的编码选项；以及
根据所述编码选项对所述编码块进行编码。


2.根据权利要求1所述的方法，其特征在于，进一步包括：
在所述优化过程中忽略所述编码块的背景部分中的失真。


3.根据权利要求2所述的方法，其特征在于，进一步包括：
计算作为所述前景部分中的失真的函数的成本、以及所述背景部分和所述前景部分的编码速率；以及
最小化所述成本以确定所述编码块的编码选项。


4.根据权利要求3所述的方法，其特征在于，进一步包括：
当所述编码块的子块在所述编码块的前景部分中包括至少一个像素时，将所述编码块的子块的失真包括到所述成本的计算中。


5.根据权利要求3所述的方法，其特征在于，进一步包括：
当所述编码块的子块的像素均不在所述前景部分中时，在所述成本的计算中忽略所述编码块的子块的...

【专利技术属性】
技术研发人员：沃索基阿拉什，芮世薰，刘杉，
申请(专利权)人：腾讯美国有限责任公司，
类型：发明
国别省市：美国;US