占用图精度的自适应选择制造技术

一种用于3D点云的点云压缩的编码设备、编码的方法和解码设备。编码设备被配置为为三维(3D)点云生成3D点云的点的至少几何帧的集合和占用图帧的集合。编码设备还被配置为基于与该几何帧的集合中的至少一个生成的几何帧相关联的量化参数(QP)来选择占用精度值，基于所选择的占用精度值对该占用图帧的集合中的至少一个占用图帧进行子采样，并将该几何帧的集合和该占用图帧的集合编码成比特流以供传输。

【技术实现步骤摘要】
【国外来华专利技术】占用图精度的自适应选择
本公开一般涉及处理多媒体数据。更具体地，本公开涉及用于在点云的处理期间对用于占用图的下采样和上采样的占用图精度的自适应的选择的方法和装置。
技术介绍
点云是具有属性的三维(3D)点的集合。属性可以包括几何坐标、颜色、法线、纹理坐标、材质属性、运动等。在用于处理点云的基于视频的点云(V-PCC)方法中，对于每个输入点云帧，几何和属性基于一些标准(例如，法线方向、到投影帧的距离、连续性等)被聚类并被投影到不同的平面上(例如xy、yz、zx平面)。聚类中的每个聚类当被投影到它们各自的平面上时，都显示为图块(patch)。图块被分类并被打包到存储点云的几何和纹理信息的2D视频帧中。然后，2D视频帧中的每个2D视频帧用诸如HEVC、AVC、VP9、VP8、JVET、AVC等的视频编解码器编码。图块可以是不规则形状的，因此使用二进制占用图(occupancymap)来指示几何和纹理视频中包含有效点的像素。压缩的视频和压缩的占用图与用于图块创建的一些辅助信息一起复用，以形成输出比特流。输出比特流可以被解码器接收以重建点云。
技术实现思路
技术方案本公开的实施例包括用于3D点云的点云压缩的编码设备、编码的方法和解码设备。在一个实施例中，提供了编码(encoding)设备。编码设备包括被配置为发送比特流的通信接口，以及可操作地连接到通信接口的处理器，该处理器被配置为使得编码设备为三维(3D)点云生成至少几何帧的集合，该几何帧的集合提供3D点云中的点的坐标；生成指示3D点云的点对于编码(coding)是否有效的占用图帧的集合；以及基于与该几何帧的集合中的至少一个生成的几何帧相关联的量化参数(QP)来选择占用精度值，其中当QP小于第一QP阈值时，所选择的占用精度值是第一值，其中当QP在第一QP阈值和第二QP阈值之间时，所选择的占用精度值是高于第一值的第二值，并且其中当QP大于第二阈值时，所选择的占用精度值是高于第二值的第三值。处理器还使得编码设备基于所选择的占用精度值对占用图帧的集合中的至少一个占用图帧进行子采样；将该几何帧的集合和该占用图帧的集合编码成比特流；以及发送该比特流。在另一实施例中，提供了一种用于3D点云的点云压缩的方法。该方法包括为三维(3D)点云生成至少几何帧的集合，该几何帧的集合提供3D点云中的点的坐标；生成指示3D点云的点对于编码是否有效的占用图帧的集合；以及基于与该几何帧的集合中的至少一个生成的几何帧相关联的量化参数(QP)来选择占用精度值，其中当QP小于第一QP阈值时，所选择的占用精度值是第一值，其中当QP在第一QP阈值和第二QP阈值之间时，所选择的占用精度值是高于第一值的第二值，并且其中当QP大于第二阈值时，所选择的占用精度值是高于第二值的第三值。此外，该方法包括基于所选择的占用精度值对该占用图帧的集合中的至少一个占用图帧进行子采样；将该几何帧的集合和该占用图帧的集合编码成比特流；以及发送该比特流。在又一实施例中，提供了一种用于解码3D点云的点云压缩的解码设备。解码设备包括被配置为接收比特流的通信接口，以及可操作地连接到通信接口的处理器，该处理器被配置为使解码设备将比特流解码成几何帧的集合，该几何帧的集合提供3D点云中的点的坐标；将比特流解码成指示3D点云的点对于编码是否有效的占用图帧的集合；以及基于与该几何帧的集合中的至少一个解码的几何帧相关联的量化参数(QP)获得占用精度值，其中当QP小于第一QP阈值时，所标识的占用精度值是第一值，其中当QP在第一QP阈值和第二QP阈值之间时，所标识的占用精度值是高于第一值的第二值，以及其中当QP大于第二阈值时，所标识的占用精度值是高于第二值的第三值。处理器还使得解码设备基于所获得的占用精度值对占用图帧的集合中的至少一个占用图帧进行上采样；以及使用该几何帧的集合和该占用图帧的集合生成3D点云。从以下附图、描述和权利要求，本领域技术人员可以容易地明白其他技术特征。在进行下面的详细描述之前，阐述贯穿本专利文件使用的某些词语和短语的定义可能是有利的。术语“耦合”和它的衍生词指代两个或更多个元素之间的任何直接或者间接通信，不管那些元素是否彼此物理接触。术语“发送”、“接收”和“通信”及其派生词包括直接和间接通信。术语“包括”和“包含”以及它们的派生词意味着包括但不限于。术语“或”是包含性的，意思是和/或。短语“与……相关联”及其派生词是指包括、被包括在内、与……互连、包含、被包含在内、连接到或与……连接、耦合到或与……耦合、可与……通信、与……协作、交错、并置、接近、结合或与……结合、具有、具有……属性、与……有关系等。术语“控制器”表示控制至少一个操作的任意设备、系统或其部分。这样的控制器可以实施在硬件中，或者实施在硬件和软件和/或固件的组合中。与任何特定控制器相关联的功能可以是集中式的或者分布式的，无论本地地还是远程地。短语“...中的至少一个”当与项目列表一起使用时，意味着所列出的项目中的一个或多个的不同组合可以被使用，并且可能仅需要所述列表中的仅仅一个项目。例如，“A、B和C中的至少一个”包括下列组合中的任意一个：A，B，C，A和B，A和C，B和C，以及A和B和C。同样，术语“集合”意指一个或多个。因此，项目的集合可以是单个项目或两个或更多个项目的集。此外，下面描述的各种功能可以由一个或多个计算机程序来实施或支持，每个计算机程序由计算机可读程序代码形成并体现在计算机可读介质中。术语“应用”和“程序”是指一个或多个计算机程序、软件组件、指令集、程序、功能、对象、类、实例、相关数据或其适于在合适的计算机可读程序代码中实施的部分。短语“计算机可读程序代码”包括任何类型的计算机代码，包括源代码、目标代码和可执行代码。短语“计算机可读介质”包括能够被计算机访问的任何类型的介质，诸如只读存储器(ROM)、随机存取存储器(RAM)、硬盘驱动器、光盘(CD)、数字视频光盘(DVD)或任何其他类型的存储器。“非暂时性”计算机可读介质不包括传播暂时性电信号或其他信号的有线、无线、光学或其他通信链路。非暂时性计算机可读介质包括其中数据可被永久存储的介质和其中数据可被存储并随后被重写的介质，诸如可重写光盘或可擦除存储设备。贯穿本专利文件提供了其他特定的词和短语的定义。本领域普通技术人员应该理解，在许多情况下，如果不是大多数情况下，这样的定义适用于这样定义的词和短语的先前和将来的使用。本专利技术的有利效果本公开涉及用于在点云的处理期间对用于占用图的下采样和上采样的占用图精度的自适应的选择的方法和装置。附图说明为了更完整地理解本公开及其优点，现在结合附图参考以下描述，其中：图1示出了根据本公开的各种实施例的示例性联网计算系统；图2示出了根据本公开的各种实施例的示例性服务器；图3示出了根据本公开的各种实施例的示例性电子设备；图4示出了根据本公开的实施例的点云和示例性网格(mesh)；图5A示出了根据本公开的各种实施例的示例性3D点云，图5B示出了根据本公开本文档来自技高网...

【技术保护点】
1.一种用于三维3D点云的点云压缩的编码设备，所述编码设备包括：/n通信接口，被配置为发送比特流；和/n可操作地连接到所述通信接口的处理器，所述处理器被配置为：/n为所述3D点云生成至少几何帧的集合，所述几何帧的集合提供所述3D点云中的点的坐标；/n生成指示所述3D点云的点对于编码是否有效的占用图帧的集合；/n基于与所述几何帧的集合中的至少一个生成的几何帧相关联的量化参数QP选择占用精度值，其中当QP小于第一QP阈值时，所选择的占用精度值是第一值，其中当QP在第一QP阈值和第二QP阈值之间时，所选择的占用精度值是高于第一值的第二值，并且其中当QP大于第二QP阈值时，所选择的占用精度值是高于第二值的第三值；/n基于所选择的占用精度值，对所述占用图帧的集合中的至少一个占用图帧进行子采样；/n将所述几何帧的集合和所述占用图帧的集合编码成比特流；和/n经由通信接口发送所述比特流。/n

【技术特征摘要】
【国外来华专利技术】20190109 US 62/790,127;20190307 US 62/815,059;20191.一种用于三维3D点云的点云压缩的编码设备，所述编码设备包括：
通信接口，被配置为发送比特流；和
可操作地连接到所述通信接口的处理器，所述处理器被配置为：
为所述3D点云生成至少几何帧的集合，所述几何帧的集合提供所述3D点云中的点的坐标；
生成指示所述3D点云的点对于编码是否有效的占用图帧的集合；
基于与所述几何帧的集合中的至少一个生成的几何帧相关联的量化参数QP选择占用精度值，其中当QP小于第一QP阈值时，所选择的占用精度值是第一值，其中当QP在第一QP阈值和第二QP阈值之间时，所选择的占用精度值是高于第一值的第二值，并且其中当QP大于第二QP阈值时，所选择的占用精度值是高于第二值的第三值；
基于所选择的占用精度值，对所述占用图帧的集合中的至少一个占用图帧进行子采样；
将所述几何帧的集合和所述占用图帧的集合编码成比特流；和
经由通信接口发送所述比特流。


2.根据权利要求1所述的编码设备，其中第一值是1，其中第二值是2，以及其中第三值是4。


3.根据权利要求1所述的编码设备，其中，当所选择的占用精度值是第二值或第三值时，为了对所述至少一个占用图帧进行子采样，所述处理器还被配置为：
以所选择的占用精度值对所述至少一个占用图帧的内部块进行子采样；
当所述至少一个占用图帧的外部块被部分填充时，以更低的占用精度值对所述外部块进行子采样；和
经由所述通信接口发送一个或多个子块占用指示符，其中所述一个或多个子块占用指示符在所述至少一个占用图帧中或在补充增强信息(SEI)消息中发送。


4.根据权利要求1所述的编码设备，其中，所述处理器还被配置为：
生成包含关于各个图块的信息的图集帧的集合。


5.根据权利要求1所述的编码设备，其中，所述占用图帧的集合包括至少另一占用图帧，并且其中所述处理器还被配置为：
确定不同于所选择的占用精度值的另一占用精度值；和
用所述另一占用精度值对所述另一占用图帧进行子采样。


6.根据权利要求1所述的编码设备，其中，所选择的占用精度值基于：(i)最高占用精度值处的无效像素的百分比和(ii)所述至少一个占用图帧的比特与所生成的几何帧的集合中的至少一个生成的几何帧的比特的比率，并且其中，所述至少一个占用图帧对应于所述至少一个生成的几何帧。


7.一种用于三维3D点云的点云压缩的方法，所述方法包括：
为所述3D点云生成至少几何帧的集合，所述几何帧的集合提供所述3D点云中的点的坐标；
生成指示所述3D点云的点对于编码是否有效的占用图帧的集合；
基于与所述几何帧的集合中的至少一个生成的几何帧相关联的量化参数QP选择占用精度值，其中当QP小于第一QP阈值时，所选择的占用精度值是第一值，其中当QP在第一QP阈值和第二QP阈值之间时，所选择的占用精度值是高于第一值的第二值，并且其中当QP大于第二QP阈值时，所选择的占用精度值是高于第二值的第三值；
基于所选择的占用精度值，对所述占用图帧的集合中的至少一个占用图帧进行子采样；
将所述几何帧的集合和所述占用图帧的集合编码成比特流；和
发送所述比特...

【专利技术属性】
技术研发人员：M布达加维，H纳加弗扎德，RL乔希，
申请(专利权)人：三星电子株式会社，
类型：发明
国别省市：韩国;KR