解码方法及装置以及计算机设备和存储介质制造方法及图纸

本公开实施例提供了解码方法及装置以及计算机设备和存储介质。该方法包括：为第一点云中的每个点确定第二点云中的对应点，所述第一点云为基于所述第二点云的已处理的点云；基于所述第二点云中的所述对应点，为所述第一点云中的每个点确定对应的误差矢量；基于所述第一点云中的相应点的位置，为所述第一点云中的每个点确定对应的权重因子；以及基于所述误差矢量和所述权重因子，确定所述第一点云的质量度量。度量。度量。

【技术实现步骤摘要】
解码方法及装置以及计算机设备和存储介质
[0001]引用并入
[0002]本申请要求于2019年8月14日提交的第62/886,813号美国临时申请以及于2020年8月3日提交的第16/983,586号美国正式申请的优先权，其全部内容通过引用并入本文。


[0003]本公开涉及点云编解码的
具体地，本公开提供了解码方法及装置以及计算机设备和存储介质。

技术介绍

[0004]本文提供的背景描述是为了总体呈现本公开的上下文。就在本背景部分中描述的工作以及在提交时可能不具有现有技术资格的本说明书的各方面而言，目前指定的专利技术人的工作既没有明确地也没有隐含地被承认为本公开的现有技术。
[0005]已开发各种技术来捕获和表示诸如世界中的对象、世界中的环境、三维(3D)空间中的对象、3D空间中的环境的世界。世界的3D表示可以实现更身临其境的交互和通信形式。点云可以被用作世界的3D表示。点云是3D空间中的一组点，每个点具有相关联的属性，例如，颜色、材料特性、纹理信息、强度属性、反射率属性、运动相关属性、形态属性和各种其它属性。这样的点云可以包括大量的数据，并且存储和传输可能即昂贵又耗时。
[0006]在现有的点云中，平方的点对点误差被均分，这表明点云中的所有点具有相同的重要性。然而，在一些示例中，例如在自主驾驶的应用中，离车辆不同距离的点可以具有不同的重要性。例如，离车辆非常远的点可能不如离车辆较近或中等距离的点重要。因此，需要新的质量度量以捕获不同点的重要性的差异。

技术实现思路
<br/>[0007]本公开实施例提供一种解码方法，包括：
[0008]为第一点云中的每个点确定第二点云中的对应点，所述第一点云为基于所述第二点云的已处理的点云；
[0009]基于所述第二点云中的所述对应点，为所述第一点云中的每个点确定对应的误差矢量；
[0010]基于所述第一点云中的相应点的位置，为所述第一点云中的每个点确定对应的权重因子；以及
[0011]基于所述误差矢量和所述权重因子，确定所述第一点云的质量度量。
[0012]本公开实施例提供一种解码装置，包括：
[0013]第一确定模块，用于为第一点云中的每个点确定第二点云中的对应点，所述第一点云为基于所述第二点云的已处理的点云；
[0014]第二确定模块，用于基于所述第二点云中的所述对应点，为所述第一点云中的每个点确定对应的误差矢量；
[0015]第三确定模块，用于基于所述第一点云中的相应点的位置，为所述第一点云中的每个点确定对应的权重因子；以及
[0016]第四确定模块，用于基于所述误差矢量和所述权重因子，确定所述第一点云的质量度量。
[0017]本公开实施例提供一种计算机设备，所述计算机设备包括一个或多个处理器和一个或多个存储器，所述一个或多个存储器中存储有至少一条指令，所述至少一条指令由所述一个或多个处理器加载并执行以实现本公开任一实施例所述的方法。
[0018]本公开实施例提供一种存储指令的非暂时性计算机可读介质，所述指令当由计算机执行时，使得所述计算机执行本公开任一实施例所述的方法。
[0019]本公开的实施例提供了新的质量度量以捕获不同点的重要性的差异，从而提高了视频解码的效率。
附图说明
[0020]根据以下详细描述和附图，所公开的主题的另外的特征、性质和各种优点将更显而易见，在附图中：
[0021]图1是根据实施例的通信系统的简化框图的示意图；
[0022]图2是根据实施例的流式传输系统的简化框图的示意图；
[0023]图3示出了根据一些实施例的用于对点云帧进行编码的编码器的框图；
[0024]图4示出了根据一些实施例的用于对与点云帧相对应的压缩码流进行解码的解码器的框图；
[0025]图5是根据实施例的视频解码器的简化框图的示意图；
[0026]图6是根据实施例的视频编码器的简化框图的示意图；
[0027]图7示出了根据一些实施例的用于对点云帧进行编码的编码器的框图；
[0028]图8示出了根据一些实施例的用于对与点云帧相对应的压缩码流进行解码的解码器的框图；
[0029]图9示出了根据本公开的实施例的示例性点对点误差；
[0030]图10示出了根据一些实施例的概述方法示例的流程图；以及
[0031]图11是根据实施例的计算机系统的示意图。
具体实施方式
[0032]本公开的各方面提供了点云编解码(PCC)技术。PCC可以根据诸如被称为G-PCC的基于几何形状的方案、被称为V-PCC的基于视频编解码的方案等的各种方案来执行。根据本公开的一些方面，G-PCC直接对3D几何形状进行编码，且是与视频编解码没有很多共性的纯粹基于几何形状的方法，而V-PCC主要基于视频编解码。例如，V-PCC可以将3D云的点映射到2D网格(图像)的像素。V-PCC方案可以利用通用视频编解码器进行点云压缩。运动图像专家组(MPEG)正在研究分别使用G-PCC方案和V-PCC方案的G-PCC标准和V-PCC标准。
[0033]在下文中，点云通常可以指3D空间中的一组点，每个点具有相关联的属性，例如，颜色、材料特性、纹理信息、强度属性、反射率属性、运动相关属性、形态属性和各种其它属性。点云可被用于将对象或场景重建为这些点的组合。这些点可以在各种设置中使用多个
照相机和深度传感器来捕获，并且可以由数千到数十亿个点组成，以便逼真地表示重建的场景。补丁通常可以指由点云描述的表面的连续子集。在示例中，补丁包括具有彼此偏离小于阈值量的表面法向量的点。
[0034]需要压缩技术来减少表示点云所需的数据量。因此，需要用于在实时通信和六自由度(6DoF)虚拟现实中使用的点云的有损压缩的技术。此外，寻求在用于自主驾驶和文化遗产应用等的动态映射的上下文中的无损点云压缩的技术。
[0035]V-PCC可用于利用现有的视频编解码器将动态点云的几何形状、占用率和纹理压缩为三个独立的视频序列。解释三个视频序列所需的额外元数据被分别压缩。整个码流的一小部分是元数据，该元数据可以使用软件实施方式来有效地编码/解码。大量信息可以由视频编解码器处理。
[0036]图1示出了根据本公开的实施例的通信系统(100)的简化框图。通信系统(100)包括可以经由例如网络(150)而彼此通信的多个终端设备。例如，通信系统(100)包括一对经由网络(150)互连的终端设备(110)和(120)。在图1的示例中，第一对终端设备(110)和(120)可以执行点云数据的单向传输。例如，终端设备(110)可以压缩由传感器105捕获的点云(例如，表示结构的点)，该传感器105与终端设备(110)连接。可以经由网络(150)将压缩的点云(例如以码流的形式)发送到另一终端设备(120)。终端设备(120)可以从网络(150)接收压缩的点云，对码流进行解压缩以重建点云，并且适当地显示重建的点云。单向数据传输在媒本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种解码方法，其特征在于，包括：为第一点云中的每个点确定第二点云中的对应点，所述第一点云为基于所述第二点云的已处理的点云；基于所述第二点云中的所述对应点，为所述第一点云中的每个点确定对应的误差矢量；基于所述第一点云中的相应点的位置，为所述第一点云中的每个点确定对应的权重因子；以及基于所述误差矢量和所述权重因子，确定所述第一点云的质量度量。2.根据权利要求1所述的方法，其特征在于，所述基于所述第一点云中的相应点的位置，为所述第一点云中的每个点确定对应的权重因子包括：基于所述第一点云中的所述相应点的速度矢量和所述位置，为所述第一点云中的每个点确定所述对应的权重因子。3.根据权利要求1所述的方法，其特征在于，所述基于所述第一点云中的相应点的位置，为所述第一点云中的每个点确定对应的权重因子包括：基于所述第一点云中的所述相应点的所述位置的范数值小于第一阈值或大于第二阈值，将所述第一点云中的所述相应点的所述对应的权重因子确定为零。4.根据权利要求1所述的方法，其特征在于，所述基于所述第一点云中的相应点的位置，为所述第一点云中的每个点确定对应的权重因子包括：基于所述第一点云中的所述相应点的所述位置的范数值等于或大于第一阈值和等于或小于第二阈值，将所述第一点云中的所述相应点的所述对应的权重因子确定为正常数。5.根据权利要求1所述的方法，其特征在于，所述第一点云中的点的子集的位置的范数值等于或大于第一阈值和等于或小于第二阈值，且所述第一点云中的所述点的所述子集的对应的权重因子与所述第一点云中的所述点的所述子集的位置的范数值成负相关。6.根据权利要求2所述的方法，其特征在于，所述第一点云中的点的子集的位置的范数值等于或大于第一阈值和等于或小于第二阈值，且所述第一点云中的所述点的所述子集的对应的权重因子与所述速度矢量的范数值成正相关。7.根据权利要求2所述的方法，其特征在于，所述第一点云中的点的子集的位置的范数值等于或大于第一阈值和等于或小于...

【专利技术属性】
技术研发人员：高文，刘杉，
申请(专利权)人：腾讯美国有限责任公司，
类型：发明
国别省市：