动态体素化点云的运动补偿压缩制造技术

本文中公开了点云编码和解码领域的创新的示例性实施例。示例实施例可以通过使用允许在预测正被编码的当前帧时使用先前编码/解码的帧的帧间编码(例如，运动补偿)技术，选择性地编码一个或多个3D点云块来降低3D视频编码期间的计算复杂度和/或计算资源使用。备选地，可以使用帧内编码方法来编码一个或多个3D点云块。选择使用哪种编码模式可以基于例如相对于帧内和帧间编码两者的压缩率失真性能而被评估的阈值。更进一步地，所公开的技术的实施例可以使用一个或多个体素失真校正滤波器来校正在体素压缩期间可能发生的失真误差。这种滤波器独特地适用于在压缩3D图像数据时呈现的特定挑战。还公开了对应的解码技术。

Motion Compensation Compression of Dynamic Voxelization Point Cloud

In this paper, innovative exemplary embodiments in the field of point cloud coding and decoding are disclosed. The example embodiment can reduce computational complexity and/or computing resource usage during 3D video coding by selectively encoding one or more 3D point clouds using inter-frame coding (e.g., motion compensation) techniques that allow the use of previous encoding/decoding frames when predicting the current frame being encoded. Alternatively, one or more 3D point clouds can be coded using an intra-coding method. Choosing which coding mode to use can be evaluated based on, for example, the compression rate distortion performance relative to both intra and inter coding. Further, embodiments of the disclosed technique may use one or more voxel distortion correction filters to correct possible distortion errors during voxel compression. This filter is uniquely suited to the specific challenges presented in compressing 3D image data. The corresponding decoding technology is also disclosed.

【技术实现步骤摘要】
【国外来华专利技术】动态体素化点云的运动补偿压缩
所公开的技术涉及针对体素化点云的压缩方案，例如可用于增强现实或虚拟现实系统等3D通信系统中。
技术介绍
随着用于3D捕获和3D渲染的廉价消费电子系统的出现，视觉通信处于超越传统2D视频到沉浸式3D通信系统的门槛上。动态3D场景捕获可以使用彩色加深度(RGBD)相机来实现，而3D可视化可以使用立体监视器或近眼显示器在虚拟或增强现实中渲染对象来实现。用于捕获和显示的处理可以使用强大的图形处理单元(GPU)来实时进行。但是，表示复杂的动态3D场景会生成大量数据。因此，压缩是使得这些新兴的沉浸式3D系统能够用于通信的高度被期望的部分。此外，尽管计算机硬件有所改进，但在很多编码场景中3D视频的压缩是非常耗时且资源密集型的。因此，高度期望改进的压缩方法，其降低计算复杂度(包括计算速度和资源使用)同时仍然保持可接受的视觉质量。
技术实现思路
概括而言，“具体实施方式”呈现了用于压缩3D视频数据的创新。本文中描述的创新可以通过使用允许在预测正被编码的当前帧时使用先前编码/解码的帧的帧间编码(例如，运动补偿)技术，选择性地编码一个或多个3D点云块来帮助降低3D视频编码的比特率和/或失真。压缩所要求的比特率的这种降低允许编码器/解码器更快地执行点云帧的压缩/解压缩，并且还减少了计算资源使用，这两者在实时编码/解码场景中都是有用的。备选地，可以使用帧内编码方法对一个或多个3D点云块进行编码。选择使用哪种编码模式可以基于例如相对于帧内和帧间编码两者的压缩率失真性能而被评估的阈值。更进一步地，所公开的技术的实施例可以使用一个或多个体素失真校正滤波器来校正在体素压缩期间可能发生的失真误差。这种滤波器独特地适用于在压缩3D图像数据时呈现的特定挑战。本文中还公开了对应的解码技术。动态点云在视觉通信系统中呈现新的前沿。尽管针对点云的压缩方案已经取得了一些进展，但是关于使用时间冗余作为有效点云压缩方案的一部分，已经取得了很小(如果有的话)的进展。所公开的技术的实施例使得能够以低比特率对动态体素化点云进行编码。在所公开的技术的实施例中，编码器将每个帧处的体素化点云分成体素的3D块(立方体)(也称为“3D点云块”)。每个3D点云块或者以帧内模式编码，或者被替换为先前帧中的3D点云块的运动补偿版本。该决策可以(至少部分)基于压缩率失真度量。以这种方式，几何形状和颜色二者都可以与失真一起被编码，从而允许降低比特率。在某些实施例中，还采用环路内滤波来减少(例如，最小化)由几何信息的失真引起的压缩伪像。仿真揭示了所公开的运动补偿编码器的实施例可以有效地将动态体素化点云的压缩范围扩展到低于单独的帧内编码可以容纳的压缩率，以压缩率换取几何准确度。可以将创新实现为方法的一部分、适于执行该方法的计算设备的一部分或者存储用于使得计算设备执行该方法的计算机可执行指令的有形计算机可读介质的一部分。各种创新可以组合或单独使用。根据参考附图进行的以下详细描述，本专利技术的前述和其他目的、特征和优点将变得更加明显。附图说明图1示出了用于成像对象的体素化点云的六个示例视点。图2及其子图是示出如何在两个连续帧之间的体素之间确定对应关系以及与之相关的潜在问题的示意性框图。图3示出了两个3D图像的来自六个立方体侧面(例如，右侧、左侧、前侧、后侧、顶部、底部)中的每个的投影。图4是根据所公开的技术的实施例的示例编码器的示意性框图。图5是示出示例运动补偿方案的示意性框图。图6是示出3D块(立方体)的不同编码模式的压缩率失真性能的曲线图。图7是针对在平均RD性能的情况下、对整个帧进行完全运动补偿或者在平均RD性能的情况下、将整个帧编码为I帧，示出P帧的极值的曲线图。图8是示出针对通过使用经解压缩的第55帧作为I帧参考来压缩序列“人”的第56帧作为P帧的RD图。图9示出了针对使用基于对应关系的失真度量的两个示例序列的RD图。图10示出了针对使用基于投影的失真度量的两个示例序列的RD图。图11示出了针对在基于投影的失真度量下指示其LCH的示例序列中的不同帧的RD图。图12示出了将MCIC与示例序列中的帧的帧内编码器(RAHT)进行比较的前投影渲染。图13示出了针对使用MCIC(用于模式选择的基于对应关系的失真)和帧内编码而被压缩的示例序列的帧的、与图12中的比较类似的比较。图14是示出用于使用所公开的技术的各方面对帧序列的点云数据进行编码的示例过程的流程图。图15是示出用于使用所公开的技术的各方面对帧序列的点云数据进行编码的另一示例过程的流程图。图16是示出用于使用所公开的技术的各方面对帧序列的点云数据进行解码的示例过程的流程图。图17是其中可以实现一些描述的实施例的示例计算系统的图。图18a和图18b是其中可以实现一些描述的实施例的示例网络环境的图。图19a和图19b是示出结合其可以实现一些描述的实施例的示例编码器的图。图20a和图20b是示出结合其可以实现一些描述的实施例的示例解码器的图。具体实施方式I.总体考虑“具体实施方式”呈现了编码诸如体素化点云等3D视频数据的领域的创新。本文中描述的创新可以通过使用允许在预测正被编码的当前帧中的3D点云块时使用先前编码/解码的3D点云块的帧间编码(例如，运动补偿)技术，选择性地编码一个或多个3D点云块来帮助降低3D视频编码的比特率和/或失真。压缩所要求的比特率的这种降低允许编码器/解码器更快地执行点云帧的压缩/解压缩并且还减少了计算资源使用，这两者在实时编码/解码场景中都是有用的。备选地，可以使用帧内编码方法对一个或多个3D点云块进行编码。选择使用哪种编码模式可以基于例如相对于帧内和帧间编码两者的压缩率失真性能而被评估的阈值。更进一步地，所公开的技术的实施例可以使用一个或多个体素失真校正滤波器来校正在体素压缩期间可能发生的失真误差。这种滤波器独特地适用于在压缩3D图像数据时呈现的特定挑战。本文中还公开了对应的解码技术。尽管本文中描述的操作被描述为由视频编码器或解码器执行，但在很多情况下，这些操作可以由另一类型的媒体处理工具(例如，图像编码器或解码器)执行。本文中描述的示例的各种备选方案是可能的。例如，本文中描述的一些方法可以通过改变所描述的方法的顺序而被改变，通过分裂、重复或省略某些方法动作等而被改变。所公开的技术的各个方面可以组合或单独使用。不同的实施例使用一个或多个所述创新。本文中描述的一些创新解决了
技术介绍
中提到的一个或多个问题。通常，给定的技术/工具不能解决所有这些问题。如在本申请和权利要求中所使用的，除非上下文另有明确说明，否则单数形式“一”、“一个”和“该”包括复数形式。另外，术语“包含”表示“包括”。此外，如本文中使用的，术语“和/或”表示短语中的任一项或任何项的组合。II.示例计算系统图17图示了其中可以实现若干所描述的创新的合适的计算机系统(1700)的通用示例。计算机系统(1700)并不意图对使用范围或功能提出任何限制，因为创新可以在不同的通用或专用计算机系统中实现。参考图17，计算机系统(1700)包括一个或多个处理单元(1710、1715)和存储器(1720、1725)。处理单元(1710、1715)执行计算机可执行指令。处理单元可以是通用中央处理单元(“CPU”)、专用集成电路(本文档来自技高网...

【技术保护点】
1.一种视频编码器系统，包括：缓冲器，被配置为存储要被编码的三维视频帧的序列的体素化点云数据；以及视频编码器，被配置为通过以下来对所述序列的所述帧进行编码：针对所述序列的当前帧中的一个或多个被占用的3D点云块来选择编码模式，所述编码模式是多个可用编码模式之一，所述可用编码模式包括帧内编码和帧间编码；根据所选择的所述编码模式，对所述序列的所述当前帧的所述一个或多个被占用的3D点云块进行编码；以及输出比特流，所述比特流包括针对所述一个或多个被占用的3D点云块的经编码数据。

【技术特征摘要】
【国外来华专利技术】2016.05.28 US 15/168,0191.一种视频编码器系统，包括：缓冲器，被配置为存储要被编码的三维视频帧的序列的体素化点云数据；以及视频编码器，被配置为通过以下来对所述序列的所述帧进行编码：针对所述序列的当前帧中的一个或多个被占用的3D点云块来选择编码模式，所述编码模式是多个可用编码模式之一，所述可用编码模式包括帧内编码和帧间编码；根据所选择的所述编码模式，对所述序列的所述当前帧的所述一个或多个被占用的3D点云块进行编码；以及输出比特流，所述比特流包括针对所述一个或多个被占用的3D点云块的经编码数据。2.根据权利要求1所述的视频编码器系统，其中所述比特流包括：信号通知针对相应3D点云块所选择的所述编码模式的语法元素或比特流元素。3.根据权利要求1或2所述的视频编码器系统，其中所述帧间编码模式使用运动补偿。4.根据权利要求3所述的视频编码器系统，其中所述运动补偿使用块补充，并且其中所述块补充包括：通过使用运动矢量数据，将来自所述当前帧的被占用的3D点云块与来自先前帧的对应的被占用的3D点云块进行匹配；以及针对所述被占用的3D点云块来编码所述运动矢量数据。5.根据权利要求4所述的视频编码器系统，其中所述块补充不包括几何残差的编码。6.根据权利要求1至5中任一项所述的视频编码器系统，其中对所述编码模式的所述选择至少部分基于：基于对应关系的度量、基于投影的度量或所述基于对应关系的度量和所述基于投影的度量两者的组合。7.根据权利要求1至6中任一项所述的视频编码器系统，其中对所述编码模式的所述选择至少部分基于：包括几何分量和颜色分量两者的度量。8.根据权利要求1至7中任一项所述的视频编码器系统，其中所述选择基于：将针对帧内编码的压缩率失真性能与针对帧间编码的压缩率失真性能相关的阈值。9.一种或多种计算机可读存储器或存储设备，其存储计算机可执行指令，所述计算机可执行指令在由计算设备执行时使得所述计算设备执行包括以下的编码操作：对针对三维视频...

【专利技术属性】
技术研发人员：P·A·仇，R·L·德奎罗斯，
申请(专利权)人：微软技术许可有限责任公司，
类型：发明
国别省市：美国,US