处理点云的中间点制造技术

至少一个实施例涉及用信号发送表示至少一个中间3D样本的纹理值的至少一个纹理补片，纹理补片是表示沿着投影线正交投影到投影平面上的点云的3D样本的纹理值的一组2D样本，并且所述至少一个中间3D样本是所述点云的3D样本，该3D样本具有大于所述点云的较近3D样本且小于所述点云的较远3D样本的深度值，所述至少一个中间3D样本以及所述较近和较远3D样本沿着相同投影线被投影。着相同投影线被投影。着相同投影线被投影。

【技术实现步骤摘要】
【国外来华专利技术】处理点云的中间点


[0001]本专利技术的至少一个实施例主要涉及点云的处理。

技术介绍

[0002]本部分旨在向读者介绍可能与下面描述和/或要求保护的本专利技术的实施例中的至少一个的各方面相关的技术的各方面。相信该讨论有助于向读者提供背景信息，以便于更好地理解至少一个实施例的各个方面。
[0003]点云可以用于各种目的，诸如文化遗产/建筑，其中，以3D扫描像雕像或建筑的对象，以便共享该对象的空间配置，而不发送或访问它。而且，这是一种确保在对象可能被破坏(例如，地震引起的寺庙倒塌)的情况下保留该对象的知识的方式。这种点云通常是静态的、彩色的和巨大的。
[0004]另一使用情况是在地形图和制图中，其中使用3D表示来允许地图不限于平面且可包含起伏。Google Maps现在是3D地图的良好示例，但是使用网格而不是点云。然而，点云可以是用于3D地图的合适的数据格式，并且这样的点云通常是静态的、彩色的和巨大的。
[0005]汽车工业和自动驾驶汽车也是其中可以使用点云的领域。自动驾驶汽车应当能够“探测”它们的环境以基于它们的紧邻车辆的现实而做出良好的驾驶决策。像LIDAR(光检测和测距)的典型传感器产生决策引擎所使用的动态点云。这些点云不旨在被人类查看，并且它们通常是小的，不一定是有色的，并且是动态的，具有高频率捕获。这些点云可以具有其他属性，例如LIDAR提供的反射率，因为该属性提供关于感测对象的材料的良好信息，并且可以帮助做出决定。
[0006]虚拟现实和沉浸式世界近来已经成为热点主题，并且被很多人预见为2D平面视频的未来。基本思想是使观看者沉浸在围绕观看者的环境中，这与观看者仅能够观看者前方的虚拟世界的标准TV形成对比。根据观看者在环境中的自由度，在沉浸度中存在若干等级。点云是用于分发虚拟现实(VR)世界的良好格式候选。
[0007]在许多应用中，重要的是能够通过仅消耗合理量的比特率(或用于存储应用的存储空间)同时维持可接受的(或优选地非常好的)体验质量而将动态点云分发给最终用户(或将它们存储在服务器中)。为了使多沉浸世界的分发链实用化，这些动态点云的高效压缩是关键点。
[0008]考虑到前述内容，设计了至少一个实施例。

技术实现思路

[0009]以下呈现了本专利技术的实施例中的至少一者的简化概述，以便提供对本专利技术的一些方面的基本理解。本概述不是对实施例的广泛综述。其不旨在标识实施例的关键或重要元素。以下
技术实现思路
仅以简化形式呈现了本专利技术的实施例中的至少一者的一些方面，作为在本文档中的其它地方提供的更详细描述的序言。
[0010]根据至少一个实施例的一般方面，提供了一种方法，包括：用信号发送表示至少一
个中间3D样本的纹理值的至少一个纹理补片(patch)，该纹理补片是表示沿着投影线正交投影到投影平面上的点云的3D样本的纹理值的一组2D样本，并且所述至少一个中间3D样本是所述点云中具有大于所述点云的较近3D样本且小于所述点云的较远3D样本的深度值的3D样本，所述至少一个中间3D样本和所述较近及较远3D样本沿着相同投影线被投影。
[0011]根据实施例，用信号发送表示至少一个中间3D样本的纹理值的纹理补片包括：
[0012]‑
在所述比特流中添加至少一个语法元素，所述至少一个语法元素表示在2D网格中定义的所述纹理补片的2D位置和所述纹理补片的大小；
[0013]‑
发送所述比特流；以及
[0014]‑
从所述比特流中取回所述至少一个语法元素，并从所述至少一个取回到的语法元素中提取在2D网格中定义的所述纹理补片的2D位置和所述纹理补片的大小。
[0015]根据实施例，所述至少一个语法元素还可以用信号发送所述2D网格的补片的2D样本的数量。
[0016]根据实施例，所述至少一个语法元素还可以用信号发送所述2D网格中的纹理补片的数目和用于确定纹理补片的起始位置的偏移。
[0017]根据实施例，所述至少一个语法元素还可用信号发送纹理补片的索引。
[0018]根据实施例，语法元素还可以用信号发送在所述比特流中添加的所述至少一个语法元素在表示所述点云帧的整个语法的不同级别被用信号发送。
[0019]根据至少一个实施例的另一个一般方面，提供了一种方法，包括：分析点云帧到投影平面上的正交投影以导出至少一个中间3D样本的纹理值；将所述至少一个纹理值映射到至少一个纹理补片；将所述至少一个纹理补片打包成纹理图像；以及根据上述方法在比特流中用信号发送所述至少一个纹理补片。
[0020]根据至少一个实施例的另一个一般方面，提供了一种方法，包括：从根据上述用信号发送方法在比特流中用信号发送的至少一个语法元素，导出至少一个纹理补片；从所述至少一个纹理补片导出至少一个纹理值；以及将所述至少一个纹理值指派给至少一个中间3D样本。
[0021]至少一个实施例中的一个或多个还提供了一种设备、计算机程序产品、非瞬态计算机可读介质和信号。
[0022]根据结合附图进行的以下实例描述，本专利技术实施例中的至少一者的特定性质以及本专利技术实施例中的所述至少一者的其它目的、优点、特征和用途将变得显而易见。
附图说明
[0023]在附图中，示出了若干实施例的示例。附图示出：
[0024]图1示出了根据至少一个本专利技术实施例的基于两层的点云编码结构的示例的示意性框图；
[0025]图2示出了根据至少一个本专利技术实施例的基于两层的点云解码结构的示例的示意性框图；
[0026]图3示出了根据至少一个本专利技术实施例的基于图像的点云编码器的示例的示意性框图；
[0027]图3a示出了包括2个补片及其2D边界框的画布的示例；
[0028]图3b示出了位于沿投影线的两个3D样本之间的两个中间3D样本的示例；
[0029]图4示出了根据至少一个本专利技术实施例的基于图像的点云解码器的示例的示意性框图；
[0030]图5示意性地示出了根据至少一个当前实施例的表示基本层BL的比特流的语法的示例；
[0031]图6示出了其中实现了各个方面和实施例的系统的示例的示意性框图；
[0032]图7示出了根据本专利技术的至少一个实施例的用于用信号发送至少一个EOM纹理补片的方法的示例；
[0033]图8a
‑
d示出了根据步骤710的至少一个实施例的语法元素的示例；
[0034]图9a
‑
c示出了根据步骤710的至少一个实施例的示例画布；
[0035]图10示出了根据步骤710的实施例的语法元素的示例；
[0036]图11示出了根据步骤710的所述实施例的所述变型的语法元素的示例；
[0037]图12示出了根据步骤710的实施例的变型的语法元素的示例；
[0038]图13示出了根据至少一个当前实施例的定义补片模式的表的示例；
[0039]图14示出了根据步骤710的实施例的变型的语法元素的示例；...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种方法，包括传输至少一个纹理补片，所述至少一个纹理补片表示点云帧的至少一个中间3D样本的纹理值。2.根据权利要求1所述的方法，其中所述至少一个中间3D样本是所述点云帧的3D样本，该3D样本具有大于所述点云帧的较近3D样本且低于所述点云帧的较远3D样本的深度值，所述至少一个中间3D样本以及所述较近和较远3D样本沿着相同投影线被投影。3.根据权利要求1所述的方法，其中传输表示至少一个中间3D样本的纹理值的纹理补片包括：传输表示在2D网格中定义的所述纹理补片的2D位置和所述纹理补片的大小的至少一个语法元素。4.根据权利要求3所述的方法，其中所述至少一个语法元素还表示所述2D网格的补片的2D样本的数目。5.根据权利要求3所述的方法，其中所述至少一个语法元素还表示所述2D网格中的纹理补片的数目和用于确定纹理补片的起始位置的偏移。6.根据权利要求5所述的方法，其中所述至少一个语法元素还表示纹理补片的索引。7.根据权利要求1所述的方法，其中所述方法进一步包括：传输另一语法元素，所述另一语法元素指示所述至少一个传输的语法元素是在表示所述点云帧的整个语法的不同层级处传输的。8.根据权利要求1所述的方法，还包括：导出所述点云帧到投影平面上的正交投影，以导出至少一个中间3D样本的纹理值；将所述至少一个纹理值映射到所述至少一个纹理补片中。9.根据权利要求1所述的方法，其中传输所述至少一个纹理补片包括：将所述至少一个纹理补片打包成纹理图像；以及传输所述纹理图像。10.一种方法，包括：接收表示点云帧的至少一个中间3D样本的纹理值的至少一个纹理补片。11.根据权利要求10所述的方法，其中所述至少一个中间3D样本是所述点云帧的3D样本，该3D样本具有大于所述点云帧的较近3D样本且低于所述点云帧的较远3D样本的深度值，所述至少一个中间3D样本以及所述较近和较远3D样本沿着相同投影线被投影。12.根据权利要求10所述的方法，其中接收表示至少一个中间3D样本的纹理值的纹理补片包括：接收至少一个语法元素，所述至少一个语法元素表示在2D网格中定义的所述纹理补片的2D位置和所述纹理补片的大小；以及基于所述纹理补片的所述2D位置和所述纹理补片的所述大小，取回所述至少一个纹理补片。13.根据权利要求12所述的方法，其中所述至少一个语法元素还表示所述2D网格的补片的2D样本的数目。14.根据权利要求13所述的方法，其中所述至少一个语法元素还表示所述2D网格中的纹理补片的数目和用于确定纹理补片的起始位置的偏移。15.根据权利要求14所述的方法，其中所述至少一个语法元素还表示纹理补片的索引。16.根据权利要求10所述的方法，其中所述方法进一步包括：接收另一语法元素，所述
另一语法元素指示所述至少一个所接收的语法元素是在表示所述点云帧的整体语法的不同层级处接收的。17.根据权利要求10所述的方法，还包括：从所述至少一个接收到的纹理补片导出至少一个纹理值；以及将所述至少一个纹理值指派给至少一个中间3D样本。18.一种包括一个或多个处理器的装置，所述一个或多个处理器被配置为传输表示点云帧的至少一个中间3D样本的纹理值的至少一个纹理补片。19.根据权利要求18所述的装置，其中，所述至少一个中间3D样本是所述点云帧的3D样本，该3D样本具有比所述点云帧的较近3D样本更大且比所述点云帧的较远3D样本更低的深度值，所述至少一个中间3D样本以及所述较近和较远3D样本沿着相同投影线被投影。20.根据权利要求18所述的装置，其中传输表示至少一个中间3D样本的纹理值的纹理补片包括：传输表示在2D网格中定义的所述纹理补片的2D位置和所述纹理补片的大小的至少一个语法元素。21.根据权利要求20所述的装置，其中所述至少一个语法元素还表示所述2D网格的补片的2D样本的数目。22.根据权利要求20所述的装置，其中所述至少一个语法元素还表示所述2D网格中的纹理补片的数目和用于确定纹理补片的起始位置的偏移。23.根据权利要求22所述的装置，其中所述至少一个语法元素还表示纹理补片的索引。24.根据权利要求18所述的装置，其中所述一或多个处理器进一步经配置...

【专利技术属性】
技术研发人员：J，
申请(专利权)人：交互数字VC控股公司，
类型：发明
国别省市：