基于视频的点云压缩模型到世界信令信息制造技术

技术编号:33518073 阅读:55 留言:0更新日期:2022-05-19 01:26
公开了实现基于视频的点云压缩模型到世界信令的装置、方法和计算机程序。示例装置包括:用于提供第一信令信息(807)的部件,其中,该第一信令信息包括与世界域(811)有关的信息,其中,该世界域(811)是由第一体积坐标系中的多个点表示的点云帧;以及用于提供第二信令信息(807)的部件,其中,该第二信令信息包括与模型域(802)到世界域(811)的转换有关的信息,其中,该模型域(802)通过第二体积坐标系中的多个点来表示该点云帧。多个点来表示该点云帧。多个点来表示该点云帧。

【技术实现步骤摘要】
【国外来华专利技术】基于视频的点云压缩模型到世界信令信息


[0001]示例和非限制性实施例一般涉及多媒体和软件,并且更特别地涉及基于视频的点云压缩模型到世界信令(video

based cloud compression model to world signaling)信息。

技术介绍

[0002]执行视频编码和解码是已知的。

技术实现思路

[0003]以下概述仅旨在作为示例。本概述并非旨在限制权利要求的范围。
[0004]根据一个方面,一种装置,包括:用于提供第一信令信息的部件,其中,该第一信令信息包括与世界域有关的信息,其中,该世界域是由第一体积坐标系中的多个点表示的点云帧;以及用于提供第二信令信息的部件,其中,该第二信令信息包括与模型域到世界域的转换有关的信息,其中,该模型域通过第二体积坐标系中的多个点来表示该点云帧。
[0005]根据一个方面,一种装置,包括:至少一个处理器;以及包括计算机程序代码的至少一个非暂时性存储器;其中,该至少一个存储器和计算机程序代码被配置为与至少一个处理器一起使该装置至少执行:提供第一信令信息,该第一信令信息包括与世界域有关的信息,其中,该世界域是由第一体积坐标系中的多个点表示的点云帧;以及提供第二信令信息,该第二信令信息包括与模型域到世界域的转换有关的信息,其中,该模型域通过第二体积坐标系中的多个点来表示该点云帧。
[0006]根据一个方面,一种方法,包括:提供第一信令信息,该第一信令信息包括与世界域有关的信息,其中,该世界域是由第一体积坐标系中的多个点表示的点云帧;以及提供第二信令信息,该第二信令信息包括与模型域到世界域的转换有关的信息,其中,该模型域通过第二体积坐标系中的多个点来表示该点云帧。
[0007]根据一个方面,提供了一种机器可读的非暂时性程序存储设备,其有形地体现该机器可执行的用于执行操作的指令程序,这些操作包括:提供第一信令信息,该第一信令信息包括与世界域有关的信息,其中,该世界域是由第一体积坐标系中的多个点表示的点云帧;以及提供第二信令信息,该第二信令信息包括与模型域到世界域的转换有关的信息,其中,该模型域通过第二体积坐标系中的多个点来表示该点云帧。
附图说明
[0008]结合附图在以下描述中解释了前述各方面和其他特征,其中:
[0009]图1是描绘基于视频的点云压缩(V

PCC)过程的概述的框图。
[0010]图2是描绘V

PCC解压缩过程的概述的框图。
[0011]图3描绘示例的点云样本图像(1帧)。
[0012]图4是描绘被投影到“有界框”平面上的示例点云的图示。
[0013]图5A描绘投影几何结构的示例。
[0014]图5B描绘纹理图像的示例。
[0015]图6图示层投影结构的示例。
[0016]图7是示出堆叠表面补片分离的图示。
[0017]图8示出示例的V

PCC编码器操作。
[0018]图9示出示例的V

PCC解码器操作。
[0019]图10是基于本文描述示例的被配置为实现基于视频的云压缩模型到世界信令的示例装置。
[0020]图11是基于本文描述示例的实现基于视频的云压缩模型到世界信令的示例方法。
具体实施方式
[0021]可以在说明书和/或附图中发现的以下缩略语和缩写词被定义如下:
[0022]2D或2d
ꢀꢀꢀꢀꢀ
二维
[0023]3D或3d
ꢀꢀꢀꢀꢀ
三维
[0024]6DOF
ꢀꢀꢀꢀꢀꢀꢀ
六自由度
[0025]AR
ꢀꢀꢀꢀꢀꢀꢀꢀꢀ
增强现实
[0026]AVC
ꢀꢀꢀꢀꢀꢀꢀꢀ
高级视频编码
[0027]CD
ꢀꢀꢀꢀꢀꢀꢀꢀꢀ
上下文描述
[0028]Codec
ꢀꢀꢀꢀꢀꢀ
编解码器
[0029]CGI
ꢀꢀꢀꢀꢀꢀꢀꢀ
计算机生成的图像
[0030]GI
ꢀꢀꢀꢀꢀꢀꢀꢀꢀ
几何信息
[0031]HEVC
ꢀꢀꢀꢀꢀꢀꢀ
高效视频编码
[0032]HEVCRExt
ꢀꢀꢀ
HEVC格式范围扩展
[0033]HEVC

SCC
ꢀꢀꢀ
HEVC屏幕内容编码
[0034]HM
ꢀꢀꢀꢀꢀꢀꢀꢀꢀ
HEVC测试模型
[0035]IEC
ꢀꢀꢀꢀꢀꢀꢀꢀ
国际电工委员会
[0036]ISO
ꢀꢀꢀꢀꢀꢀꢀꢀ
国际标准化组织
[0037]ISOBMFF
ꢀꢀꢀꢀ
ISO基本媒体文件格式
[0038]K

D
ꢀꢀꢀꢀꢀꢀꢀꢀ
k维
[0039]MPEG
ꢀꢀꢀꢀꢀꢀꢀ
运动图像专家组
[0040]MPEG

I
ꢀꢀꢀꢀꢀ
MPEG沉浸式
[0041]MR
ꢀꢀꢀꢀꢀꢀꢀꢀꢀ
混合现实
[0042]MSE
ꢀꢀꢀꢀꢀꢀꢀꢀ
均方误差
[0043]N#
ꢀꢀꢀꢀꢀꢀꢀꢀꢀ
国际标准化组织文件编号
[0044]OM
ꢀꢀꢀꢀꢀꢀꢀꢀꢀ
占用图
[0045]PCC
ꢀꢀꢀꢀꢀꢀꢀꢀ
点云编码/压缩
[0046]Pcm
ꢀꢀꢀꢀꢀꢀꢀꢀ
脉冲编码调制
[0047]Psd
ꢀꢀꢀꢀꢀꢀꢀꢀ
功率谱密度
[0048]RGB
ꢀꢀꢀꢀꢀꢀꢀꢀ
红绿蓝
[0049]SEI
ꢀꢀꢀꢀꢀꢀꢀꢀ
补充增强信息
[0050]Sps
ꢀꢀꢀꢀꢀꢀꢀꢀ
序列参数集
[0051]TMC2
ꢀꢀꢀꢀꢀꢀꢀ
文本模型类别2
[0052]TMC2v0
ꢀꢀꢀꢀꢀ
文本模型类别2版本0
[0053]V

PCC
ꢀꢀꢀꢀꢀꢀ
基于视频的点云编码/压缩
[0054]VR
ꢀꢀꢀꢀꢀꢀꢀꢀꢀ
虚拟现实
[0055]WxH
ꢀꢀꢀꢀꢀꢀꢀꢀ
宽乘高
[0056]本文描述的示例涉及数字体积视频的编码和解码。
[0057]体积视频数据
[0058]体积视频数据表示三维场景或对象,并且可以被用作AR、VR和MR应用的输入。这种数据描述了几何结构(形状、大小、在3D空间中的位置)和相应的属性(例如,颜色、不透明度、反射率
……
),以及几何结构和属性本文档来自技高网
...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种装置,包括:用于提供第一信令信息的部件,其中,所述第一信令信息包括与世界域有关的信息,其中,所述世界域是由第一体积坐标系中的多个点表示的点云帧;以及用于提供第二信令信息的部件,其中,所述第二信令信息包括与模型域到所述世界域的转换有关的信息,其中,所述模型域通过第二体积坐标系中的多个点来表示所述点云帧。2.根据权利要求1所述的装置,进一步包括:用于信令传送扩展所述点云帧的适配参数集中的一个或多个相机参数的部件。3.根据权利要求2所述的装置,进一步包括:用于信令传送所述一个或多个相机参数的存在或缺失的部件。4.根据权利要求2至3中任一项所述的装置,其中,所述一个或多个相机参数与缩放、偏移、或旋转中的至少一个有关,并被用于解码操作之后的重构。5.根据权利要求2至4中任一项所述的装置,进一步包括:用于信令传送序列参数集中的一个或多个体积可用性参数的部件。6.根据权利要求5所述的装置,其中,所述体积可用性参数包括以下中的一个或多个:所述一个或多个体积可用性参数以米表示的指示;显示框信息的存在或缺失的指示;或者锚点的存在或缺失的指示。7.根据权利要求1至6中任一项所述的装置,进一步包括:用于在所述点云帧的重构中执行生成点集的适配的部件。8.根据权利要求7所述的装置,其中,所述适配使用以下项作为输入:所述点云帧的点的数量;所述点云帧中的点的位置的数组;锚点;以及偏移矩阵、旋转矩阵、或缩放矩阵中的至少一个。9.根据权利要求1至8中任一项所述的装置,进一步包括:用于基于所提供的第一信令和所提供的第二信令执行基于视频的点云编码编码器的操作或基于视频的点云编码解码器的操作中的至少一个的部件。10.根据权利要求9所述的方法,进一步包括:用于使用所述基于视频的点云编码编码器来将所述世界域中的所述点云帧编码成基于视频的点云比特流的部件;或者用于使用所述基于视频的点云编码解码器来解码所述基于视频的点云比特流以渲染所述世界域中的所述点云帧的部件。11.根据权利要求1至10中任一项所述的装置,其中,作为所述世界域中的所述点云帧到所述模型域中的所述点云帧的转换的结果,生成所述第一信令信息和所述第二信令信息。12.根据权利要求11所述的装置,其中,所述世界域中的所述点云帧到所述模型域中的所述点云帧的所述转换确定由所述模型域中的所述点云帧表示的对象或对象组的表示。13.根据权利要求1至12中任一项所述的装置,其中,所述世界域中的所述点云帧的渲染是基于所述第一信令信息。
14.根据权利要求1至13中任一项所述的装置,其中,基于视频的点云压缩域中的所述点云帧到所述世界域中的所述点云帧的转换是基于所述第二信令信息。15.根据权利要求14所述的装置,其中,所述基于视频的点云压缩域中的所述点云帧到所述世界域中的所述点云帧的所述转换包括中间状态,其中,所述基于视频的点云压缩域中的所述点云帧首先被变换成所述模型域中的所述点云帧,进而所述模型域中的所述点云帧被变换成所述世界域中的所述点云帧。16.根据权利要求1至15中任一项所述的装置,其中,包括与所述世界域有关的信息的所述第一信令信息信令传送以下中的一个或多个:所述世界域中的信号长度单位;所述世界域的坐标系;所述世界域中的由多个点云帧的序列表示的对象或对象组被放置在周围的边界框的尺寸;或者所述世界域中的所述边界框的轴心点。17.根据权利要求1至16中任一项所述的装置,其中,包括与所述模型域到所述世界域的所述转换有关的信息的所述第二信令信息信令传送以下中的一个或多个:由基于视频的点云压缩域中的所述点云帧表示的对象或对象组的轴心点;将由所述点云帧表示的对象或对象组从所述基于视频的点云压缩域缩放到所述世界域中的缩放参数;围绕被信令传送的轴心点旋转由所述点云帧表示的对象或对象组以在所述世界域中被正确地定向的旋转参数;或者相对于被信令传送的轴心点平移由所述点云帧表示的对象或对象组以在所述世界域中被正确地放置的平移参数。18.一种装置,包括:至少一个处理器;以及包括计算机程序代码的至少一个非暂时性存储器;其中,所述至少一个存储器和所述计算机程序代码被配置为与所述至少一个处理器一起使所述装置至少执行:提供第一信令信息,所述第一信令信息包括与世界域有关的信息,其中,所述世界域是由第一体积坐标系中的多个点表示的点云帧;以及提供第二信令信息,所述第二信令信息包括与模型域到所述世界域的转换有关的信息,其中,所述模型域通过第二体积坐标系中的多个点来表示所述点云帧。19.根据权利要求18所述的装置,其中,所述至少一个存储器和所述计算机程序代码进一步被配置为与所述至少一个处理器一起使所述装置至少执行:信令传送扩展所述点云帧的适配参数集中的一个或多个相机参数。20.根据权利要求19所述的装置,其中,所述至少一个存储器和所述计算机程序代码进一步被配置为与所述至少一个处理器一起使所述装置至少执行:信令传送所述一个或多个相机参数的存在或缺失。21.根据权利要求19至20中任一项所述的装置,其中,所述一个或多个相机参数与缩放、偏移、或旋转中的至少一个有关,并被用于解码操作之后的重构。
22.根据权利要求18至21中任一项所述的装置,其中,所述至少一个存储器和所述计算机程序代码进一步被配置为与所述至少一个处理器一起使所述装置至少执行:信令传送序列参数集中的一个或多个体积可用性参数。23.根据权利要求22所述的装置,其中,所述体积可用性参数包括以下中的一个或多个:所述一个或多个体积可用性参数以米表示的指示;显示框信息的存在或缺失的指示;或者锚点的存在或缺失的指示。24.根据权利要求18至23中任一项所述的装置,其中,所述至少一个存储器和所述计算机程序代码进一步被配置为与所述至少一个处理器一起使所述装置至少执行:在所述点云帧的重构中执行生成点集的适配。25.根据权利要求24所述的装置,其中,所述适配使用以下项作为输入:所述点云帧的点的数量;所述点云帧中的点的位置的数组;锚点;以及偏移矩阵、旋转矩阵、或缩放矩阵中的至少一个。26.根据权利要求18至25中任一项所述的装置,其中,所述至少一个存储器和所述计算机程序代码进一步被配置为与所述至少一个处理器一起使所述装置至少执行:基于所提供的第一信令和所提供的第二信令,执行基于视频的点云编码编码器的操作或基于视频的点云编码解码器的操作中的至少一个。27.根据权利要求26所述的装置,其中,所述至少一个存储器和所述计算机程序代码进一步被配置为与所述至少一个处理器一起使所述装置至少执行:使用所述基于视频的点云编码编码器来将所述世界域中的所述点云帧编码成基于视频的点云比特流;或者使用所述基于视频的点云编码解码器来解码所述基于视频的点云比特流以渲染所述世界域中的所述点云帧。28.根据权利要求18至26中任一项所述的装置,其中,作为所述世界域中的所述点云帧到所述模型域中的所述点云帧的转换的结果,生成所述第一信令信息和所述第二信令信息。29.根据权利要求28所述的装置,其中,所述世界域中的所述点云帧到所述模型域中的所述点云帧的所述转换确定由所述模型域中的所述点云帧表示的对象或对象组的表示。30.根据权利要求18至29中的任一项所述的装置,其中,所述世界域中的所述点云帧的渲染是基于所述第一信令信息。31.根据权利要求18至30中任一项所述的装置,其中,基于视频的点云压缩域中的所述点云帧到所述世界域中的所述点云帧的转换是基于第二信令信息。32.根据权利要求31所述的装置,其中,所述基于视频的点云压缩域中的所述点云帧到所述世界域中的所述点云帧的所述转换包括中间状态,其中,所述基于视频的点云压缩域中的所述点云帧首先被变换成所述模型域中的所述点云帧,进而所述模型域中的所述点云帧被变换成所述世界域中的所述点云帧。
33.根据权利要求18至32中任一项所述的装置,其中,包括与所述世界域有关的信息的所述第一信令信息信令传送以下中的一个或多个:所述世界域中的信号长度单位;所述世界域的坐标系;所述世界域中的由多个点云帧的序列表示的对象或对象组被放置在周围的边界框的尺寸;或者所述世界域中的所述边界框的轴心点。34.根据权利要求18至33中任一项所述的装置,其中,包括与所述模型域到所述世界域的所述转换有关的信息的所述第二信令信息信令传送以下中的一个或多个:由基于视频的点云压缩域中的所述点云帧表示的对象或对象组的轴心点;将由所述点云帧表示的对象或对象组从所述基于视频的点云压缩域缩放到所述世界域中的缩放参数;围绕被信令传送的轴心点旋转由所述点云帧表示的对象或对象组以在所述世界域中被正确地定向...

【专利技术属性】
技术研发人员:L
申请(专利权)人:诺基亚技术有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1