图像处理装置和方法制造方法及图纸

本公开内容涉及一种图像处理装置和方法，其使得能够将与单个几何形状对应的属性的数目配置成在时间方向上可变。对于与将三维成形的对象表达为点的集合的点云的单个几何形状对应的多个属性中的每一个，生成属性视频帧，该属性视频帧是其中定位有通过将属性按照每个部分区域投影到二维平面上而获得的补丁的视频帧。对针对属性由此生成的属性视频帧进行编码，并且生成属性信息，该属性信息是指示与相同定时对应的所生成的属性视频帧的信息。本公开内容可以应用于例如图像处理装置、电子设备、图像处理方法和程序。图像处理方法和程序。图像处理方法和程序。

【技术实现步骤摘要】
【国外来华专利技术】图像处理装置和方法


[0001]本公开内容涉及图像处理装置和方法，并且尤其涉及其中与单个几何形状对应的属性的数目在时间方向上可变的图像处理装置和方法。

技术介绍

[0002]在现有技术中，运动图像专家组(MPEG)已经推进了将具有三维形状的对象表达为点的集合的点云数据的编码/解码的标准化(例如，参见非专利文献1)。
[0003]此外，已经提出了以下方法：将点云的几何数据和属性数据按照每个小区域投影到二维平面，将投影到二维平面的图像(补丁)布置在视频的帧图像内，并且通过用于二维图像的编码方法(在下文中，也被称为基于视频的方法)对帧图像进行编码(例如，参见非专利文献2至非专利文献4)。
[0004]此外，已经提出了多属性，其是在基于视频的方法中针对单个几何形状提供多个属性的方法(例如，参见非专利文献5)。在该方法的情况下，多个属性中的每一个被转换成帧图像，并且然后如上所述被编码。换言之，针对几何形状的每个帧图像形成多个属性的帧图像。
[0005][引用文献列表][0006][非专利文献][0007][非专利文献1]“Information technology
‑
MPEG
‑
I(Coded Representation of Immersive Media)
‑
Part 9:Geometry
‑
based Point Cloud Compression"，ISO/IEC 23090
‑
9：2019(E)/>[0008][非专利文献2]Tim Golla和Reinhard Klein，“Real
‑
time Point Cloud Compression”，IEEE，2015
[0009][非专利文献3]K.Mammou，“Video
‑
based and Hierarchical Approaches Point Cloud Compression”，MPEG m41649，2017年10月
[0010][非专利文献4]K.Mammou，“PCC Test Model Category 2v0”，N17248MPEG输出文档，2017年10月
[0011][非专利文献5]Maja Krivoku.a,Philip A.Chou和Patrick Savill，“8i Voxelized Surface Light Field(8iVSLF)Dataset”，ISO/IEC JTC1/SC29/WG11MPEG 2018/m42914，2018年7月，Ljubljana

技术实现思路

[0012]技术问题
[0013]然而，在非专利文献5中描述的多属性的情况下，属性的数目对于所有帧是固定的，并且需要对所有属性进行编码。
[0014]本公开内容是鉴于这样的情况而做出的，并且其目的是使与单个几何形状对应的属性的数目在时间方向上可变。
[0015][问题的解决方案][0016]根据本技术的一方面的图像处理装置是如下图像处理装置，包括：属性视频帧生成单元，其对于与将具有三维形状的对象表达为点的集合的点云的单个几何形状对应的多个属性中的每一个，生成属性视频帧，该属性视频帧是其中布置有通过将多个属性中的每一个按照每个部分区域投影到二维平面而获得的补丁的视频帧；属性视频帧编码单元，其对由属性视频帧生成单元生成的每个属性的属性视频帧进行编码；以及属性信息生成单元，其生成属性信息，该属性信息是指示由属性视频帧生成单元生成并且彼此对应于相同的定时的属性视频帧的信息。
[0017]根据本技术的一方面的图像处理方法是如下图像处理方法，包括：对于与将具有三维形状的对象表达为点的集合的点云的单个几何形状对应的多个属性中的每一个，生成属性视频帧，该属性视频帧是其中布置有通过将多个属性中的每一个按照每个部分区域投影到二维平面而获得的补丁的视频帧；对每个属性的所生成的属性视频帧进行编码；以及生成属性信息，该属性信息是指示彼此对应于相同的定时的所生成的属性视频帧的信息。
[0018]根据本技术的另一方面的图像处理装置是如下图像处理装置，包括：属性视频帧解码单元，其对编码数据进行解码并且生成属性视频帧，该属性视频帧是其中布置有通过将多个属性中的每一个按照每个部分区域投影到二维平面而获得的补丁的视频帧，属性视频帧对应于与将具有三维形状的对象表达为点的集合的点云的单个几何形状对应的多个属性中的每一个；属性信息解码单元，其对编码数据进行解码，并且生成属性信息，该属性信息是指示彼此对应于相同定时的属性视频帧的信息；以及点云生成单元，其基于包括在由属性视频帧解码单元生成的属性视频帧中的属性和由属性信息解码单元生成的属性信息来生成点云。
[0019]根据本技术的另一方面的图像处理方法是如下图像处理方法，包括：对编码数据进行解码并且生成属性视频帧，该属性视频帧是其中布置有通过将多个属性中的每一个按照每个部分区域投影到二维帧而获得的补丁的视频帧，属性视频帧对应于与将具有三维形状的对象表达为点的集合的点云的单个几何形状对应的多个属性中的每一个；对编码数据进行解码并且生成属性信息，该属性信息是指示彼此对应于相同定时的属性视频帧的信息；以及基于包括在所生成的属性视频帧中的属性和所生成的属性信息来生成点云。
[0020]在根据本技术的一方面的图像处理装置和方法中，生成属性视频帧，该属性视频帧是其中布置有通过将多个属性中的每一个按照每个部分区域投影到二维平面而获得的补丁的视频帧，多个属性对应于将具有三维形状的对象表达为点的集合的点云的单个几何形状，对每个属性的所生成的属性视频帧进行编码，并且生成属性信息，该属性信息是指示与相同定时对应的所生成的属性视频帧的信息。
[0021]在根据本技术的另一方面的图像处理装置和方法中，对编码数据进行解码，并且生成属性视频帧，该属性视频帧是其中布置有通过将多个属性中的每一个按照每个部分区域投影到二维平面而获得的补丁的视频帧，多个属性对应于将具有三维形状的对象表达为点的集合的点云的单个几何形状，对编码数据进行解码，并且生成属性信息，该属性信息是指示彼此对应于相同定时的属性视频帧的信息，并且基于包括在所生成的属性视频帧中的属性和所生成的属性信息来生成点云。
附图说明
[0022][图1][0023]图1是用于说明多属性的图。
[0024][图2][0025]图2是用于说明多属性的图。
[0026][图3][0027]图3是用于说明自适应多属性的图。
[0028][图4][0029]图4是用于说明属性的数目变化的示例的图。
[0030][图5][0031]图5是用于说明属性的数目变化的示例的图。
[0032][图6][0033]图6是用于说明属性信息的示例的图。
[0034][图7][0035]图7是用于说明属性的内插的示例的图。
[0036][图8][0037]图本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种图像处理装置，包括：属性视频帧生成单元，其对于与将具有三维形状的对象表达为点的集合的点云的单个几何形状对应的多个属性中的每一个，生成属性视频帧，所述属性视频帧是其中布置有通过将所述多个属性中的每一个按照每个部分区域投影到二维平面而获得的补丁的视频帧；属性视频帧编码单元，其对由所述属性视频帧生成单元生成的每个属性的所述属性视频帧进行编码；以及属性信息生成单元，其生成属性信息，所述属性信息是指示由所述属性视频帧生成单元生成并且彼此对应于相同的定时的所述属性视频帧的信息。2.根据权利要求1所述的图像处理装置，其中，所述属性视频帧生成单元按照作为所述点云的帧的每个点云帧生成所述属性视频帧。3.根据权利要求2所述的图像处理装置，其中，所述属性视频帧生成单元生成在所述多个属性当中存在于所述点云帧中的属性的属性视频帧，并且省略不存在于所述点云帧中的属性的属性视频帧的生成。4.根据权利要求3所述的图像处理装置，其中，所述属性信息包括存在于所述点云帧中的所述属性的列表。5.根据权利要求3所述的图像处理装置，其中，所述属性信息包括不存在于所述点云帧中的所述属性的列表。6.根据权利要求3所述的图像处理装置，其中，所述属性信息生成单元按照所述点云帧中的每一个生成所述属性信息。7.根据权利要求3所述的图像处理装置，其中，所述属性信息生成单元在存在的属性与先前点云帧相比已经改变的情况下生成所述属性信息，并且在所述存在的属性未改变的情况下省略所述属性信息的生成。8.根据权利要求7所述的图像处理装置，其中，所述属性信息包括关于所述属性的与所述先前点云帧中的属性的差异的信息。9.根据权利要求1所述的图像处理装置，其中，所述属性视频帧编码单元将每个属性的所述属性视频帧作为该属性的视频序列进行编码，并且生成该属性的编码数据。10.根据权利要求1所述的图像处理装置，其中，所述属性视频帧编码单元将所有所述属性的属性视频帧作为一个视频序列进行编码，并且生成包括所有所述属性的编码数据。11.根据权利要求10所述的图像处理装置，其中，所述属性视频帧编码单元以预定间隔对每个属性的所述属性视频帧进行交织，并且对所述属性视频帧进行编码。12.根据权利要求11所述的图像处理装置，其中，所述属性信息包括指示所述间隔的参数。13.根据权利要求1所述的图像处理装置，其中，所述多个属性中的每一个包括在彼此不同的视点处获得的所述对象的纹理。14.一种图像处理方法，包括：对于与将具有三维形状的对象表达为点的集合的点云的单个几何形状对应的多个属性中的每一个，生成属性视频帧，所述属性视频帧是其中布置有通过将所述多个属性...

【专利技术属性】
技术研发人员：林华央，隈智，中神央二，
申请(专利权)人：索尼集团公司，
类型：发明
国别省市：