信息处理装置和信息处理方法制造方法及图纸

本发明专利技术涉及能够在抑制客户端的处理量增加的同时实现更高的图像质量的信息处理装置和信息处理方法。通过在多个投影方向上进行投影，将3D数据转换成二维来生成多个投影方向的图像数据，并且生成指示图像数据的投影方向的投影方向信息作为投影元数据。此外，投影方向信息包括附加投影方向标识信息，该附加投影方向标识信息指示图像数据通过在附加投影方向上进行投影而生成。例如，本发明专利技术可以应用于生成用于分发点云的数据的数据生成装置。

【技术实现步骤摘要】
【国外来华专利技术】信息处理装置和信息处理方法
本公开涉及信息处理装置和信息处理方法，并且更具体地，涉及可以增强图像质量同时减少客户端吞吐量增加的信息处理装置和信息处理方法。
技术介绍
常规上，如非专利文献1中所公开的，已经规定了点云的压缩方法，该点云是在三维空间中同时具有位置信息和属性信息(特别是颜色信息)的一组点。另外，作为点云压缩方法之一，非专利文献2公开了一种方法，该方法将点云数据分割成多个区域(在下文中称为分割)，通过针对每个区域投影到平面上来生成纹理(texture)图像、几何(geometry)图像、占用地图(occupancymap)图像和辅助信息，并且使用视频编解码器对这三种图像进行编码。在此，几何图像包括点云中包括的一组点的深度信息。同样，该方法称为基于视频的点云编码(V-PCC)。顺便提及，已经使用六个投影平面(水平方向上的四个平面和竖直方向上的两个平面)通过在点云数据的分割之后针对每个区域投影到平面上来生成纹理图像、几何图像和占用地图图像。如上所述，在使用六个投影平面的情况下，在从3D数据转换为2D数据期间许多点消失了，导致在某些情况下在重构的点云对象的表面上产生了孔。鉴于上述情况，开发了如非专利文献3公开的一种技术，该技术通过添加四个新的平面来将投影平面的数目增加到10个(水平方向上的八个平面以及竖直方向上的两个平面)，并且这种技术也在MPEG(动态图像专家组)中讨论。另外，非专利文献4公开了一种技术，该技术允许部分地访问对象框被划分成的各个块。[引用列表][非专利文献][非专利文献1]MPEG-IPart5PointCloudCompression(ISO/IEC23090-5)[非专利文献2]w17534,WorkingdraftofPointCloudCodingforCategory2(Draft1)，2018年4月，美国圣地亚哥[非专利文献3]w17871,PCCCoreExperimentonPatchpacking，2018年7月，斯洛文尼亚卢布尔雅那[非专利文献4]ISO/IECJTC1/SC29/WG11CodingofmovingpicturesandaudioConvenorship:UNI(意大利)“TechnologiesUnderConsiderationforCarriageofPointCloudData”
技术实现思路
[技术问题]顺便提及，假设如上所述添加新的投影平面以增强图像质量会增加客户端的吞吐量。而且，常规的客户端已经无法预先识别出是从正常的六个投影平面还是从四个新的附加投影平面产生的图像产生了传送流。为此，要求客户端获取整个流，在网络带宽有限的环境中，这可能导致再现中断或图像质量下降以及增加的客户端侧的处理开销。鉴于这样的情况设计了本公开，并且本公开的目的是在增强图像质量的同时减少客户端的吞吐量增加。[问题的解决方案]本公开的一个方面的信息处理装置包括预处理部，其适于通过在多个投影方向上投影3D数据并且将3D数据转换为二维数据来生成多个投影方向的图像数据，以及生成指示图像数据的投影方向的投影方向信息作为投影元数据。本公开的一个方面的信息处理方法包括：通过在多个投影方向上投影3D数据并且将数据转换为二维数据来生成多个投影方向的图像数据，以及生成指示图像数据的投影方向的投影方向信息作为投影元数据。在本公开的一个方面中，通过在多个投影方向上投影3D数据并且将3D数据转换为二维数据来生成多个投影方向的图像数据，以及生成指示每个图像数据的投影方向的投影方向信息作为投影元数据。附图说明[图1]图1是描述点云压缩方法的图。[图2]图2是描述在使用六个投影平面的情况下生成的图像的图。[图3]图3是示出在水平方向上建立八个投影平面的示例的图。[图4]图4是描述通过添加投影平面实现的图像质量的改进的图。[图5]图5是描述在使用10个投影平面的情况下生成的图像的图。[图6]图6是描述在使用10个投影平面的情况下文件的生成的图。[图7]图7描绘了描述根据观看方向获取文件的示例的图。[图8]图8是示出第一扩展方法中的第一信令通知方法中的MPD样本的图。[图9]图9是描述获取流的示例的图。[图10]图10是示出第一扩展方法中的第二信令通知方法中的MPD样本的图。[图11]图11是示出信令通知附加投影方向标识信息的MPD样本的图。[图12]图12描绘了描述对象框和块的图。[图13]图13是示出信令通知针对每个块设置的附加投影方向标识信息的MPD样本的图。[图14]图14是描述gpcc:blockInfo元素的每个属性的图。[图15]图15是示出数据生成装置的配置示例的框图。[图16]图16是示出数据再现装置的配置示例的框图。[图17]图17是描述文件生成处理的流程图。[图18]图18是描述点云再现处理的流程图。[图19]图19是示出已经添加了图像质量元数据的MPD样本的图。[图20]图20是描述使用提取器轨道的修改例的图。[图21]图21是示出使用提取器轨道的MPD样本的图。[图22]图22是示出新定义的VPCCGroupBox的示例的图。[图23]图23是描述projection_direction、present_alone和point_cloud_resolution的定义的图。[图24]图24是示出信令通知附加投影方向标识信息的VPCCGroupBox的样本的图。[图25]图25是描述45degree_projection、projection_direction、present_alone和point_cloud_resolution的定义的图。[图26]图26是示出信令通知针对每个块设置的附加投影方向标识信息的VPCCGroupBox的样本的图。[图27]图27是描述辅助信息的扩展的图。[图28]图28是描述projection_direction、present_alone和point_cloud_resolution的定义的图。[图29]图29是示出辅助信息的已经添加了45degree_projection的一部分的图。[图30]图30是描述45degree_projection、projection_direction，present_alone和point_cloud_resolution的定义的图。[图31]图31是示出了应用本本文档来自技高网...

【技术保护点】
1.一种信息处理装置，包括：/n预处理部，其适于通过在多个投影方向上投影3D数据并且将所述3D数据转换为二维数据来生成多个所述投影方向的图像数据，以及生成指示所述图像数据的所述投影方向的投影方向信息作为投影元数据。/n

【技术特征摘要】
【国外来华专利技术】20181002 JP 2018-187817;20190625 JP 2019-1177001.一种信息处理装置，包括：
预处理部，其适于通过在多个投影方向上投影3D数据并且将所述3D数据转换为二维数据来生成多个所述投影方向的图像数据，以及生成指示所述图像数据的所述投影方向的投影方向信息作为投影元数据。


2.根据权利要求1所述的信息处理装置，其中，
所述投影元数据包括附加投影方向标识信息，所述附加投影方向标识信息指示所述图像数据已经通过在附加投影方向上投影而生成。


3.根据权利要求2所述的信息处理装置，其中，
所述图像数据具有针对所述投影方向中的每一个的纹理图像、几何图像和占用地图图像。


4.根据权利要求3所述的信息处理装置，其中，
所述预处理部还生成是/否单独显示信息作为所述投影元数据，所述是/否单独显示信息指示是否能够单独显示由所述投影方向信息或所述附加投影方向标识信息指示的投影方向上的图像数据。


5.根据权利要求1所述的信息处理装置，其中，
所述预处理部还生成所述图像数据的有效像素计数作为所述图像质量元数据。


6.根据权利要求1所述的信息处理装置，还包括：
MPD(媒体呈现描述)文件生成部，其适于生成MPD，所述MPD信令通知针对所述文件中的每一个的生成的投影元数据，所述文件均为当显示所述3D数据时参考的数据单元。


7.根据权利要求6所述的信息处理装置，其中，
在不能使用所述文件中的一个文件来单独显示所述3D数据的情况下，所述MPD文件生成部信令通知与所述文件中的另一个文件的关联，所述另一个文件是显示所述3D数据所需的。


8.根据权利要求6所述的信息处理装置，其中，
在不能使用所述文...

【专利技术属性】
技术研发人员：高桥辽平，平林光浩，中神央二，隈智，
申请(专利权)人：索尼公司，
类型：发明
国别省市：日本;JP