信息处理装置和方法制造方法及图纸

本公开内容涉及能够更容易地提供具有更高质量并且可以抑制编码效率退化的图像的信息处理装置和方法。根据本公开内容，创建包括关于作为用于将投影成具有立体结构的立体结构图像映射到单个平面上的投影方法的扩展方法的投影扩展的信息的文件。本公开内容适用于例如信息处理装置、图像处理装置、图像编码装置、文件创建装置、文件发送装置、分发装置、文件接收装置、图像解码装置或再现装置。

【技术实现步骤摘要】
【国外来华专利技术】信息处理装置和方法
本公开内容涉及信息处理装置和方法，并且具体地涉及能够在减少编码效率下降的同时更容易地提供更高质量的图像的信息处理装置和方法。
技术介绍
传统上，存在MPEG-DASH(运动图像专家组-通过HTTP(超文本传输协议)的动态自适应流传输)作为根据HTTP协议的自适应内容分发技术的标准化规范(例如，参见非专利文献1)。此外，作为这样的MPEG-DASH的文件格式，已经存在ISOBMFF(国际标准化组织基础媒体文件格式)，其是运动图像压缩国际标准技术“MPEG-4(运动图像专家组-4)的文件容器规范”(例如，参见非专利文献2)。同时，存在通过将三维结构图像映射到平面图像上而产生的所谓全向视频的全向图像(也称为投影平面图像)，所述三维结构图像是在水平方向360度环绕并且在竖直方向180度环绕的图像并且被投影到三维结构上。近年来，已经考虑使用MPEG-DASH来分发三维结构图像。例如，通过将三维结构图像映射到单个平面上并且将三维结构图像分发为通过将三维结构图像映射到该平面上而产生的投影平面图像来使MPEG-DASH适用于三维结构图像(例如，参见非专利文献3)。在非专利文献3中描述的MPEG-I部分2全向媒体格式(ISO/IEC23090-2)FDIS(国际标准草案)(下文中也称为OMAF)中，存在被采用为这样的投影方法(也称为投影格式)的两种方法，即ERP(等量矩形投影)和CMP(立方体贴图投影)。引用列表非专利文献非专利文献1“Informationtechnology.DynamicadaptivestreamingoverHTTP(DASH).Part1：Mediapresentationdescriptionandsegmentformats,AMENDMENT4：SegmentIndependentSAPSignalling(SISSI),MPDchaining,MPDresetandotherextensions”,ISO/IEC23009-1:2014/PDAM4,ISO/IECJTC1/SC29/WG11,2015年10月23日非专利文献2“Informationtechnology-Codingofaudio-visualobjects-Part12:ISObasemediafileformat”,ISO/IEC14496-12,2005年10月1日非专利文献3“Informationtechnology-Codedrepresentationofimmersivemedia(MPEG-I)-Part2：Omnidirectionalmediaformat”,ISO/IECFDIS23090-12:201x(E),ISO/IECJTC1/SC29/WG11,2017年12月11日
技术实现思路
技术问题然而，上述投影方法中的每一个没有特别地具有用于改善图像质量的机制，并且因此就图像质量而言，不被认为是极好的投影格式。例如，在近来的全向视频分发中已经考虑了全向视频中的特定方向上的图像质量提高(也称为视口相关的图像质量提高)以通过有效利用带宽来优化用户体验。然而，前述投影格式不满足视口相关的图像质量提高。因此，当试图进行图像质量提高时，需要增加整个投影平面图像的图像质量。在这样的情况下，带宽可以被压缩。此外，在试图通过有效利用带宽来在减少编码效率下降的同时实现图像质量提高以优化用户体验的情况下，需要采用具有上述视口相关的特性的新投影格式。然而，采用这样类型的投影格式可能对创造工作流程或客户端实现具有相当大的影响。因此，这样类型的投影格式难以引入市场，并且因此难以实际使用。考虑到上述情况而开发了本公开内容，并且本公开内容在减少编码效率下降的同时更容易提供更高质量的图像。问题的解决方案根据本技术的一方面的信息处理装置涉及如下信息处理装置，其包括：文件生成单元，其生成包括与作为投影方法的扩展方法的投影扩展相关联的信息的文件，所述投影方法用于将作为投影在三维结构上的图像的三维结构图像映射到单个平面上。根据本技术的一方面的信息处理方法涉及如下信息处理方法，其生成包括与作为投影方法的扩展方法的投影扩展相关联的信息的文件，所述投影方法用于将作为投影在三维结构上的图像的三维结构图像映射到单个平面上。根据本技术的另一方面的信息处理装置涉及如下信息处理装置，其包括：文件生成单元，其生成包括对应于作为投影方法的扩展方法的投影扩展的、与投影平面图像的图像质量相关联的信息的文件，所述投影方法用于将作为投影在三维结构上的图像的三维结构图像映射到单个平面上，所述投影平面图像是通过使用应用了投影扩展的投影方法将三维结构图像映射到平面上而产生的。根据本技术的另一方面的信息处理方法涉及如下信息处理方法，其生成包括对应于作为投影方法的扩展方法的投影扩展的、与投影平面图像的图像质量相关联的信息的文件，所述投影方法用于将作为投影在三维结构上的图像的三维结构图像映射到单个平面上，所述投影平面图像是通过使用应用了投影扩展的投影方法将三维结构图像映射到平面上而产生的。根据本技术的又一方面的信息处理装置涉及如下信息处理装置，其包括：文件生成单元，其生成包括对应于作为投影方法的扩展方法的投影扩展的与图像投影到三维结构的偏移相关联的信息的文件，所述投影方法用于将作为投影在三维结构上的图像的三维结构图像映射到单个平面上。根据本技术的又一方面的信息处理方法涉及如下信息处理方法，其生成包括对应于作为投影方法的扩展方法的投影扩展的与图像投影到三维结构的偏移相关联的信息的文件，所述投影方法用于将作为投影在三维结构上的图像的三维结构图像映射到单个平面上。根据本技术的又一方面的信息处理装置涉及如下信息处理装置，其包括：文件生成单元，其生成包括与作为投影方法的扩展方法的投影扩展相关联的信息的控制文件，所述投影方法用于将作为投影在三维结构上的图像的三维结构图像映射到单个平面上，所述控制文件用于图像编码数据的分发控制，所述图像编码数据是对投影平面图像进行编码而获得的，所述投影平面图像是通过由应用了投影扩展的投影方法将三维结构图像映射到平面上而产生的。根据本技术的又一方面的信息处理方法涉及如下信息处理方法，其生成包括与作为投影方法的扩展方法的投影扩展相关联的信息的控制文件，所述投影方法用于将作为投影在三维结构上的图像的三维结构图像映射到单个平面上，所述控制文件用于图像编码数据的分发控制，所述图像编码数据是对投影平面图像进行编码而获得的，所述投影平面图像是通过由应用了投影扩展的投影方法将三维结构图像映射到平面上而产生的。根据本技术的又一方面的信息处理装置涉及如下信息处理装置，其包括：文件生成单元，其生成包括对应于作为投影方法的扩展方法的投影扩展的、与投影平面图像的图像质量相关联的信息的控制文件，所述投影方法用于将作为投影在三维结构上的图像的三维结构图像映射到单个平面上，所述投影平面图像是通过使用本文档来自技高网...

【技术保护点】
1.一种信息处理装置，包括：/n文件生成单元，其生成包括与作为投影方法的扩展方法的投影扩展相关联的信息的文件，所述投影方法用于将作为投影在三维结构上的图像的三维结构图像映射到单个平面上。/n

【技术特征摘要】
【国外来华专利技术】20180112 JP 2018-0037271.一种信息处理装置，包括：
文件生成单元，其生成包括与作为投影方法的扩展方法的投影扩展相关联的信息的文件，所述投影方法用于将作为投影在三维结构上的图像的三维结构图像映射到单个平面上。


2.根据权利要求1所述的信息处理装置，其中，与所述投影扩展相关联的信息包括以下中的一个或更多个：指示是否应用了所述投影扩展的信息、指示所应用的投影扩展的类型的信息以及渲染到所述三维结构中所必需的信息。


3.根据权利要求1或2所述的信息处理装置，其中，所述文件生成单元生成包括与所述投影扩展相关联的信息作为图像编码数据的每个流的信息的文件，所述图像编码数据是对投影平面图像进行编码而获得的，所述投影平面图像是通过由应用了所述投影扩展的投影方法将所述三维结构图像映射到所述平面上而产生的。


4.根据权利要求3所述的信息处理装置，其中，
所述文件包括ISOBMFF(国际标准化组织基础媒体文件格式)文件，并且
与所述投影扩展相关联的信息被存储在所述ISOBMFF文件的投影全向视频盒中。


5.一种信息处理方法，包括：
生成包括与作为投影方法的扩展方法的投影扩展相关联的信息的文件，所述投影方法用于将作为投影在三维结构上的图像的三维结构图像映射到单个平面上。


6.一种信息处理装置，包括：
文件生成单元，其生成包括对应于作为投影方法的扩展方法的投影扩展的、与投影平面图像的图像质量相关联的信息的文件，所述投影方法用于将作为投影在三维结构上的图像的三维结构图像映射到单个平面上，所述投影平面图像是通过由应用了所述投影扩展的投影方法将所述三维结构图像映射到所述平面上而产生的。


7.根据权利要求6所述的信息处理装置，其中，与所述图像质量相关联的信息包括与具有比其他区域的图像质量更高的图像质量的图像质量提高区域相关联的信息。


8.根据权利要求7所述的信息处理装置，其中，
所述文件包括ISOBMFF(国际标准化组织基础媒体文件格式)文件，并且
与所述图像质量提高区域相关联的信息包括以下中的一个或更多个：
viewport_type，其指示所述图像质量提高区域的属性并且被存储在所述ISOBMFF文件的投影全向视频盒中的质量强调视口信息盒中，
标志信息，其被存储在所述ISOBMFF文件的推荐视口定时元数据的RcvpInfoBox中，并且指示所述图像质量提高区域与对应于推荐属性的区域是否彼此匹配，以及
reference_type，其被包括在将推荐视口定时元数据的轨道与全向视频的轨道相关联的轨道参考中，并且具有指示在定时元数据中用信令通知的推荐视口与全向视频的图像质量提高区域之间的匹配的预定值。


9.一种信息处理方法，包括：
生成包括对应于作为投影方法的扩展方法的投影扩展的、与投影平面图像的图像质量相关联的信息的文件，所述投影方法用于将作为投影在三维结构上的图像的三维结构图像映射到单个平面上，所述投影平面图像是通过由应用了所述投影扩展的投影方法将所述三维结构图像映射到所述平面上而产生的。


10.一种信息处理装置，包括：
文件生成单元，其生成包括对应于作为投影方法的扩展方法的投影扩展的、与图像投影到三维结构的偏移相关联的信息的文件，所述投影方法用于将作为投影在所述三维结构上的图像的三维结构图像映射到单个平面上。


11.一种信息处理方法，包括：
生成包括对应于作为投影方法的扩展方法的投影扩展的、与图像投影到三维结构的偏移相关联的信息的文件，所述投影方法用于将作为投影在所述三维结构上的图像的三维结构图像映射到单个平面上。


12.一种信息处理装置，包括：
文件生成单元，其生成包括与作为投影方法的扩展方法的投影扩展相关联的信息的控制文件，所述投影...

【专利技术属性】
技术研发人员：高桥辽平，平林光浩，泉伸明，
申请(专利权)人：索尼公司，
类型：发明
国别省市：日本;JP