当前位置: 首页 > 专利查询>索尼公司专利>正文

图像处理装置和图像处理方法制造方法及图纸

技术编号:22174552 阅读:50 留言:0更新日期:2019-09-21 15:12
本公开内容涉及图像处理装置和图像处理方法,其使得能够将辅助信息存储在YCbCR格式的CbCr分量中,以使得不会发生由于编解码失真而引起的劣化。该图像处理装置被配备有:接收单元,其接收深度图像数据,在该深度图像数据中,与纹理图像一起传送的深度图像被存储在YCbCr格式的Y分量中,并且辅助信息被存储在YCbCr格式的CbCR分量中;以及辅助信息利用单元,其使用辅助信息对纹理图像和/或深度图像执行规定的图像处理。针对纹理图像中的每个像素的辅助信息的可能值具有N种模式,并且CbCr分量存储关于两个像素的辅助信息的组合被转换成N×N个灰度值所得的灰度值。例如,本技术可以应用于根据全向图像来生成具有规定视点的显示图像的家庭服务器等。

Image Processing Device and Image Processing Method

【技术实现步骤摘要】
【国外来华专利技术】图像处理装置和图像处理方法
本公开内容涉及图像处理装置和图像处理方法,具体地,涉及能够将辅助信息以YCbCr格式存储在CbCr分量中以防止由编解码失真(codecdistortion)引起的劣化的图像处理装置和图像处理方法。
技术介绍
PTL1公开了如下编码器:该编码器对与第一视点(例如,右视点)相关联的第一视频数据和第一深度数据以及与第二视点(左视点)相关联的第二视频数据和第二深度数据进行编码,并且将经编码的第一视频数据和第一深度数据以及经编码的第二视频数据和第二深度数据传送到多视图渲染设备。此外,PTL1公开了编码器将辅助信息(元数据)存储在深度数据的色度分量中。[引用列表][专利文献][PTL1]JP-T-2016-524373
技术实现思路
[技术问题]在将辅助信息存储在色度分量中并对辅助信息进行编码的情况下,存在发生编解码失真并且不能正确地对辅助信息进行解码的可能情况;然而,PTL1没有提到针对这个问题的解决方案。鉴于这样的状况而实现了本公开内容,并且本公开内容的目的是将辅助信息以YCbCr格式存储在CbCr分量中,以防止由编解码失真引起的劣化。[针对问题的解决方案]根据本公开内容的第一方面的一种图像处理装置包括:接收部,其接收深度图像数据,在该深度图像数据中,与纹理图像一起传送的深度图像被存储在YCbCr格式的Y分量中,并且辅助信息被存储在YCbCr格式的CbCr分量中;以及辅助信息利用部,其利用辅助信息对纹理图像或深度图像中的至少一个执行预定图像处理。针对纹理图像的每个像素辅助信息可以采用的值具有N种模式,并且通过将与两个像素有关的辅助信息的组合转换成N×N个灰度值而获得的灰度值被存储在CbCr分量中。根据本公开内容的第一方面的一种图像处理方法包括以下步骤:使图像处理装置接收深度图像数据,在该深度图像数据中,与纹理图像一起传送的深度图像被存储在YCbCr格式的Y分量中,并且辅助信息被存储在YCbCr格式的CbCr分量中;以及使图像处理装置利用辅助信息对纹理图像或深度图像中的至少一个执行预定图像处理。针对纹理图像的每个像素辅助信息可以采用的值具有N种模式,并且通过将与两个像素有关的辅助信息的组合转换成N×N个灰度值而获得的灰度值被存储在CbCr分量中。根据本公开内容的第一方面,接收深度图像数据,在该深度图像数据中,与纹理图像一起传送的深度图像被存储在YCbCr格式的Y分量中,并且辅助信息被存储在YCbCr格式的CbCr分量中;以及利用辅助信息对纹理图像或深度图像中的至少一个执行预定图像处理。针对纹理图像的每个像素而辅助信息可以采用的值具有N种模式,并且通过将与两个像素有关的辅助信息的组合转换成N×N个灰度值而获得的灰度值被存储在CbCr分量中。根据本公开内容的第二方面的一种图像处理装置包括:图像数据生成部,其生成深度图像数据,在该深度图像数据中,与纹理图像一起传送的深度图像被存储在YCbCr格式的Y分量中,并且在对纹理图像或深度图像中的至少一个的处理中利用的辅助信息被存储在YCbCr格式的CbCr分量中。针对纹理图像的每个像素辅助信息可以采用的值具有N种模式,并且图像数据生成部将通过将与两个像素有关的辅助信息的组合转换成N×N个灰度值而获得的灰度值存储在CbCr分量中。根据本公开内容的第二方面的一种图像处理方法包括以下步骤:使图像处理装置生成深度图像数据,在该深度图像数据中,与纹理图像一起传送的深度图像被存储在YCbCr格式的Y分量中,并且在对纹理图像或深度图像中的至少一个的处理中利用的辅助信息被存储在YCbCr格式的CbCr分量中。针对纹理图像的每个像素辅助信息可以采用的值具有N种模式,并且通过将与两个像素有关的辅助信息的组合转换成N×N个灰度值而获得的灰度值被存储在CbCr分量中。根据本公开内容的第二方面,生成深度图像数据,在该深度图像数据中,与纹理图像一起传送的深度图像被存储在YCbCr格式的Y分量中,并且在对纹理图像或深度图像中的至少一个的处理中利用的辅助信息被存储在YCbCr格式的CbCr分量中。针对纹理图像的每个像素辅助信息可以采用的值具有N种模式,并且通过将与两个像素相关的辅助信息的组合转换成N×N个灰度值而获得的灰度值被存储在CbCr分量中。图像处理装置可以是独立的装置,或者可以是构成一个装置的内部块。注意,根据本公开内容的第一方面和第二方面的图像处理装置可以各自通过使计算机执行程序来实现。此外,为了实现根据本公开内容的第一方面和第二方面的图像处理装置中的每一个,可以通过经由传输介质传送或者通过被记录在记录介质中来提供由计算机执行的程序。[本专利技术的有益效果]根据本公开内容的第一方面,可以使用存储在YCbCr格式的CbCr分量中的辅助信息,以防止由编解码失真引起的劣化。根据本公开内容的第二方面,可以将辅助信息存储在YCbCr格式的CbCr分量中,以防止由编解码失真引起的劣化。要注意的是,效果并不总是限于本文描述的效果,而可以是本公开内容中描述的任何效果。附图说明图1是示出应用了本公开内容的图像显示系统的第一实施方式的配置示例的框图。图2是示出内容服务器的配置示例的框图。图3是示出高分辨率图像处理部的配置示例的框图。图4表示距离z和r的说明图。图5是示出3D模型坐标系的X轴的变化的示图。图6表示伴随3D模型坐标系的X轴的变化的最小值zmin和rmin的变化的说明图。图7是示出在将第一层的与六个面相对应的深度图像映射到球体上时球体上的像素的位置的示例的示图。图8表示示出第一层的面的示例的示图。图9是示出与第一层有关的视点位置信息和面信息的表的配置示例的示图。图10是示出与第一层的预定面相对应的对象在深度方向上的位置的示图。图11是示出第一层和第二层的纹理图像的构造示例的图。图12表示第一层和第二层的纹理图像的示例的说明图。图13表示第一层和第二层的纹理图像的另一示例的说明图。图14表示示出第二层的视点的第一示例的示图。图15是示出与第二层有关的视点位置信息和面信息的表的配置的第一示例的示图。图16表示示出第二层的视点的第二示例的示图。图17是示出与第二层有关的视点位置信息和面信息的表的配置的第二示例的示图。图18是流生成处理的说明性流程图。图19是示出家庭服务器的配置示例的框图。图20是示出ML3D模型生成部的配置示例的框图。图21表示连接信息的示例的说明图。图22是连接信息的另一示例的说明图。图23表示采样点的示例的说明图。图24表示采样点的另一示例的说明图。图25表示遮挡处理的说明图。图26是再现处理的说明性流程图。图27是三维数据生成处理的细节的说明性流程图。图28是示出图像显示系统的第二实施方式中的高分辨率图像处理部的配置示例的框图。图29是示出图28的编码器的配置示例的框图。图30表示由YCbCr420转换部执行的420转换处理的说明图。图31是在N=2的情况下420转换处理的说明图。图32是在N=2的情况下420转换处理的说明图。图33是在N=2的情况下420转换处理的说明图。图34是在N=3的情况下420转换处理的说明图。图35是在N=3的情况下420转换处理的说明图。图36是在N=3的情况下420转换处理的说明图。图37是根据第二实施方式的第一层流生成处本文档来自技高网...

【技术保护点】
1.一种图像处理装置,包括:接收部,其接收深度图像数据,在所述深度图像数据中,与纹理图像一起传送的深度图像被存储在YCbCr格式的Y分量中,并且辅助信息被存储在所述YCbCr格式的CbCr分量中;以及辅助信息利用部,其利用所述辅助信息对所述纹理图像或所述深度图像中的至少一个执行预定图像处理,其中,针对所述纹理图像的每个像素所述辅助信息能够采用的值具有N种模式,并且通过将与两个像素有关的所述辅助信息的组合转换成N×N个灰度值而获得的灰度值被存储在所述CbCr分量中。

【技术特征摘要】
【国外来华专利技术】2017.02.13 JP 2017-0237891.一种图像处理装置,包括:接收部,其接收深度图像数据,在所述深度图像数据中,与纹理图像一起传送的深度图像被存储在YCbCr格式的Y分量中,并且辅助信息被存储在所述YCbCr格式的CbCr分量中;以及辅助信息利用部,其利用所述辅助信息对所述纹理图像或所述深度图像中的至少一个执行预定图像处理,其中,针对所述纹理图像的每个像素所述辅助信息能够采用的值具有N种模式,并且通过将与两个像素有关的所述辅助信息的组合转换成N×N个灰度值而获得的灰度值被存储在所述CbCr分量中。2.根据权利要求1所述的图像处理装置,其中,所述接收部接收第一层的与纹理图像有关的纹理图像数据和深度图像数据以及第二层的与纹理图像有关的纹理图像数据和深度图像数据,并且针对所述第一层和所述第二层中的每一层,所述辅助信息利用部利用所述辅助信息对所述纹理图像或所述深度图像中的至少一个执行预定图像处理。3.根据权利要求1所述的图像处理装置,其中,所述YCbCr格式包括在2×2即四个像素当中共享Cr分量和Cb分量的YCbCr420格式。4.根据权利要求1所述的图像处理装置,其中,所述辅助信息包括用于识别分段的分段信息。5.根据权利要求1所述的图像处理装置,其中,所述辅助信息包括用于识别区域的区域信息。6.根据权利要求1所述的图像处理装置,其中,所述辅助信息包括指示某一部分是否是边缘部分的边缘信息。7.根据权利要求1所述的图像处理装置,其中,所述辅助信息包括指示用于阿尔法混合的阿尔法值的信息。8.根据权利要求1所述的图像处理装置,其中,所述辅助信息包括指示层编号的信息。9.根据权利要求1所述的图像处理装置,其中,所述辅助信息包括指示三角形补片是有效的还是无效的信息。10.一种图像处理方法,包括以下步骤:使图像处理装置接收深度图像数据,在所述深度图像数据中,与纹理图像一起传送的深度图像被存储在YCbCr格式的Y分量中,并且辅助信息被存储在所述YCbCr格式的CbCr分量中;以及使图像处理装置利用所述辅助信息对所述纹理图像或所述深度图像中的至少一个执行预定图像处理,其中,针对所述纹理图像的每个像素所述辅助信息能够采用的值具有N种模式,并且通过将与两个像素有关的所述辅助信息的组合转换成N×N个灰度值而获得的灰度值被存储在所述CbCr分量中。11.一种图像处理装置,包括:图像数据生成部,其生成深度图像数据,在所述深度图像数据中,与纹理图像一起传送的深度图像被存储在YCbCr格式的Y分量中,并且在对所述纹理图像或所述深度图像中的至少一个的处理...

【专利技术属性】
技术研发人员:福安彻也
申请(专利权)人:索尼公司
类型:发明
国别省市:日本,JP

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1