图像处理设备、图像处理方法和计算机可读存储介质技术

本发明专利技术涉及一种图像处理设备，图像处理方法和计算机可读存储介质。该图像处理设备包括：接收单元，用于接收作为对视点的彩色图像和该视点的深度图像的编码结果而获得的位流以及指示深度图像是深度方向图像还是视差图像的深度图像标识信息；解码单元，用于通过对接收单元接收的位流进行解码而生成彩色图像和深度图像；以及生成单元，用于通过使用解码单元生成的彩色图像和深度图像以及接收单元接收的深度图像标识信息而生成显示视点的彩色图像。本发明专利技术可以应用于例如用于多视点图像的图像处理设备。

Image processing apparatus, image processing method, and computer readable storage medium

The present invention relates to an image processing apparatus, an image processing method, and a computer-readable storage medium. The image processing device includes: a receiving unit for receiving the image as the depth of viewpoint and the view of the color image encoding the bit stream and indicate the depth image obtained is image identification information of depth image or parallax images; and a decoding unit for generating color image and depth image by decoding the bit flow received by the receiving unit; and a generating unit, used for color image by color image and depth image is generated using a decoding unit and a receiving unit for receiving the depth image identification information generated display view. The present invention can be applied to an image processing apparatus, for example, for a multi view image.

【技术实现步骤摘要】
图像处理设备、图像处理方法和计算机可读存储介质本申请是申请日为2012年3月9日、专利技术名称为“图像处理设备和图像处理方法”以及申请号为201280012933.1的专利技术专利申请的分案申请。
本技术涉及一种图像处理设备和图像处理方法，更具体地，涉及一种能够使用预定视点的彩色图像和深度图像来生成显示视点的彩色图像的图像处理设备和图像处理方法。
技术介绍
近年来，3D图像引起了注意。用于观看3D图像的常用方法是使得人佩戴在显示两个视点的图像之一期间打开左眼快门并且在显示另一图像期间打开右眼快门的眼镜，并且人观看交替显示的两个视点的图像(下文中称为“使用眼镜的方法”)。然而，对于这种使用眼镜的方法，除了3D图像显示装置之外，观看者需要购买眼镜，这降低了购买的欲望。另外，观看者需要在观看期间佩戴眼镜，这是麻烦的。因此，需要用于在不佩戴眼镜的情况下观看3D图像的观看方法(下文中称为“不用眼镜的方法”)。在不用眼镜的方法中，以使得可观看角度对每个视点不同的方式来显示三个或更多个视点的图像，并且当观看者利用右眼和左眼看到两个视点的图像时，观看者可以在不佩戴眼镜的情况下看到3D图像。以下方法已成为根据不用眼镜的方法的3D图像显示方法。在该方法中，获得预定视点的彩色图像和深度图像，并且使用彩色图像和深度图像，生成并显示多个视点的彩色图像，这多个视点是包括除预定视点之外的视点的显示视点。应注意，“多个视点”表示三个或更多个视点。作为用于对多个视点的彩色图像和深度图像进行编码的方法，提出了用于对彩色图像和深度图像分开进行编码的方法(例如，参见专利文献1)。引用列表非专利文献非专利文献1：INTERNATIONALORGANISATIONFORSTANDARDISATIONORGANISATIONINTERNATIONALEDENORMALISATIONISO/IECJTC1/SC29/WG11CODINGOFMOVINGPICTURESANDAUDIO,广州,中国,2010年10月
技术实现思路
本专利技术要解决的问题在传统的编码标准等中，没有考虑适合于根据不用眼镜的方法的3D图像显示的信息传送。因此，在传统编码标准中，传送大量信息，这对于使用预定视点的彩色图像和作为与视差有关的图像(深度图像)的视差相关图像(诸如深度图像)生成多个视点的彩色图像是不必要的，并且此外，传送所需信息，这多个视点是包括除预定视点之外的视点的显示视点。结果，接收侧无法使用预定视点的彩色图像和视差相关图像生成除预定视点之外的视点的彩色图像。本技术是鉴于这样的情形而做出的，并且允许使用预定视点的彩色图像和视差相关图像生成显示视点的彩色图像。问题的解决方案提供了一种图像处理设备，包括：接收单元，用于接收作为对视点的彩色图像和该视点的深度图像的编码结果而获得的位流以及指示深度图像是深度方向图像还是视差图像的深度图像标识信息；解码单元，用于通过对接收单元接收的位流进行解码而生成彩色图像和深度图像；以及生成单元，用于通过使用解码单元生成的彩色图像和深度图像以及接收单元接收的深度图像标识信息而生成显示视点的彩色图像。还提供了一种用于图像处理设备的图像处理方法，包括：接收步骤，用于接收作为对视点的彩色图像和该视点的深度图像的编码结果而获得的位流以及指示深度图像是深度方向图像还是视差图像的深度图像标识信息；解码步骤，用于通过对在接收步骤的处理中接收的位流进行解码而生成彩色图像和深度图像；以及生成步骤，用于通过使用在解码步骤的处理中生成的彩色图像和深度图像以及在接收步骤的处理中接收的深度图像标识信息而生成显示视点的彩色图像。还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有程序，该程序在由处理器执行时使得处理器执行：接收步骤，用于接收作为对视点的彩色图像和该视点的深度图像的编码结果而获得的位流以及指示深度图像是深度方向图像还是视差图像的深度图像标识信息；解码步骤，用于通过对在接收步骤的处理中接收的位流进行解码而生成彩色图像和深度图像；以及生成步骤，用于通过使用在解码步骤的处理中生成的彩色图像和深度图像以及在接收步骤的处理中接收的深度图像标识信息而生成显示视点的彩色图像。根据本技术的第一方面的图像处理设备是包括如下单元的图像处理设备：编码单元，用于通过对视点的彩色图像和该视点的深度图像进行编码而生成位流；生成单元，用于根据通过使用彩色图像和深度图像执行翘曲处理而获得的显示视点的彩色图像的生成方法，生成用于生成显示视点的彩色图像的视点生成信息；传送单元，用于传送编码单元生成的位流和生成单元生成的视点生成信息。根据本技术的第一方面的图像处理方法对应于根据本技术的第一方面的图像处理设备。在本技术的第一方面，通过对视点的彩色图像和该视点的深度图像进行编码来生成位流，并且根据通过使用彩色图像和深度图像执行翘曲处理而获得的显示视点的彩色图像的生成方法，生成用于生成显示视点的彩色图像的视点生成信息，并且传送位流和视点生成信息。根据本技术的第二方面的图像处理设备是包括如下单元的图像处理设备：接收单元，用于接收作为对视点的彩色图像和该视点的深度图像进行编码的结果而获得的位流以及用于生成显示视点的彩色图像的视点生成信息，该视点生成信息是根据通过使用彩色图像和深度图像执行翘曲处理而获得的显示视点的彩色图像的生成方法所生成的；解码单元，用于通过对接收单元接收的位流进行解码而生成彩色图像和深度图像；以及生成单元，用于通过使用解码单元生成的彩色图像和深度图像以及接收单元接收的视点生成信息执行翘曲处理而生成显示视点的彩色图像。根据本技术的第二方面的图像处理方法对应于根据本技术的第二方面的图像处理设备。在本技术的第二方面，接收作为对视点的彩色图像和该视点的深度图像进行编码的结果而获得的位流以及用于生成显示视点的彩色图像的视点生成信息，该视点生成信息是根据通过使用彩色图像和深度图像执行翘曲处理而获得的显示视点的彩色图像的生成方法所生成的，并且通过对在接收步骤的处理中接收的位流进行解码而生成彩色图像和深度图像，并通过使用彩色图像和深度图像以及视点生成信息执行翘曲处理而生成显示视点的彩色图像。根据第一和第二方面的图像处理设备可以通过使得计算机执行程序来实现。为了实现根据第一和第二方面的图像处理设备，可以通过经由传送介质传送程序或将程序记录到记录介质来提供计算机执行的程序。本专利技术的效果根据本技术的第一方面，可以传送用于使用预定视点的彩色图像和深度图像生成显示视点的彩色图像的必要信息。根据本技术的第二方面，可以使用预定视点的彩色图像和深度图像生成显示视点的彩色图像。附图说明图1是示出多视点获取信息SEI的语法的图。图2是示出用作应用本技术的图像处理设备的编码装置的第一实施例的配置示例的框图。图3是示出编码位流的访问单位的配置示例的图。图4是示出SEI的一部分的描述示例的图。图5是说明图2的编码装置的编码处理的流程图。图6是说明图5的多视点编码处理的细节的流程图。图7是示出用作应用本技术的图像处理设备的解码装置的第一实施例的配置示例的框图。图8是说明深度图像的翘曲处理的图。图9是说明图7的解码装置的解码处理的流程图。图10是说明图9的多视点解码处理的细节的流程图。图11是示出用作应用本技术的图像处本文档来自技高网...

【技术保护点】
一种图像处理设备，包括：接收单元，用于接收作为对视点的彩色图像和所述视点的深度图像的编码结果而获得的位流以及指示所述深度图像是深度方向图像还是视差图像的深度图像标识信息；解码单元，用于通过对所述接收单元接收的位流进行解码而生成所述彩色图像和所述深度图像；以及生成单元，用于通过使用所述解码单元生成的彩色图像和深度图像以及所述接收单元接收的所述深度图像标识信息而生成显示视点的彩色图像。

【技术特征摘要】
2011.03.18 JP 2011-061486;2011.08.31 JP 2011-188811.一种图像处理设备，包括：接收单元，用于接收作为对视点的彩色图像和所述视点的深度图像的编码结果而获得的位流以及指示所述深度图像是深度方向图像还是视差图像的深度图像标识信息；解码单元，用于通过对所述接收单元接收的位流进行解码而生成所述彩色图像和所述深度图像；以及生成单元，用于通过使用所述解码单元生成的彩色图像和深度图像以及所述接收单元接收的所述深度图像标识信息而生成显示视点的彩色图像。2.根据权利要求1所述的图像处理设备，其中，所述接收单元接收所述深度图像标识信息作为所述位流的辅助信息。3.根据权利要求1所述的图像处理设备，其中，所述接收单元接收所述深度图像标识信息作为补充增强信息SEI。4.根据权利要求1所述的图像处理设备，其中，所述接收单元接收用于标识所述彩色图像的视点生成信息或用于标识所述深度图像的信息，以及所述生成单元基于所述视点生成信息而标识所述接收单元接收的彩色图像和深度图像，对所述深度图像执行翘曲处理，并且通过使用已经受所述翘曲处理的所述显示视点的深度图像对所述彩色图像执行翘曲处理而生成所述显示视点的彩色图像。5.根据权利要求1所述的图像处理设备，其中，所述深度图像是包括视差值的视差图像，所述视差值表示所述彩色图像的每个像素与基点处的彩色图像的对应于该像素的像素之间的距离，以及视点生成信息包括指示所述视差图像的视差值的最小值的视差最小值信息和指示所述视差图像的视差值的最大值的视差最大值信息，以及所述接收单元接收所述视点生成信息作为补充增强信息SEI。6.根据权利要求1所述的图像处理设备，其中，所述深度图像是包括深度值的深度方向图像，所述深度值表示在所述彩色图像的每个像素处被摄对象在深度方向上的位置，视点生成信息包括指示...

【专利技术属性】
技术研发人员：高桥良知，服部忍，樱井裕音，
申请(专利权)人：索尼公司，
类型：发明
国别省市：日本,JP