图像处理设备、图像处理方法和计算机可读存储介质技术

本发明专利技术涉及一种图像处理设备、图像处理方法和计算机可读存储介质。该图像处理设备包括：传送单元，被配置成传送一个或更多个预定视点的第一彩色图像、一个或更多个预定视点的视差相关图像以及视点生成信息，视点生成信息是用于生成除一个或更多个预定视点以外的视点的第二彩色图像的信息并且至少包括在一个或更多个预定视点处的图像捕获信息。本发明专利技术可以应用于例如用于多视点图像的图像处理设备。

Image processing apparatus, image processing method, and computer readable storage medium

The present invention relates to an image processing apparatus, an image processing method, and a computer-readable storage medium. The image processing device comprises a transmission unit, by the related image and view information to generate parallax configured to transmit one or more predetermined point of view of the first color image, one or more predetermined point of view generation information is used to generate second color images except one or more predetermined point of view of information in the image and includes at least one or more predetermined view point capture information. The present invention can be applied to an image processing apparatus, for example, for a multi view image.

【技术实现步骤摘要】
图像处理设备、图像处理方法和计算机可读存储介质本申请是申请日为2012年3月9日、专利技术名称为“图像处理设备和图像处理方法”以及申请号为201280012933.1的专利技术专利申请的分案申请。
本技术涉及一种图像处理设备和图像处理方法，更具体地，涉及一种能够使用预定视点的彩色图像和深度图像来生成显示视点的彩色图像的图像处理设备和图像处理方法。
技术介绍
近年来，3D图像引起了注意。用于观看3D图像的常用方法是使得人佩戴在显示两个视点的图像之一期间打开左眼快门并且在显示另一图像期间打开右眼快门的眼镜，并且人观看交替显示的两个视点的图像(下文中称为“使用眼镜的方法”)。然而，对于这种使用眼镜的方法，除了3D图像显示装置之外，观看者需要购买眼镜，这降低了购买的欲望。另外，观看者需要在观看期间佩戴眼镜，这是麻烦的。因此，需要用于在不佩戴眼镜的情况下观看3D图像的观看方法(下文中称为“不用眼镜的方法”)。在不用眼镜的方法中，以使得可观看角度对每个视点不同的方式来显示三个或更多个视点的图像，并且当观看者利用右眼和左眼看到两个视点的图像时，观看者可以在不佩戴眼镜的情况下看到3D图像。以下方法已成为根据不用眼镜的方法的3D图像显示方法。在该方法中，获得预定视点的彩色图像和深度图像，并且使用彩色图像和深度图像，生成并显示多个视点的彩色图像，这多个视点是包括除预定视点之外的视点的显示视点。应注意，“多个视点”表示三个或更多个视点。作为用于对多个视点的彩色图像和深度图像进行编码的方法，提出了用于对彩色图像和深度图像分开进行编码的方法(例如，参见专利文献1)。引用列表非专利文献非专利文献1：INTERNATIONALORGANISATIONFORSTANDARDISATIONORGANISATIONINTERNATIONALEDENORMALISATIONISO/IECJTC1/SC29/WG11CODINGOFMOVINGPICTURESANDAUDIO,广州,中国,2010年10月
技术实现思路
本专利技术要解决的问题在传统的编码标准等中，没有考虑适合于根据不用眼镜的方法的3D图像显示的信息传送。因此，在传统编码标准中，传送大量信息，这对于使用预定视点的彩色图像和作为与视差有关的图像(深度图像)的视差相关图像(诸如深度图像)生成多个视点的彩色图像是不必要的，并且此外，传送所需信息，这多个视点是包括除预定视点之外的视点的显示视点。结果，接收侧无法使用预定视点的彩色图像和视差相关图像生成除预定视点之外的视点的彩色图像。本技术是鉴于这样的情形而做出的，并且允许使用预定视点的彩色图像和视差相关图像生成显示视点的彩色图像。问题的解决方案提供了一种图像处理设备，其包括：传送单元，被配置成传送一个或更多个预定视点的第一彩色图像、一个或更多个预定视点的视差相关图像以及视点生成信息，视点生成信息是用于生成除一个或更多个预定视点以外的视点的第二彩色图像的信息并且至少包括在一个或更多个预定视点处的图像捕获信息。还提供了一种图像处理方法，其包括：传送步骤，用于传送一个或更多个预定视点的第一彩色图像、一个或更多个预定视点的视差相关图像以及视点生成信息，视点生成信息是用于生成除一个或更多个预定视点以外的视点的第二彩色图像的信息并且至少包括在一个或更多个预定视点处的图像捕获信息。还提供了一种存储有程序的计算机可读存储介质，该程序在由处理器执行时使处理器执行以下操作：传送一个或更多个预定视点的第一彩色图像、一个或更多个预定视点的视差相关图像以及视点生成信息，视点生成信息是用于生成除一个或更多个预定视点以外的视点的第二彩色图像的信息并且至少包括在一个或更多个预定视点处的图像捕获信息。根据本技术的第一方面的图像处理设备是包括如下单元的图像处理设备：编码单元，用于通过对视点的彩色图像和该视点的深度图像进行编码而生成位流；生成单元，用于根据通过使用彩色图像和深度图像执行翘曲处理而获得的显示视点的彩色图像的生成方法，生成用于生成显示视点的彩色图像的视点生成信息；传送单元，用于传送编码单元生成的位流和生成单元生成的视点生成信息。根据本技术的第一方面的图像处理方法对应于根据本技术的第一方面的图像处理设备。在本技术的第一方面，通过对视点的彩色图像和该视点的深度图像进行编码来生成位流，并且根据通过使用彩色图像和深度图像执行翘曲处理而获得的显示视点的彩色图像的生成方法，生成用于生成显示视点的彩色图像的视点生成信息，并且传送位流和视点生成信息。根据本技术的第二方面的图像处理设备是包括如下单元的图像处理设备：接收单元，用于接收作为对视点的彩色图像和该视点的深度图像进行编码的结果而获得的位流以及用于生成显示视点的彩色图像的视点生成信息，该视点生成信息是根据通过使用彩色图像和深度图像执行翘曲处理而获得的显示视点的彩色图像的生成方法所生成的；解码单元，用于通过对接收单元接收的位流进行解码而生成彩色图像和深度图像；以及生成单元，用于通过使用解码单元生成的彩色图像和深度图像以及接收单元接收的视点生成信息执行翘曲处理而生成显示视点的彩色图像。根据本技术的第二方面的图像处理方法对应于根据本技术的第二方面的图像处理设备。在本技术的第二方面，接收作为对视点的彩色图像和该视点的深度图像进行编码的结果而获得的位流以及用于生成显示视点的彩色图像的视点生成信息，该视点生成信息是根据通过使用彩色图像和深度图像执行翘曲处理而获得的显示视点的彩色图像的生成方法所生成的，并且通过对在接收步骤的处理中接收的位流进行解码而生成彩色图像和深度图像，并通过使用彩色图像和深度图像以及视点生成信息执行翘曲处理而生成显示视点的彩色图像。根据第一和第二方面的图像处理设备可以通过使得计算机执行程序来实现。为了实现根据第一和第二方面的图像处理设备，可以通过经由传送介质传送程序或将程序记录到记录介质来提供计算机执行的程序。本专利技术的效果根据本技术的第一方面，可以传送用于使用预定视点的彩色图像和深度图像生成显示视点的彩色图像的必要信息。根据本技术的第二方面，可以使用预定视点的彩色图像和深度图像生成显示视点的彩色图像。附图说明图1是示出多视点获取信息SEI的语法的图。图2是示出用作应用本技术的图像处理设备的编码装置的第一实施例的配置示例的框图。图3是示出编码位流的访问单位的配置示例的图。图4是示出SEI的一部分的描述示例的图。图5是说明图2的编码装置的编码处理的流程图。图6是说明图5的多视点编码处理的细节的流程图。图7是示出用作应用本技术的图像处理设备的解码装置的第一实施例的配置示例的框图。图8是说明深度图像的翘曲处理的图。图9是说明图7的解码装置的解码处理的流程图。图10是说明图9的多视点解码处理的细节的流程图。图11是示出用作应用本技术的图像处理设备的编码装置的第二实施例的配置示例的框图；图12是说明视点生成信息的视差相关最大值和视差相关最小值的图。图13是说明视点生成信息的视差精度参数的图。图14是说明视点生成信息的摄像装置间距离的图。图15是示出图11的多视点图像编码单元的配置示例的框图。图16是示出编码位流的配置示例的图。图17是示出图16的PPS的语法示例的图。图18是示出切片报头的语法示例的图。图19是示出切片报头的语法本文档来自技高网...

【技术保护点】
一种图像处理设备，包括：传送单元，被配置成传送一个或更多个预定视点的第一彩色图像、所述一个或更多个预定视点的视差相关图像以及视点生成信息，所述视点生成信息是用于生成除所述一个或更多个预定视点以外的视点的第二彩色图像的信息并且至少包括在所述一个或更多个预定视点处的图像捕获信息。

【技术特征摘要】
2011.03.18 JP 2011-061486;2011.08.31 JP 2011-188811.一种图像处理设备，包括：传送单元，被配置成传送一个或更多个预定视点的第一彩色图像、所述一个或更多个预定视点的视差相关图像以及视点生成信息，所述视点生成信息是用于生成除所述一个或更多个预定视点以外的视点的第二彩色图像的信息并且至少包括在所述一个或更多个预定视点处的图像捕获信息。2.根据权利要求1所述的图像处理设备，其中，所述视点生成信息包括由捕获所述第一彩色图像的彩色图像图像捕获单元提供的所述图像捕获信息中包含的外部参数。3.根据权利要求2所述的图像处理设备，其中，所述外部参数包括所述彩色图像图像捕获单元的位置。4.根据权利要求1所述的图像处理设备，其中，所述视点生成信息包括由捕获所述第一彩色图像的彩色图像图像捕获单元提供的所述图像捕获信息中包含的内部参数。5.根据权利要求4所述的图像处理设备，其中，所述内部参数包括所述彩色图像图像捕获单元的焦距。6.根据权利要求1所述的图像处理设备，其中，所述视点生成信息包括所述一个或更多个预定视点的数量。7.根据权利要求1所述的图像处理设备，其中，所述传送单元传送所述视差相关图像的视点生成信息与按编码顺序位于所述视差相关图像之前的视差相关图像的视点生成信息之间的差。8.根据权利要求7所述的图像处理设备，其中，所述传送单元还传送用于标识所述差的存在/不存在的差标识信息。9.根据权利...

【专利技术属性】
技术研发人员：高桥良知，服部忍，樱井裕音，
申请(专利权)人：索尼公司，
类型：发明
国别省市：日本,JP