图像处理装置、图像处理方法和程序制造方法及图纸

本技术涉及图像处理装置、图像处理方法和程序，其可以计算预测精度高的矢量作为视差矢量的预测运动矢量。预测运动矢量产生单元（243）根据深度信息使用预测标准，用与视点#1不同的视点#2的视差信息图像D#2来产生视差矢量的预测运动矢量，所述视差矢量代表视点#2彩色图像C#2的操作目标的目标块相对于视点#1的彩色图像C#1的视差，视点#2的视差信息图像D#2具有作为像素值的与视点#2的彩色图像C#2的每个像素的视差相关的视差信息。本发明专利技术可以应用于，例如在编码或解码多个视点图像时产生用于产生预测图像的视差矢量的预测运动矢量。

【技术实现步骤摘要】
【国外来华专利技术】图像处理装置和图像处理方法
本技术涉及图像处理装置、图像处理方法和程序，并且更具体地讲，涉及可以计算出精确预测的运动矢量作为视差矢量的预测运动矢量的图像处理装置、图像处理方法和程序，所述视差矢量代表给定视点图像相对于另一个视点图像的视差。
技术介绍
对多个视点图像诸如3D(维)图像进行编码的编码标准包括(例如)通过扩展AVC(高级视频编码)(H.264/AVC)标准得到的MVC(多视点视频编码)标准。根据MVC标准，编码目标图像是以与来自被摄体的光对应的值作为像素值的彩色图像，并且如有必要，除了这个视点彩色图像之外还参考其它视点彩色图像对多个视点彩色图像中的每个进行编码。也就是说，根据MVC标准，多个视点彩色图像之中的一个视点彩色图像是基础视点图像，并且其它视点彩色图像是从属视点图像。另外，只参考这个基础视点图像对基础视点彩色图像进行编码，并且如有必要，对从属视点彩色图像的编码除了参考该从属视点图像之外还参考其它视点图像。也就是说，如有必要，从属视点彩色图像经受参考其它视点彩色图像产生预测图像的视差预测，并且使用这个预测图像对从属视点彩色图像进行编码。下文中，给定视点#1彩色图像是基础视点图像，并且另一个视点#2彩色图像是从属视点图像。根据MVC标准，当视点#2彩色图像经受参照视点#1彩色图像的视差预测并且使用通过这个视差预测得到的预测图像对视点#2彩色图像进行编码(经受预测编码)时，检测代表视点#2彩色图像的编码目标(也就是说，例如，作为宏块的目标块)相对于视点#1彩色图像的视差的视差矢量。另外，根据MVC标准，计算通过预测目标块的视差矢量得到的预测运动矢量，并且对残差向量(residualvector)(即视差矢量和预测运动矢量之差)进行编码。根据MVC标准，因为当残差向量较大时残差向量的比特率往往较高，因此当残差向量的程度较小时，也就是说，当预测运动矢量的预测精度较好(预测运动矢量更近似于视差矢量)时，可以提高编码效率。顺带一提，近年来，作为采用视差信息图像(深度图像)并且对每个视点彩色图像和每个视点视差信息图像进行编码的编码标准，例如，定义诸如MPEG3DV标准的标准，除了作为多个视点图像的每个视点彩色图像之外，视差信息图像还包括与每个视点彩色图像的每个像素的视差相关的视差信息作为像素值。根据MPEG3DV标准，主要以与MVC标准相同的方式，对每个视点彩色图像和每个视点视差信息图像进行编码。根据MVC标准，尽管用彩色图像的目标块周围的块的视差矢量计算出目标块的(视差矢量的)预测运动矢量，但当目标块处于前景对象的边界部分中时，前景块、背景块和其中存在遮挡的那部分的块作为这个目标块的周围块存在，因此用这些块计算出的目标块的预测运动矢量在某些情况下造成预测精度降低。因此，提出了一种基于视差信息图像来选择彩色图像中的目标块的周围块的视差矢量之一作为目标块的预测运动矢量的方法(参见例如非专利文献1)。引用列表非专利文献非专利文献1：TadashiUchiumi，MakotoOhtsu，JunseiSato，YoshiyaYamamoto，AtsutoshiShimeno的″AMethodofDisparityVectorPredictionusingDepthMap(使用深度图预测视差矢量的方法)″，国际标准化组织(INTERNATIONALORGANISATIONFORSTANDARDISATION，ORGANISATIONINTERNATIONALEDENORMALISATION)，ISO/IECJTC1/SC29/WG11，CODINGOFMOVINGPICTURESANDAUDIO(《运动画面和音频的编码》)，ISO/IECJTC1/SC29/WG11，MPEG2010/M18367，2010年10月，中国广州。
技术实现思路
本专利技术要解决的问题如上所述，在某些情况下，基于视差信息图像选择彩色图像中的目标块周围的块的视差矢量中的一个作为目标块的预测运动矢量难以得到具有良好预测性能的预测运动矢量。依据这种情形，本技术可以计算预测精度高的矢量作为视差矢量的预测运动矢量。问题的解决方案根据本技术的一个方面的图像处理装置或程序是一种图像处理装置或指使计算机用作图像处理装置的程序，所述图像处理装置具有预测运动矢量产生单元，所述预测运动矢量产生单元按照深度信息使用预测标准、根据与第一视点不同的第二视点的深度图像产生视差矢量的预测运动矢量，所述视差矢量代表所述第二视点的彩色图像的操作目标的目标块相对于第一视点的彩色图像的视差，所述第二视点的深度图像包括作为像素值的与所述第二视点的彩色图像的每个像素的视差相关的深度信息。根据本技术的一个方面的图像处理方法是包括以下步骤的一种图像处理方法：按照深度信息使用预测标准、根据与第一视点不同的第二视点的深度图像产生视差矢量的预测运动矢量，所述视差矢量代表所述第二视点的彩色图像的操作目标的目标块相对于第一视点的彩色图像的视差，所述第二视点的深度图像包括作为像素值的与所述第二视点的彩色图像的每个像素的视差相关的深度信息。根据以上一个方面，按照深度信息使用预测标准、根据与第一视点不同的第二视点的深度图像产生视差矢量的预测运动矢量，所述视差矢量代表所述第二视点的彩色图像的操作目标的目标块相对于第一视点的彩色图像的视差，所述第二视点的深度图像包括作为像素值的与所述第二视点的彩色图像的每个像素的视差相关的深度信息。另外，图像处理装置可以是独立的装置或者形成一个装置的内部块。程序可以通过传输介质来传输或者被记录在记录介质中的方式来提供。本专利技术的效果本技术可以计算预测精度高的矢量作为视差矢量的预测运动矢量。附图说明图1是用于说明SAD最小预测标准的视图。图2是用于说明SAD最小预测标准的视图。图3是用于说明本技术的概要的视图。图4是示出应用本技术的多视点图像编码器的实施例的示例结构的框图。图5是示出在多视点图像编码器中产生多个视点图像作为编码目标的多视点图像产生装置的示例结构的框图。图6是用于说明在根据MVC标准进行预测编码时产生预测图像所参考的图片的视图。图7是用于说明根据MVC标准对图片进行编码(和解码)的次序的视图。图8是示出编码器11的示例结构的框图。图9是用于说明根据MVC(AVC)标准的宏块类型的视图。图10是用于说明根据MVC(AVC)标准的预测运动矢量(PMV)的视图。图11是用于说明根据MVC(AVC)标准的预测运动矢量和参考索引之间的关系的视图。图12是示出编码器12的示例结构的框图。图13是示出视差预测单元232的示例结构的框图。图14是用于说明对视点#2彩色图像C#2进行编码的编码操作的流程图。图15是用于说明视差预测操作的流程图。图16是用于说明预测运动矢量产生操作的流程图。图17是用于说明矢量预测操作的视图。图18是用于说明矢量预测操作的流程图。图19是示出应用本技术的多视点图像解码器的实施例的示例结构的框图。图20是示出解码器311的示例结构的框图。图21是示出解码器312的示例结构的框图。图22是示出视差预测单元462的示例结构的框图。图23是用于说明对视点#2彩色图像C#2编码数据进行解码的解码操作的流程图。图24是用于说明视差预测操作的流程图本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】2011.03.18 JP 2011-0617921.一种图像处理装置，包括预测运动矢量产生单元，所述预测运动矢量产生单元按照深度信息使用预测标准、根据与第一视点不同的第二视点的深度图像产生视差矢量的预测运动矢量，所述视差矢量代表所述第二视点的彩色图像的操作目标的目标块相对于第一视点的彩色图像的视差，所述第二视点的深度图像包括作为像素值的与所述第二视点的彩色图像的每个像素的视差相关的深度信息，其中所述预测运动矢量产生单元基于相同位置块和邻近深度块之差，产生被估计为第一预测运动矢量和第二预测运动矢量中的、预测精度高的用于操作所述目标块的预测运动矢量，其中所述相同位置块是与所述第二视点的所述深度图像的目标块相同位置的块，所述邻近深度块是与所述相同位置块相邻的块，所述预测运动矢量产生单元在与所述相同位置块之差在预定阈值以上的所述邻近深度块的数量为预定数量以上时，按照所述深度信息使用预测标准生成所述预测运动矢量。2.根据权利要求1所述的图像处理装置，其中所述预测运动矢量产生单元产生预测运动矢量，该预测运动矢量被估计为根据所述深度信息使用预测标准产生的第一预测运动矢量和根据另一个矢量预测标准产生的第二预测运动矢量之中的、预测精度高的用于操作所述目标块的预测运动矢量。3.根据权利要求1所述的图像处理装置，其中所述预测运动矢量产生单元针对包括参考索引的参考索引匹配块，计算与所述参考索引匹配块的位置相同的所述邻近深度块和所述第二视点的所述深度图像中的所述相同位置块之差，所述参考索引代表产生预测图像时参考的参考图片并且匹配作为所述第二视点的彩色图像中的与所述目标块相邻的块的邻近彩色块中的目标块，并且基于位置与所述参考索引匹配块的位置相同的所述邻近深度块和所述相同位置块之差，产生被估计为所述第一预测运动矢量和所述第二预测运动矢量之中的、预测精度高的预测运动矢量作为用于操作所述目标块的预测运动矢量。4.根据权利要求2所述的图像处理装置，其中所述预测运动矢量产生单元基于作为所述第二视点的彩色图像中的与所述目标块相邻的块的邻近彩色块的视差矢量的偏差程度，产生被估计为所述第一预测运动矢量和所述第二预测运动矢量之中、预测精度高的预测运动矢量作为用于操作所述目标块的预测运动矢量。5.根据权利要求4所述的图像处理装置，其中所述预测运动矢量产生单元计算包括参考索引的参考索引匹配块的视差矢量的偏差程度，所述参考索引代表产生预测图像时参考的参考图片并且匹配作为所述第二视点的彩色图像中的与所述目标块相邻的块的邻近彩色块中的目标块，并且基于所述参考索引匹配块的视差矢量的偏差程度，产生被估计为所述第一预测运动矢量和所述第二预测运动矢量之中的...

【专利技术属性】
技术研发人员：高桥良知，服部忍，
申请(专利权)人：索尼公司，
类型：
国别省市：