图像处理装置和图像处理方法制造方法及图纸

公开了一种能够产生高质量的视点合成图像的图像处理装置。还公开了一种图像处理方法。多视点视频解码装置（105）接收作为对残差信息、N个视点的2D图像（11）和N个视点的深度图像（12）编码的结果而获得的编码流并对编码流进行解码，残差信息为使用N个视点的2D图像（11）和N个视点的深度图像（12）产生的视点合成图像与位于所述视点合成图像的视点合成位置处的（M-N）个视点的2D图像（101）之间的差。视点合成装置（15）使用多视点视频解码装置（105）解码的N个视点的2D图像（11）和深度图像（12）来产生视点合成图像。残差信息补偿装置（106）将残差信息添加到产生的视点合成图像。本公开例如可应用于执行视点合成的系统。

【技术实现步骤摘要】
【国外来华专利技术】
本专利技术涉及一种图像处理装置和图像处理方法，更具体地讲，涉及一种被构造成能够产生高质量视点合成图像的图像处理装置和图像处理方法。
技术介绍
已有产生任意视点的图像的视点合成（view synthesis）技术。该视点合成技术是一种从深度图像（深度信息）和N个视点的2D图像产生M（>N）个视点的2D图像的技术。将参照图1描述视点合成技术的概要。如图1所示，利用视点合成技术，输入由2D图像和深度图像构成的输入图像1。然后，利用输入图像1进行视点合成，产生视点合成图像2，所述视点合成图像2为比输入图像1的相机位置更靠内和靠外的视点的2D图像。在图1中的示例中，从两个视点的输入图像1产生六个视点的视点合成图像2。两个视点的输入图像1和六个视点的视点合成图像2产生总共八个视点的图像。在实际应用中，视点合成技术与压缩技术结合使用。将视点合成技术与压缩技术结合的方式的示例性构造示出在图2中。在图2中的系统中，N个视点的2D图像11和N个视点的深度图像12被输入到多视点视频编码装置13中。多视点视频编码装置13以高级视频编码（AVC）格式或多视点视频编码（MVC）格式对N个视点的2D图像11和N个视点的深度图像12进行编码，并将它们提供给多视点视频解码装置14。多视点视频解码装置14取得从多视点视频编码装置13提供的编码的N个视点的2D图像11和N个视点的深度图像12，以与AVC格式或MVC格式对应的格式对它们进行解码，并将它们提供给视点合成装置15。视点合成装置15使用作为多视点视频解码装置14解码的结果而获得的N个视点的2D图像11和深度图像12，以产生（M-N）个视点的视点合成图像。视点合成装置15输出由N个视点的2D图像11和（M-N）个视点的视点合成图像构成的M个视点的2D图像，作为M个视点的重建2D图像16。同时，例如，在专利文献1中描述了对多视点的图像数据进行编码和解码的方法。引用列表专利文献专利文献1：第2008-182669号日本未审查专利申请公报
技术实现思路
技术问题利用图2中的系统，由于从少数视点的图像产生多数视点的图像，所以在视点合成图像中出现大量的丢失信息。具体地讲，在产生比输入图像的相机位置更靠外的视点的图像的情况下，关于遮挡区域的信息完全丢失。在现有技术中，使用周围的画面内信息（in-picture information）来插值出这种遮挡区域。然而，画面内插值能力存在限制，并且视点合成图像的质量不够高。根据这种情况设计了本专利技术，并且本专利技术被构造成能够产生高质量视点合成图像。问题的解决方案根据本专利技术的第一方面的图像处理装置是这样一种图像处理装置，该图像处理装置设置有：接收装置，接收残差信息，所述残差信息为使用基准2D图像和深度信息产生的视点合成图像与位于所述视点合成图像的视点合成位置的2D图像之间的差；编码装置，对基准2D图像进行编码以产生编码流；和发送装置，发送接收装置接收的残差信息、所述深度信息以及编码装置产生的编码流。根据本专利技术第一方面的图像处理方法对应于根据本专利技术第一方面的图像处理装置。在本专利技术的第一方面中，接收残差信息，所述残差信息为使用基准2D图像和深度信息产生的视点合成图像与位于所述视点合成图像的视点合成位置处的2D图像之间的误差。基准2D图像被编码以产生编码流。残差信息、深度信息和编码流被发送。根据本专利技术第二方面的图像处理装置是这样一种图像处理装置，该图像处理装置设置有：接收装置，接收残差信息和深度信息，所述残差信息为使用基准2D图像和深度信息产生的视点合成图像与位于所述视点合成图像的视点合成位置的2D图像之间的误差；解码装置，对作为对基准2D图像进行编码的结果而获得的编码流进行解码；产生装置，使用解码装置解码的基准2D图像和接收装置接收的深度信息来产生视点合成图像；和残差信息补偿装置，将接收装置接收的残差信息添加到产生装置产生的视点合成图像中。根据本专利技术第二方面的图像处理方法对应于根据本专利技术第二方面的图像处理装置。在本专利技术的第二方面中，接收残差信息和深度信息，所述残差信息为使用基准2D图像和深度信息产生的视点合成图像与位于所述视点合成图像的视点合成位置的2D图像之间的误差。作为对基准2D图像进行编码而获得的编码流被解码，并且使用解码的基准2D图像和接收的深度信息产生视点合成图像。接收的残差信息被添加到产生的视点合成图像中。本专利技术的有益效果根据本专利技术的第一方面，能够发送用于产生高质量视点合成图像的信息。根据本专利技术的第二方面，能够产生高质量视点合成图像。附图说明图1是示出视点合成技术的概要的示图。图2是示出现有技术的系统的示例性构造的框图。图3是示出本专利技术的概要的示图。图4是示出本专利技术的概要的示图。图5是示出应用了本专利技术的系统的实施例的示例性构造的框图。图6是示出图5中的系统的处理的流程图。具体实施方式[本专利技术的概要]图3和图4是示出了本专利技术的概要的示图。这里，图3和图4是示出从两个视点的图像产生八个视点的图像的情况的示图。如图3所示，在本专利技术中，不仅对输入图像1编码，还对残差信息编码，该残差信息是关于视点合成图像2与位于视点合成图像2的视点合成位置的相机获取的2D图像31之间的误差的信息。该残差信息是包括从合成图像丢失的丢失信息的有用信息。然后，当进行视点合成时，使用输入图像1来产生视点合成图像2，并且通过残差信息补偿视点合成图像2以产生最终视点合成图像41，如图4中所示。按照这种方式，在本专利技术中，将残差信息添加到视点合成图像2中，从而能够补偿丢失信息并产生高质量的视点合成图像41。[系统的实施例的示例性构造]图5是示出应用了本专利技术的系统的实施例的示例性构造的框图。要注意，在图5中，对与图2中的元件相同的元件使用相同的符号，由于对这些相同元件的描述将是重复的，所以根据需要省略或减少对这些相同元件的描述。在图5中的系统中，输入N个视点的2D图像11（基准2D图像）、N个视点的深度图像12和位于视点合成位置的（M-N）个视点的2D图像101。（M-N）个视点的2D图像101是由位于视点合成位置的相机成像的并且被用以获取残差信息。为了使用残差信息获取装置103获取残差信息，本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】2010.05.13 JP 2010-1115611.一种图像处理装置，包括：
接收装置，接收残差信息，所述残差信息是使用基准2D图像和
深度信息产生的视点合成图像与位于所述视点合成图像的视点合成
位置的2D图像之间的误差；
编码装置，对基准2D图像进行编码以产生编码流；和
发送装置，发送接收装置接收的残差信息、所述深度信息以及编
码装置产生的编码流。
2.根据权利要求1所述的图像处理装置，其中
编码装置通过对接收装置接收的残差信息进行编码来产生残差
流；并且
发送装置发送编码装置产生的残差流、所述深度信息和所述编码
流。
3.根据权利要求1所述的图像处理装置，其中
编码装置通过对所述深度信息进行编码来产生深度流，并且
发送装置发送所述残差信息、编码装置产生的深度流和所述编码
流。
4.根据权利要求1所述的图像处理装置，还包括：
计算装置，通过计算所述视点合成图像与位于所述视点合成图像
的视点合成位置的2D图像之间的误差来计算所述残差信息。
5.根据权利要求1所述的图像处理装置，其中
基准2D图像的视点数量为N，并且
视点合成图像的视点数量为从M减去N而得到的值，其中，M
大于N。
6.根据权利要求5所述的图像处理装置，其中
基准2D图像的视点数量为2，并且
视点合成图像的视点数量为6。
7.根据权利要求1所述的图像处理装置，其中
接收装置还接收残差存在信息，该残差存在信息指示对于所述视
点合成图像是否存在残差信息，并且
发送装置还发送接收装置接收的残差存在信息。
8.根据权利要求1所述的图像处理装置，其中
残差信息为外侧视点合成图像与位于该外侧视点合成图像的视
点合成位置处的2D图像之间的误差，所述外侧视点合成图像是比基
准2D图像的视点更靠外的视点合成位置处的视点合成图像。
9.根据权利要求8所述的图像处理装置，其中
接收装置接收外侧残差存在信息，该外侧残差存在信息指示在所
述外侧视点合成图...

【专利技术属性】
技术研发人员：高桥良知，米满润，
申请(专利权)人：索尼公司，
类型：
国别省市：