图像处理设备、图像处理方法和程序技术

本发明专利技术涉及一种图像处理设备、图像处理方法和程序。该图像处理设备包括：图像输入单元，配置成接收从不同视点拍摄并且适用于立体视觉的第一左眼图像和第一右眼图像中的至少一个；以及立体图像生成处理单元，配置成接收所述第一左眼图像和所述第一右眼图像中的一个，并且通过图像转换过程生成适用于立体视觉的第二左眼图像和第二右眼图像。在输入到图像输入单元的第一左眼图像和第一右眼图像以及通过立体图像生成处理单元生成的第二左眼图像和第二右眼图像当中，两个图像被输出作为将要应用于立体视觉的图像。

【技术实现步骤摘要】

本公开涉及图像处理设备、图像处理方法和程序，并且更加具体地涉及可以生成可以立体观看的三维图像(3D图像)的图像处理设备、图像处理方法和程序。
技术介绍
具有深度的作为立体图像可见的对应于立体视觉的图像包括两个图像的组合，所述两个图像亦即左眼图像和右眼图像，它们是来自不同视点的图像。为了获得来自两个视点的这些图像，亦即双眼视差图像，例如两个成像设备左右彼此分开以执行成像。一对捕捉的立体图像包括成对图像，亦即左眼图像，其由左成像设备捕捉并且由左眼观察；以及右眼图像，其由右成像设备捕捉并且由右眼观察。 包括成对的左眼图像和右眼图像的立体图像对显示在显示设备上，所述显示设备能够通过将左眼图像与右眼图像分开而向观察者的左眼和右眼提供左眼图像和右眼图像，以便观察者可以将图像观看为立体图像。同时，在现有技术中，已提议了各种配置，以便使用从一个视点拍摄的常规二维图像来生成对应于立体视觉的包括左眼图像和右眼图像的双眼视差图像。例如，日本待审专利申请公布第8-30806号已公开了一种设备，所述设备相对于静止图像或具有小运动的图像将左眼图像和右眼图像在水平方向上转移预定量，从而允许图像被识别为突出。进而，日本待审专利申请公布第2005-151534号已公开了以下方法计算图像的上部和下部的特征量，并且调整预先准备的指示深度信息的多个场景结构的结合率，从而通过简单结构的组合来表达图像。当使用双眼成像系统来捕捉立体图像时，基线长度和会聚角是用于确定双眼视差值的重要因素。基线长度指示两个成像设备之间的距离，而会聚角则指示两个成像设备的方向。图I图示了基于相同基线长度的具有不同会聚角的立体成像系统。在图I所示的三个双眼成像系统(a)、(b)和(C)中，基线长度全都是L，而会聚角则是平视、15°和30。。随着基线长度增加，左右图像的双眼视差值增加。会聚角对应于这样的点，在所述点处，左右图像的双眼视差值相对于位于会聚交叉点处的对象为0，并且对象离会聚交叉点越远，两只眼睛的双眼视差越增加。因此，当如图I (a)中图示的那样对象远离成像系统(摄影机)时，在其中基线长度很长而会聚角很小(接近于平视)的状态下适当地执行成像。同时，当如图I (C)中图示的那样对象在成像系统附近时，通常认为在其中基线长度很短而会聚角很大的状态下适当地执行成像。然而，针对每个将要捕捉的对象调整基线长度和会聚角是成问题的，因为有必要花费许多时间和精力。尽管这对于其中可以为调整花费时间的专业成像是可能的，但是在普通的成像使用中，一般使用固定的基线长度和会聚角。另外，为了使双眼成像设备适合于在较宽的范围内成像对象，存在许多配置成具有如下条件的双眼成像设备基线长度具有预定值或更多，而会聚角则尽可能地小。这些成像设备不适于成像近距离处的对象，并且如上所述在成像时会发生各种问题。图2图示了由具有离对象不同距离的双眼成像系统A(IO)和双眼成像系统B(20)执行的立体成像的例子。双眼成像系统A (10)离对象远，而双眼成像系统B (20)离对象近。在两个成像系统中，基线长度和会聚角彼此相等。图3图示了作为图2所示的双眼成像系统A (10)和双眼成像系统B (20)的成像结果的图像。图3 (a)图示了由双眼成像系统A (10)捕捉的图像，而图3 (b)则图示了由双眼 成像系统B (20)捕捉的图像。与图示了离对象远的双眼成像系统A (10)所捕捉的图像的图3 (a)相比，图示了离对象近的双眼成像系统B (20)所捕捉的图像的图3 (b)示出了左右图像之间的大视差值。如果左右相互地比较图像中的对象所位于的区域，这就很明显。图3 (b)所示的图像处于这样一种状态，在所述状态下，视网膜图像差非常大，并且在观看图像时造成不适和疲劳。此外，在图3 (b)所示的图像中，未反映在左眼图像和右眼图像中的一个上的区域反映在另一个上面，亦即，与图3 (a)所示的两个图像相比，生成了许多闭塞区域。例如，在图3 (b)所示的图像对中，左眼图像中示出的车灯或建筑物窗户没有示出在右边图像中。进而，右眼图像中示出的树干没有示出在左边图像中，并且生成了许多这样的闭塞区域。如图3 (b)所示，当其中左右视网膜图像之间的差具有预定值或更多的图像或者其中生成了闭塞区域的图像由观察者通过立体视觉来观察时，观察者在许多情况下可能感觉不适或者眼睛疲劳。另一方面，当这样的现象如图3 (a)所示的那样最小化时，可以获得舒适的立体视觉。参考图I至图3描述的过程对应于当来自两个不同视点的拍摄图像用作立体视觉图像时的处理例子。同时，如上面简单地描述的那样，存在这样一种配置，在所述配置中，基于一个图像通过图像处理生成具有伪视差的两个图像，并且这两个图像用作立体视觉图像。亦即，它指示了这样一个过程，在所述过程中，对通过普通摄影机拍摄的一个2D图像执行2D/3D转换过程，以生成左眼图像和右眼图像。由于2D/3D转换过程根据一个图像的信息来生成左右视差图像，所以存在如下一般问题视网膜图像差小，并且观察者识别的立体效果降低。然而，存在低概率的由大的视网膜图像差或闭塞区域造成的不适或眼睛疲劳。图4是图示用于对图2所示的双眼成像系统B (20)所拍摄的一个左眼图像执行2D/3D转换过程以生成左眼图像和右眼图像作为立体图像的过程和处理结果的示图。图4上部的图4 (b)与图3 (b)相同，并且图示了由图2所示的双眼成像系统B(20)捕捉的两个图像。同时，图4下部的图4 (c)图示了通过对作为图4 (b)的一个图像的左眼图像执行2D/3D转换过程而生成的左眼图像和右眼图像。与双眼成像系统B (20)所拍摄的图4 (b)的左眼图像和右眼图像相比，通过2D/3D转换过程生成的图4 (c)的左眼图像和右眼图像没有大的视网膜图像差或闭塞区域。观察图4 (C)所示的图像的观察者可以感受舒适的立体视觉而不会感到疲劳或不适。如上所述，当成像设备离对象近时，如果成像设备所拍摄的图像在没有任何图像转换过程的情况下用作立体图像，则观察者可能感觉不适或疲劳。同时，当使用通过用于将二维图像转换成双眼视差图像的2D/3D转换过程(立体转换)而生成的图像时，可以调整视差并生成不会造成上述不适或疲劳的图像。然而，通过2D/3D转换过程从一个图像生成的图像是具有伪视差的图像。例如，当成像设备位于离对象预定距离或更远距离的位置时，使用通过使用双眼成像系统拍摄的立体图像来执行显示，从而获得正确地反映实际距离并实现舒适的立体视觉的图像。 如上所述，取决于实际情形，在没有任何图像转换过程的情况下使用由双眼成像系统拍摄的左眼图像和右眼图像进行的显示和使用从一个图像生成的2D/3D转换图像进行的显示中的任何一个都可以是优选的。
技术实现思路
考虑到前述境况，希望提供一种图像处理设备、图像处理方法和程序，通过它们可以提供对应于舒适立体视觉的双眼视差图像，无论成像设备离对象是近还是远。根据本公开的第一实施例，提供了一种图像处理设备，该图像处理设备包括图像输入单元，配置成接收从不同视点拍摄并且适用于立体视觉的第一左眼图像和第一右眼图像中的至少一个；以及立体图像生成处理单元，配置成接收所述第一左眼图像和所述第一右眼图像中的一个，并且通过图像转换过程生成适用于立体视觉的第二左眼图像和第二右眼图像本文档来自技高网...

【技术保护点】
一种图像处理设备，包括：图像输入单元，配置成接收从不同视点拍摄并且适用于立体视觉的第一左眼图像和第一右眼图像中的至少一个；以及立体图像生成处理单元，配置成接收所述第一左眼图像和所述第一右眼图像中的一个，并且通过图像转换过程生成适用于立体视觉的第二左眼图像和第二右眼图像，其中，在输入到所述图像输入单元的所述第一左眼图像和所述第一右眼图像以及通过所述立体图像生成处理单元生成的所述第二左眼图像和所述第二右眼图像当中，两个图像被输出作为将要应用于立体视觉的图像。

【技术特征摘要】
2011.06.17 JP 2011-1349291.一种图像处理设备，包括 图像输入单元，配置成接收从不同视点拍摄并且适用于立体视觉的第一左眼图像和第一右眼图像中的至少一个；以及 立体图像生成处理单元，配置成接收所述第一左眼图像和所述第一右眼图像中的一个，并且通过图像转换过程生成适用于立体视觉的第二左眼图像和第二右眼图像， 其中，在输入到所述图像输入单元的所述第一左眼图像和所述第一右眼图像以及通过所述立体图像生成处理单元生成的所述第二左眼图像和所述第二右眼图像当中，两个图像被输出作为将要应用于立体视觉的图像。2.根据权利要求I所述的图像处理设备，包括 输出图像选择处理单元，配置成从输入到所述图像输入单元的所述第一左眼图像和所述第一右眼图像以及通过所述立体图像生成处理单元生成的所述第二左眼图像和所述第二右眼图像中选择将要应用于立体视觉的两个图像作为输出图像。3.根据权利要求2所述的图像处理设备，包括 深度图生成处理单元，配置成接收所述第一左眼图像和所述第一右眼图像，基于对两个输入图像的分析来计算图像中拍摄的对象距离，生成对应于像素区域的具有距离信息的深度图，并且将所述深度图输出到所述输出图像选择处理单元。4.根据权利要求2所述的图像处理设备，其中， 当基于所述深度图确定所述对象距离比较长时，所述输出图像选择处理单元选择输入到所述图像输入单元的所述第一左眼图像和所述第一右眼图像作为所述输出图像，并且 当基于所述深度图确定所述对象距离比较短时，所述输出图像选择处理单元选择通过所述立体图像生成处理单元生成的所述第二左眼图像和所述第二右眼图像作为所述输出图像。5.根据权利要求2所述的图像处理设备，其中， 当基于所述深度图确定所述对象距离比较长时，所述输出图像选择处理单元选择输入到所述图像输入单元的所述第一左眼图像和所述第一右眼图像作为所述输出图像， 当基于所述深度图确定所述对象距离比较短时，所述输出图像选择处理单元选择通过所述立体图像生成处理单元生成的所述第二左眼图像和所述第二右眼图像作为所述输出图像，并且 当基于所述深度图确定所述对象距离接近中间时，所述输出图像选择处理单元选择输入到所述图像输入单元的所述第一左眼图像和所述第一右眼图像中的一个以及通过所述立体图像生成处理单元生成的所述第二左眼图像和所述第二右眼图像中的一个作为所述输出图像。6.根据权利要求2所述的图像处理设备，其中，所述输出图像选择处理单元配置成基于来自成像设备的成像信息和用户选择信息中的至少一个来选择所述输出图像。7.根据权利要求I所述的图像处理设备，包括 输入图像选择处理单元，配置成根据来自所述图像处理设备的输出图像来控制将要从外部输入的图像， 其中，当来自所述图像处理设备的输出图像是通过所述立体图像生成处理单元生成的所述第二左眼图像和所述第二右眼图像时，所述输入图像选择处理单元执行控制，以仅接收从不同视点拍摄并且适用于立体视觉的所述第一左眼图像和所述第一右眼图像中的一个。8.根据权利要求7所述的图像处理设备，其中， 当来自所述图像处理设备的输出图像是通过所述立体图像生成处理单元生成的所述第二左眼图像和所述第二右眼图像时...

【专利技术属性】
技术研发人员：伊藤厚史，小林诚司，
申请(专利权)人：索尼公司，
类型：发明
国别省市：