立体图像处理方法以及立体图像处理装置制造方法及图纸

本发明专利技术提供一种立体图像处理装置以及方法。照相机配置决定部（１３６）在当前帧中，以在刚才的帧中取得的Ｚ值以及使用者的正确视差为基础，决定物体空间中的真实照相机的配置场所。在进行了投影处理之后，视差图像生成部（１４２）以视点图像为基础，生成视差图像。上述的Ｚ值是在刚才的帧中由照相机配置决定部（１３６）配置的至少１台真实照相机取得的值，通过将其利用于当前帧，从而可以实现立体图像处理全体的高速化。

【技术实现步骤摘要】

本专利技术涉及立体图像处理技术，特别涉及以视差图像为基础来生成立体图像的方法以及装置。
技术介绍
近年，网络基础设施(network infrastructure)的不完备成为问题，但迎来了向宽带的过渡期，这样，有效利用宽频带的内容的种类和较少的数量开始显得突出。图像不论在任何时代，都是最重要的表现手段，但是至今为止的多数研究都是关于显示质量或数据压缩率的改善的研究，和这些研究相比，拓展表现方式自身的技术的研究就显得落后了。在此之中，立体图像显示(以下，简称为立体显示)从以前开始就被广泛研究，被用于剧场用途或特殊的显示装置中，在限于一定程度的市场上被实用化。今后，以提供更富于现场感的内容为目标，加速这方面的研究开发，个人使用者即使在家中也能享受立体显示所带来的快乐的时代即将来临。即使在现在，例如，个人使用者也可以享受好像物体在眼前飞出那样刺激的3维立体图像显示所带来的快乐。如果以赛车游戏为例，玩家对好像在眼前浮现那样出现的物体，例如操作车，使其在物体存在的假想3维空间(以下，简称为物体空间)内行驶，通过和其他的玩家或计算机操作的车竞赛，从而能享受3维空间游戏所带来的乐趣。这样的立体显示相关的技术即使现在也被广泛使用，也是今后期望进一步普及的技术，同时新的显示方式也被提出。例如，在专利文献1中，记载了将二维图像中被选择的部分图像立体显示的技术。专利文献1特开平11-39507号公报确实，根据专利文献1，可以将平面图像中所期望的部分立体显示，但其并没有注意到实现立体显示时处理整体的高速化，对此有必要进行新的研究。
技术实现思路
本专利技术是鉴于这样的问题而做出的，其目的在于提供一种实现立体显示相关的处理整体的高速化的立体图像处理装置以及立体图像处理方法。本专利技术的一种形态涉及立体图像处理装置。该装置是以对应于不同视点的多个视点图像为基础，立体显示物体的立体图像处理装置，其中包括取得包含应当立体显示的物体的假想空间内的纵深方向的运算区域范围的纵深值取得部；以该取得的纵深方向的运算区域范围为基础，在假想空间内配置多个不同视点的视点配置部；和以来自多个不同视点的视点图像为基础，生成视差图像的视差图像生成部。所谓“立体显示”是指显示立体图像。该“立体图像”是具有立体感并被显示的图像。其数据的实质是使多个图像具有视差的“视差图像”。视差图像一般是多个二维图像的集合。构成视差图像的各个图像是分别具有对应的视点的“视差图像”。也就是说，由多个视点图像构成视差图像。所谓“运算区域”是指在进行用来立体显示物体的规定的运算的假想空间上的区域。所谓“视差”是指用于产生立体感的参数，可以进行各种定义。作为一例，可以以表示视点图像间的相同点的图像的坐标植的差异来表现。以下，在本说明书中，如果没有特别的限制，都遵从此定义。根据该形态，因为可以以纵深方向的运算区域范围为基础，在假想空间内配置多个不同的视点，所以可以得到有效的视差图像，可以实现适当的立体显示。该装置进一步包括在其假想空间内暂时配置视点的视点临时配置部。纵深值取得部基于暂时配置的视点，取得纵深方向的运算区域的范围也可以。视点临时配置部在假想空间内暂时配置1个视点也可以。视点临时配置部也可以具有包含由视点配置部配置的多个视点的视野范围的视野范围这样，在假想空间内配置视点。视点配置部以由纵深值取得部取得的纵深方向的运算区域的范围为基础，除了由视点临时配置部暂时性配置的视点，使该视点成为中心这样，在假想空间内配置2个不同的视点也可以。视点配置部以在2个不同的视点的两个外侧方向上使视点间的距离为上述2个视点的距离间隔的方式配置多个视点也可以。纵深值取得部以比视点图像的分辨率还低的分辨率取得纵深方向的运算区域的范围也可以。另外，纵深值取得部与应当立体显示的物体相对应，而且利用由较少的数据量构成的物体，取得纵深方向的运算区域范围也可以。根据该形态，通过削减取得纵深方向的运算区域范围时的处理量，从而可以实现处理整体的高速化。纵深值取得部也可以在由视点配置部配置的多个不同的视点之中，取得至少根据1个视点的纵深方向的运算区域范围。纵深值取得部在由视点配置部配置的多个不同的视点之中，取得根据2个以上的视点的纵深方向的运算区域范围，合并各个纵深方向的运算区域范围，生成1个纵深方向的运算区域范围也可以。进一步包括判断由纵深值取得部取得的纵深方向的运算区域范围是否能使用的纵深值使用判断部，当由纵深值使用判断部判断为不能使用时，视差图像生成部不生成视差图像，而生成没有视差的二维图像也可以。另外，进一步包括判断由纵深值取得部取得的纵深方向的运算区域范围是否能使用的纵深值使用判断部，当由纵深值使用判断部判断为不能使用时，视点配置部以生成具有比上次生成的视差图像更弱的视差的视差图像的方式配置多个不同的视点也可以。进一步包括判断由纵深值取得部取得的纵深方向的运算区域范围是否能使用的纵深值使用判断部，当由纵深值使用判断部判断为不能使用时，纵深值取得部利用前方投影面或者后方投影面，取得纵深方向的运算区域也可以。进一步包括检测物体运动的状态，以此检测结果为基础，预测物体将来的运动状态的动作预测部；和以由该动作预测部预测的物体将来的动作状态为基础，预测包含该物体的规定区域的位移量的位移量预测部。视点配置部基于由位移量预测部预测的规定区域的位移量，在假想空间内配置多个不同的视点也可以。进一步包括对每个物体取得是否包含在运算区域范围内的运算选择信息的运算选择信息取得部，在由运算选择信息取得部取得了不包含在运算区域范围内的运算选择信息时，纵深值取得部忽略作为不包含在范围内的物体，由其他物体取得纵深方向的运算区域范围。本专利技术的其它形态立体图像处理方法。该方法包括取得包括以立体显示为目的的物体的假想空间内的纵深方向的运算区域范围的步骤；以取得的纵深方向的运算区域范围为基础，在假想空间内配置多个不同的视点的步骤；和以来自多个不同视点的视点图像为基础，生成视差图像的步骤。还有，将以上的构成要素的任意组合、本专利技术的表现在方法、装置、系统、存储介质、计算机程序等之间变换，作为本专利技术的形态也是有效的。根据本专利技术，可以实现适当的立体显示。附图说明图1是示意性表示与屏幕面对应的基本表现空间的图。图2是示意性表示由临时照相机特性的运算区域以及背面区域的图。图3是表示实施方式1的立体图像处理装置实现的物体立体显示的样子的图。图4是表示实施方式1的立体图像处理装置的构成的图。图5(a)、图5(b)是分别表示由立体图像处理装置的立体感调整部显示的左眼图像和右眼图像的图。图6是表示由立体图像处理装置的立体感调整部显示的、具有不同视差的多个物体的图。图7是表示由立体图像处理装置的立体感调整部显示的、视差变化的物体的图。图8是表示简单决定视差以及基本表现空间时利用的表的图。图9是表示立体图像处理所采用的世界坐标系的图。图10是表示立体图像处理所采用的模型坐标系的图。图11是表示立体图像处理所采用的照相机坐标系的图。图12是表示立体图像处理所采用的取景范围的图。图13是表示图12的范围透视变换后的坐标系的图。图14是表示实现适当视差时的照相机像角、图像大小、视差的关系的图。图15是表示实现图14的状态的摄像系统的位置关系的图。图16是表示实现图14的本文档来自技高网...

【技术保护点】
一种立体图像处理装置，其中以和不同的视点对应的多个视点图像为基础，立体显示物体，其特征在于，包括：取得包括所述应当立体显示的物体的假想空间内的纵深方向的运算区域范围的纵深值取得部；以所述取得的纵深方向的运算区域的范围为基础， 在所述假想空间内配置多个不同视点的视点配置部；和以来自所述多个不同的视点的视点图像为基础，生成视差图像的视差图像生成部。

【技术特征摘要】
...

【专利技术属性】
技术研发人员：增谷健，滨岸五郎，
申请(专利权)人：三洋电机株式会社，
类型：发明
国别省市：JP[日本]