立体图像处理装置及立体图像处理方法制造方法及图纸

提供对于基线长度方向的图像区域小的对象物，也能够高精度地计算视差的立体图像处理装置及立体图像处理方法。窗函数移动单元(411)基于由峰值位置检测单元(104)计算出的子像素单位的挪动量，对图像截取单元(412)设定通过移动第2窗函数形成的第3窗函数。图像截取单元(412)将第2窗函数适用于截取对象位置，从基准图像中截取子像素估计用单位基准图像，并适用第2窗函数或由窗函数移动单元(411)设定的第3窗函数，从参考图像中截取子像素估计用单位参考图像。峰值位置检测单元(106)基于由截取出的子像素估计用单位基准图像的亮度值构成的数据串、和由截取出的子像素估计用单位参考图像的亮度值构成的数据串之间的相位差，计算子像素单位的挪动量。

【技术实现步骤摘要】
【国外来华专利技术】
本专利技术涉及从拍摄同一对象物的立体图像(基准图像和参考图像)，计算起因于视差的图像的挪动的。
技术介绍
以往，已知从使用立体照相机对同一对象物拍摄时的两个图像(基准图像和参考图像)计算图像的挪动，并基于该图像的挪动来测定距对象物的距离的立体图像处理装置。正在研究该立体图像处理装置适用于例如从车载照相机拍摄的前方车辆或行人的立体图像来测定距该车辆或行人的距离的装置等。可是，近年来因照相机(车载照相机等)的小型化的影响，照相机间隔也变小，其结果是，立体图像的挪动也变小。因此，对立体图像处理装置，不断要求高精度的视差运算功能。以往，作为立体图像处理装置中的高精度的立体匹配(立体图像处理的视差运算)的方式，例如提出了一维P0C(Phase Only Correlation ;仅相位相关)方式(例如,参照专利文献I)。在该一维POC方式中，首先，从基准图像及参考图像的各自图像中使用汉宁窗(Hanning window)截取部分图像(一维图像数据串)。接着，截取出的部分基准图像及部分参考图像在被实施一维傅立叶变换而成为傅立叶图像数据后进行合成。接着，合成后的傅立叶图像数据，在将其振幅分量归一化后，实施一维傅立叶逆变换。由此，求相位限定相关系数。然后，基于相位限定相关系数的相关峰值，计算图像的挪动量(视差)。现有技术文献专利文献专利文献1:特开2008-123141号公报
技术实现思路
`专利技术要解决的课题但是，在以往技术中，对于位于远处的行人等的、在立体图像上所占有的基线长度方向上的图像区域的大小(以下，称为‘基线长度方向的图像区域大小’)小的对象物，有难以高精度地计算视差的课题。因为在基线长度方向的图像区域大小小的情况下，为了降低背景周围的图像的影响而需要减小一维图像数据串，但一维图像数据串越小，上述相关峰值的精度越低。本专利技术鉴于这样的方面而完成，目的在于提供即使对于基线长度方向的图像区域大小小的对象物，也可以高精度地计算视差的。用于解决课题的方案本专利技术的一形态的立体图像处理装置，计算构成立体图像的基准图像和参考图像之间的子像素单位的挪动量，包括:截取装置，将第I窗函数适用于截取对象位置，从所述基准图像中截取子像素估计用单位基准图像，适用所述第I窗函数或所设定的第2窗函数，从所述参考图像中截取子像素估计用单位参考图像；计算装置，基于由所述截取出的子像素估计用单位基准图像的亮度值构成的数据串、和由所述截取出的子像素估计用单位参考图像的亮度值构成的数据串之间的相位差，计算所述子像素单位的挪动量；以及窗函数设定装置，基于由所述计算装置计算出的子像素单位的挪动量，对所述截取装置设定通过移动所述第I窗函数形成的所述第2窗函数。本专利技术的一形态的立体图像处理方法，用于计算构成立体图像的基准图像和参考图像之间的子像素单位的挪动量，包括截取步骤，将第I窗函数适用于截取对象位置，从所述基准图像中截取子像素估计用单位基准图像，适用所述第I窗函数或所设定的第2窗函数，从所述参考图像中截取子像素估计用单位参考图像；计算步骤，基于由所述截取出的子像素估计用单位基准图像的亮度值构成的数据串、和由所述截取出的子像素估计用单位参考图像的亮度值构成的数据串之间的相位差，计算所述子像素单位的挪动量；以及窗函数设定步骤，基于由所述计算步骤计算出的子像素单位的挪动量，通过移动所述第I窗函数而形成并设定所述第2窗函数。专利技术效果根据本专利技术，能够提供即使对于基线长度方向的图像区域大小小的对象物，也可以高精度地计算视差的。附图说明图1是表示本专利技术的实施方式I的立体图像处理装置的结构的方框图。图2是表示滤波器单元的结构的方框图。图3是表示高精度滤波器单元的结构的方框图。图4是用于说明立体图像处理装置的动作的流程图。图5是用于说明图像匹配(matching)单元的处理的图。图6是表示子像素单位运算处理的细节的流程图。图7是用于说明子像素单位运算处理的概念的图。图8是用于说明子像素单位运算处理的概念的图。图9是用于说明窗移动单元的处理的概念的图。图10是用于说明窗移动单元的处理的概念的图。图11是表示本专利技术的实施方式2的立体图像处理装置的结构的方框图。图12是用于说明立体图像处理装置的动作的流程图。标号说明100、900立体图像处理装置101立体图像获取单元102图像匹配单元103滤波器单元104、106峰值位置检测单元105高精度滤波器单元402,412图像截取单元403,413 滤波单元411窗函数移动(shift)单元901高精度滤波器执行判定单元902输出单元具体实施例方式以下，参照附图详细地说明本专利技术的实施方式。再有，在实施方式中，对同一结构要素附加同一标号，由于其说明重复而省略。再有，将图像横方向设为X轴，将图像纵方向设为Y轴，I像素为I坐标点来说明。[实施方式I][立体图像处理装置100的结构]图1表示本专利技术的实施方式I的立体图像处理装置100的结构。在图1中，立体图像处理装置100包括立体图像获取单元101 ;图像匹配单元102 ;滤波器单元103 ;峰值位置检测单元104、106 ;以及高精度滤波器单元105。立体图像获取单元101获取由两个以上的摄像系统(即，照相机)拍摄的立体图像。在立体图像中，包含通过两个不同的摄像系统拍摄同一对象物所得的基准图像和参考图像。而且，立体图像获取单元101将获取的立体图像输出到图像匹配单元102、滤波器单元103、以及高精度滤波器单元105。再有，在本实施方式中，假定立体图像获取单元101获取通过基线长度方向与水平方向大致一致的两个照相机拍摄的立体图像。图像匹配单元102获取参考图像对基准图像的基准点的像素级的对应点。具体地说，图像匹配单元102通过对于在立体图像获取单元101中获取的基准图像及参考图像进行图像匹配处理，获取参考图像对基准图像的基准点的像素级的对应点。然后，图像匹配单元102计算基准图像和参考图像之间的‘像素级的挪动量n’。另一方面，通过后述的峰值位置检测单元104及峰值位置检测单元106得到的、基准图像和参考图像之间的‘视差’的单位为子像素。即，在图像匹配单元102中，以‘像素单位’粗略地检测基准图像和参考图像之间的挪动，然后，通过峰值位置检测单元104及峰值位置检测单元106，以‘子像素单位’仔细地检测基准图像和参考图像之间的挪动。具体地说，图像匹配单元102将基准图像中包含的规定的I像素设为‘基准点’，从基准图像中截取以基准点为中心的周边的部分图像(以下，称为‘单位基准图像’)。此外，图像匹配单元102从参考图像中截取多个与单位基准图像为相同大小的部分图像(以下，称为‘单位参考图像’)。在参考图像中，从不同的位置截取多个单位参考图像。为了截取单位基准图像和基准参考图像，例如，采用规定大小的矩形窗(纵大小wv像素，横大小wh像素)的矩形窗。再有，以下，将规定该矩形窗的窗函数称为‘像素单位估计用窗函数’。在立体照相机的情况下，仅在照相机的基线长度方向上产生基准图像和参考图像之间的视差。因此，图像匹配单元102变更在基线长度方向上截取的位置，截取多个单位参考图像即可。而且，基准图像中的基准点的位置和参考图像的对应点的位置之间的挪动量，作为上述像素单位的挪动量n来计算。图像匹配单元102在截本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】2010.12.20 JP 2010-2836221.立体图像处理装置，计算构成立体图像的基准图像和参考图像之间的子像素单位的挪动量，包括: 截取装置，将第I窗函数适用于截取对象位置，从所述基准图像中截取子像素估计用单位基准图像，适用所述第I窗函数或所设定的第2窗函数，从所述参考图像中截取子像素估计用单位参考图像； 计算装置，基于由所述截取出的子像素估计用单位基准图像的亮度值构成的数据串、和由所述截取出的子像素估计用单位参考图像的亮度值构成的数据串之间的相位差，计算所述子像素单位的挪动量；以及 窗函数设定装置，基于由所述计算装置计算出的子像素单位的挪动量，对所述截取装置设定通过移动所述第I窗函数形成的所述第2窗函数。2.权利要求1所述的立体图像处理装置， 所述计算装置通过使所述截取出的子像素估计用单位基准图像的亮度值构成的数据串的数据顺序反转来计算反相滤波器系数，使用所述反相滤波器系数对于由所述子像素估计用...

【专利技术属性】
技术研发人员：南里卓也，丸谷健介，黑河久，
申请(专利权)人：松下电器产业株式会社，
类型：
国别省市：