提供与对象物表面的亮度的分布无关而能够高精度地测定子像素视差的复眼摄像装置。包括基准摄像光学系统，生成包含基准图像的图像；两个以上的偶数的参考摄像光学系统，生成包含参考图像的图像，所述两个以上的偶数的参考摄像光学系统被配置为，对基准摄像光学系统大致成为点对称；相关值算出部（６），针对两个以上的偶数的参考摄像光学系统的每一个，按每个偏移量算出相关值，所述偏移量是针对基准图像将参考图像的一方沿着与基线平行的方向逐渐偏移时的偏移量；相关值加法部（７），通过按每个对应的偏移量，对针对两个以上的偶数的参考摄像光学系统的每一个算出的相关值进行加法运算，从而算出合成相关值；以及视差算出部（８），根据合成相关值，以子像素级来算出作为基准图像和参考图像的相似度成为最大的偏移量的视差。
【技术实现步骤摘要】
【国外来华专利技术】
本专利技术涉及具有多个摄像光学系统的、算出摄像光学系统之间产生的 视差的复眼摄像装置等。
技术介绍
近些年，对测定从规定的位置到对象物为止的距离、或对象物的三维 位置(形状)的需求越来越提高。例如，对于汽车的视角补助提出了以下的方 法，即，不仅显示利用安装在汽车的小型照相机而拍摄的周围的物体的影 像，而同时显示利用测距装置而测定的物体与汽车之间的正确的距离信息， 从而准确地避免与周围的物体碰撞。并且，在移动电话或电视机等中，为 了更忠实地再现影像的临场感而需要立体影像的输出入装置。需要这些用 途的测距装置的高精度化以及小型化。自从以前采用了利用三角测定原理的立体测距方法，以作为测定到对 象物为止的距离、或对象物的三维位置的方法。在立体测距方法中，根据 多个照相机之间产生的视差算出到对象物为止的距离。图30是利用照相机a和照相机b这两个照相机时的、通过立体测距方 法算出到对象物为止的距离的例子的说明图。对象物100的光线101a、 101b，经由照相机a的透镜102a以及照相机b的透镜102b的各个光学中 心105a、 105b成像在摄像区域104a、 104b。光轴103a以及光轴103b 表示各个照相机的光轴。此时，例如，在对象物100针对照相机a成像在 从摄像区域104a和光轴103a的交点106a远离了 Pa的位置107a、且对 象物100针对照相机b成像在从摄像区域104b上的摄像区域104b和光轴 103b的交点106b远离了 Pb的位置107b的情况下，在照相机a与照相机 b之间产生视差P(二Pb—Pa)。该视差P按照测距装置与对象物距离之间 的距离D发生变化。若照相机a的光轴103a和照相机b的光轴103b为平 行、其间隔为基线长度B、照相机a以及照相机b的焦距为f，则以(式l)来表示到对象物为止的距离D。因此，若因预先进行校准(calibration)处理 等而已经知道基线长度B以及焦距f，则通过求出视差P能够算出到对象 物100为止的距离D。公式1<formula>formula see original document page 8</formula>而且，在实际环境下，照相机a和照相机b的光轴不是平行的情况多。 于是，进行例如非专利文献1所示的平行化处理。周知的是，其结果为制 作光轴为平行的图像，从而能够使用利用了所述(式l)的运算来算出距离D。通常，摄像区域104a以及摄像区域104b由CCD(Charge Coupled Device :电荷耦合器件)或CMOS (Complementary Metal Oxide Semiconductor :互补金属氧化半导体)等的摄像元件构成。据此，由于利 用在二维平面上被离散化的对象物像的亮度信号算出视差P，因此，通常 其视差检测分辨率为1像素。通过(式l)的关系，根据视差检测分辨率决定 测距分辨率(以后，记载为测距精度)。并且，通过利用例如图31 图33而以下说明的方法，能够算出对象 物的三维位置。图31是表示测距装置与对象物之间的位置关系的图。在图31中将世 界坐标的原点Mw(O、 0、 0)作为照相机a的光学中心105a。如图示出，若 将对象物110的一点111的三维位置坐标作为Mw(Xwl、 Ywl、 Zwl)，则 求出Zwl为利用图30说明的(式l)而算出的距离D。图32是从Yw轴的负的一侧看图31的照相机a和对象物110的一点 lll时的图。如图示出，若将交点106a作为摄像区域104a的二维坐标系 的原点ms(O、 0)，则利用成像位置107a的坐标ms(xsl、 ysl)、且以(式 2)来表示Xwl。公式2<formula>formula see original document page 8</formula>…(式2)图33是从Xw轴的正的一侧看图31的照相机a和对象物110的一点 111时的图。与图32相同，若将交点106a作为摄像区域104a的二维坐标系的原点ms(O、 0)，则利用成像位置107a的坐标ms(xsl、 ysl)、且以(式 3)来表示Ywl。 <formula>formula see original document page 9</formula>与所述的测距精度相同，三维位置的测定精度也是根据视差检测分辨 率决定的。其次，说明视差P的检测方法的具体例子。对于视差P，算出在照相 机a的摄像区域104a取得的图像a、和在照相机b的摄像区域104b取得 的图像b这各个图像的每个小区域的相关值，即算出SAD(Sum of Absolute Difference::绝对差总和)，并利用算出的相关值，从而算出图像a与图像 b之间的每个小区域的偏移，即算出视差P。而且，SAD是相关值的一个 例子，也可以利用一般所周知的SSD(Sum of Squared Difference :平方 差总和)或NCC(Normalized Cross—Correlation :归一化互相关)等以作 为相关值。以下，参照图34 图36说明利用代表性的相关值即SAD的、视差的 算出。图34是图像中的各个像素的亮度的表达方法的说明图。如图示出，0 为黑，15为白，并以线的密度来表达各个亮度的阶度。亮度有时成为小数 点以下的值。图35A是示出从对象物的一侧看映射的对象物的纹理(texture)时的、 图像a的一部分的图。图35B是示出从对象物的一侧看映射的对象物的纹 理时的、图像b的一部分的图。在对象物位于无穷远时，在图35B中的用粗线包围的图像块b映射与 图35A中的用粗线包围的图像块a相同的图像。在对象物位于有限的距离 的情况下，由于产生图35A以及图35B所示的视差，因此，针对图35A 的图像，图35B的图像被映射在右边。在此，说明图35A和图35B具有 3.6像素的实际视差的情况。为了搜索与图像块a相关度最高的图像区域， 而按每一个像素，将图像块b从图35B的粗线的位置向右方向逐渐偏移， 从而按每个偏移量、且根据(式4)算出SAD。公式4SAD = Z|la(i,j) —Ib(i，j〗 …(式4)在此，Ia、 Ib表示各个图像块内的亮度值，i、 j表示各个图像块内的 局部地址。图像块a和图像块b的图像尺寸相同，按每个偏移量算出图像 块两者的相同地址的亮度差分的绝对值的块内总和。对于图像块的形状， 虽然可以是长方形或对应于纹理的特征的形状，但是，在此，以正方形的 图像块来进行说明。图36是示出按每一个像素将图像块b移动时的SAD的推移的图。在 偏移量为4像素的情况下，由于SAD为最小，因此可以认为图像块a和图 像块b的相关度最高。因此，算出图像块a中的照相机a与照相机b之间 的视差为4像素，算出的视差乘以像素间距尺寸来求出(式1)的视差P，从 而能够算出到对象物为止的距离D。在此情况下，能够求出接近实际的视 差3.6像素的视差，但是，由于视差的检测精度为1像素，因此，不能以 小数点以下的像素的精度来求出视差(以后，称为子像素视差)。对于测距精度即视差检测分辨率不是1像素单位而是更高的精度的求 出方法，提出了子像素级视差的推测方法(本文档来自技高网...
【技术保护点】
一种复眼摄像装置，算出拍摄同一对象物的多个摄像光学系统中产生的视差，其特征在于，至少包括： 基准摄像光学系统，通过拍摄所述对象物，从而生成包含基准图像的图像； 两个以上的偶数的参考摄像光学系统，通过拍摄所述对象物，从而生成包含参 考图像的图像，所述两个以上的偶数的参考摄像光学系统的各个光学中心被配置为，对所述基准摄像光学系统的光学中心大致成为点对称； 相关值算出单元，针对所述两个以上的偶数的参考摄像光学系统的每一个，按每个偏移量算出表示所述基准图像和所述参考图 像的相似度的相关值，所述偏移量是在将搜索位置沿着与基线平行的方向逐渐偏移的情况下的偏移量，所述搜索位置是为了搜索与所述基准图像相似的所述参考图像的图像位置而由所述参考摄像光学系统生成的图像中的所述参考图像的位置，所述基线是连接所述基准摄像光学系统的光学中心和所述参考摄像光学系统的光学中心的直线； 相关值加法单元，通过按每个对应的偏移量，对针对所述两个以上的偶数的参考摄像光学系统的每一个算出的相关值进行加法运算，从而算出合成相关值；以及 视差算出单元，根据所述合成相 关值，以子像素级来算出作为所述基准图像和所述参考图像的相似度成为最大的偏移量的视差。...
【技术特征摘要】
【国外来华专利技术】...
【专利技术属性】
技术研发人员：大山一朗，
申请(专利权)人：松下电器产业株式会社，
类型：发明
国别省市：JP[日本]
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。