图像处理装置、三维测量系统、图像处理方法制造方法及图纸

图像处理装置具有：地图生成单元，使用向对象物投影图案光并进行拍摄而得的图像生成地图，所述地图是进深距离相关的信息与各像素相关联而得的数据；边缘检测单元，使用以不向所述对象物投影图案光的方式进行拍摄而得的图像检测所述对象物的边缘；以及修正单元，基于所述检测到的边缘修正所述地图以使进深距离变成不连续的位置与所述对象物的边缘的位置吻合。置吻合。置吻合。

【技术实现步骤摘要】
【国外来华专利技术】图像处理装置、三维测量系统、图像处理方法


[0001]本专利技术涉及图像处理装置，尤其涉及用于从图像获得高精度的三维信息的技术。

技术介绍

[0002]在使用图像获取物体的三维信息的手法之一中有被称为主动测量的手法(参照非专利文献1)。主动测量由于向物体表面投影图案光，故而有即便是图像特征少的物体(例如表面没有纹理的物体等)也能够高精度地进行三维测量的优点，与被动测量相比实用性优异。
[0003]现有技术文献
[0004]非专利文献
[0005]非专利文献1：P.Vuylsteke and A.Oosterlinck,Range Image Acquisition with a Single Binary
‑
Encoded Light Pattern,IEEE PAMI 12(2),pp.148
‑
164,1990.

技术实现思路

[0006]专利技术所要解决的技术问题
[0007]但是，主动测量有在物体的边缘附近测量精度易降低的这一固有的技术问题。由于在边缘部分物体的高度变为不连续，故而投影的图案也夹着边缘变为不连续。这样一来，变得易于在边缘的附近发生图案的错误识别，或将物体表面上的点错误识别成背景的点，或相反地将背景的点错误识别成物体表面上的点，所以，输出错误的高度信息。图18示意性地示出了通过主动测量获得的三维信息(点群数据)与实际的物体的边缘(外形)的偏差。可知有点群超出边缘的地方、缺少点群的地方。
[0008]根据主动测量的用途、目的，也会设想到无法忽视这样的三维信息与实际的形状之间的细微的偏差(以下仅称为“测量误差”)的实例。例如，在通过主动测量识别物体的外形并将该识别结果利用到拾取机器人的把持控制的场合下，测量误差有可能导致拾取或释放故障。具体地，会设想到如下等故障：或将物体的外形识别得过大，结果错误判定为该物体与其周围之间没有插入手的间隙，并中断拾取或释放的动作，或相反地，将物体的外形识别得过小，结果在把持该物体时发生手与物体的干扰。另外，在通过主动测量识别物体的位置、姿态并进行部件的嵌合、组装的场合下，由于需要微米量级的定位，故而上述那样的测量误差变得致命。另外，在将定位用的标记(突起、槽等)设置于表面的部件等中也有可能判別不出出现在通过主动测量获得的三维信息中的表面的凹凸是定位用的标记还是由测量误差导致的凹凸而无法识别定位用的标记。
[0009]本专利技术是鉴于上述实际情况提出的，其目的在于提供用于排除乃至降低由在物体的边缘部分处对图案的错误识别引起并产生的测量误差的技术。
[0010]用于解决技术问题的方案
[0011]本专利技术的一方面提供图像处理装置，其特征在于，具有：地图生成单元，使用向对象物投影图案光并进行拍摄而得的图像生成地图，所述地图是进深距离相关的信息与各像
素相关联而得的数据；边缘检测单元，使用以不向所述对象物投影图案光的方式进行拍摄而得的图像检测所述对象物的边缘；以及修正单元，基于检测到的所述边缘修正所述地图以使进深距离变成不连续的位置与所述对象物的边缘的位置吻合。
[0012]通过地图生成单元生成的地图由于是从通过向对象物投影图案光并进行拍摄而得的图像复原了进深距离而得的地图，故而在其原理上，可能包括由对图案的错误识别引起的测量误差。而另一方面，通过边缘检测单元生成的边缘的信息由于是从通过以不投影图案光的方式进行拍摄而得的图像获得的信息，故而不包括由对图案的错误识别引起的误差。因此，通过以检测到的边缘的位置为基准修正地图，能够排除乃至降低地图中所包括的测量误差，与以往相比能够获得高精度的地图。
[0013]不限定所述地图生成单元生成所述地图的手法。例如，所述地图生成单元也可以是使用向所述对象物投影图案光并从不同的视角进行拍摄而得的多个图像通过立体匹配来生成所述地图的单元。立体匹配是基于从不同的视角进行拍摄而得的2张图像之间的视差按照三角测量的原理算出进深距离的方法。根据立体匹配，能够高精度地进行较高空间分辨率的三维测量。在立体匹配的情况下，所述地图可以是视差地图、深度地图等。
[0014]或者，所述地图生成单元也可以是使用向所述对象物投影图案光并进行拍摄而得的图像通过空间编码图案方式生成所述地图的单元。空间编码图案方式是从照相机的像素与编码图案的对应点的关系按照三角测量的原理算出进深距离的方法，其能够从1张图像获得三维信息。根据空间编码图案方式能够高速且高精度地进行三维测量。在空间编码图案方式的情况下，所述地图也可以是深度地图等。
[0015]或者，所述地图生成单元也可以具有：获取单元，获取由通过向所述对象物投影图案光并从不同的视角进行拍摄而得的第一图像和第二图像构成的图像对；视差预测单元，通过与立体匹配不同的方式预测所述第一图像与所述第二图像之间的视差；设定单元，基于预测的视差设定对应点在立体匹配中的搜索范围；以及立体匹配单元，使用所述第一图像和所述第二图像进行限定在所设定的所述搜索范围内的立体匹配。在一般的立体匹配中，由于从所有的比较图像中搜索对应点，故而若使用高清晰度的图像，则处理时间会不可避免地变长。与此相对，在上述构成中，基于预测的视差来限定对应点的搜索范围。由此，由于能够极大地缩窄搜索范围，故而能够大幅地缩短搜索对应点所需的时间。
[0016]所述视差预测单元也可以基于通过空间编码图案方式获得的距离信息预测视差。因为在空间编码图案方式下，在使用清晰度与立体匹配相同的图像传感器的情况下，能够用比立体匹配短特别多的处理时间获得距离信息。需要说明的是，空间编码图案方式的测距的空间分辨率虽然比立体匹配方式低，但是若是从用于预测视差的目的讲，则可以说是足够所需的。
[0017]所述地图生成单元也可以还具备视差地图合成单元，所述视差地图合成单元通过合成由所述立体匹配单元从多个图像对中的每一对生成的多个视差地图来生成合成视差地图。在该情况下，所述修正单元也可以修正所述合成视差地图或从所述合成视差地图转换的深度地图。通过合成从多个图像对获得的视差地图能够降低测量的偏差，能够稳定地获得高精度且高可信性的地图。
[0018]所述视差预测单元可以生成多个预测视差，所述设定单元可以将通过合成所述多个预测视差而得的合成预测视差用于对所述多个图像对的搜索范围的设定。通过也这样地
多次进行预测视差的生成(测量)能够提高精度及鲁棒性。
[0019]以不向所述对象物投影图案光的方式进行拍摄而得的图像也可以是通过向所述对象物投影均匀光并进行拍摄而得的图像。例如，也可以使用白色的均匀光源等。
[0020]本专利技术的第二方面提供三维测量系统，其特征在于，具有：传感器单元，至少具有投影图案光的第一投光部和1个以上的照相机；以及第一方面涉及的图像处理装置，使用从所述传感器单元获取的图像进行处理。根据该构成，能够获得排除乃至降低了由在对象物的边缘部分处对图案的错误识别引起的测量误差的三维信息。
[0021]也可以将本专利技术理解为具有上述单元中的至少一部本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种图像处理装置，其特征在于，具有：地图生成单元，使用向对象物投影图案光并进行拍摄而得的图像生成地图，所述地图是进深距离相关的信息与各像素相关联而得的数据；边缘检测单元，使用以不向所述对象物投影图案光的方式进行拍摄而得的图像检测所述对象物的边缘；以及修正单元，基于检测到的所述边缘修正所述地图以使进深距离变成不连续的位置与所述对象物的边缘的位置吻合。2.根据权利要求1所述的图像处理装置，其特征在于，所述修正单元从所述地图提取所述对象物的区域，根据检测到的所述边缘将该区域分割成多个分割区域，并通过去除所述多个分割区域中比预定的阈值小的分割区域来修正所述地图。3.根据权利要求1或2所述的图像处理装置，其特征在于，所述地图生成单元是使用向所述对象物投影图案光并从不同的视角进行拍摄而得的多个图像并通过立体匹配来生成所述地图的单元。4.根据权利要求1或2所述的图像处理装置，其特征在于，所述地图生成单元是使用向所述对象物投影图案光并进行拍摄而得的图像并通过空间编码图案方式生成所述地图的单元。5.根据权利要求3所述的图像处理装置，其特征在于，所述地图生成单元具有：获取单元，获取由向所述对象物投影图案光并从不同的视角进行拍摄而得的第一图像和第二图像构成的图像对；视差预测单元，通过与立体匹配不同的方式预测所述第一图像与所述第二图像之间的视差；设定单元，基于预测到的视差设定对应点在立体匹配中的搜索范围；以及立体匹配单元，使用所述第一图像和所述第二图像进行限定在所设定的所述搜索范围内的立体匹配。6.根据权利要求5所述的图像处理装置，其特征在于，所述视...

【专利技术属性】
技术研发人员：松本慎也，
申请(专利权)人：欧姆龙株式会社，
类型：发明
国别省市：