形状测量设备和方法技术

公开了一种形状测量设备和方法。在形状测量设备中，图像处理单元基于所计算的视差导出关于位于公共图像区域中的第一成像对象距形状测量设备的绝对距离信息。图像处理单元基于序列单色图像重建包括第一成像对象和第二成像对象的成像对象中的每一个的3D形状。

Shape measuring equipment and method

A shape measuring device and method are disclosed. In a shape measuring device, the image processing unit derives absolute distance information about the first imaging object located in a common image area from the shape measuring device based on the calculated parallax. The image processing unit reconstructs the 3D shape of each of the imaging objects including the first imaging object and the second imaging object based on the sequence monochrome image.

【技术实现步骤摘要】
形状测量设备和方法
本公开内容涉及形状测量设备和方法。
技术介绍
将被称为公开专利文件的日本专利申请公开第2015-219212号公开了一种包括立体相机系统的距离测量设备；该立体相机系统包括彩色成像装置和单色成像装置。立体相机系统被配置成获取由单色成像装置和彩色成像装置分别拍摄的成像对象的单色图像和彩色图像，所述单色成像装置和彩色成像装置以预定间隔彼此靠近布置。然后，立体相机系统被配置成执行所拍摄的单色图像和彩色图像的立体匹配，从而测量从立体相机系统到成像对象的距离。特别地，由这样的单色成像装置拍摄的单色图像具有比由这样的彩色成像装置拍摄的彩色图像高的分辨率。因此，成像对象的单色图像能够使成像对象的形状以较高的准确度被识别。相比之下，由这样的彩色成像装置拍摄的成像对象的彩色图像包括关于成像对象的颜色信息。基于仅其颜色信息可识别的特定成像对象的彩色图像使得特定成像对象能够被识别。也就是说，包括彩色成像装置和单色成像装置的立体相机系统获得基于单色图像的优点和基于彩色图像的优点二者。
技术实现思路
使用具有相对宽视角的广角相机作为车载成像装置有利于识别位于诸如交叉口之类的相对宽区域中的成像对象。相比之下，使用具有相对窄视角的窄角相机作为车载成像装置有利于识别位于距窄角相机较远距离处的诸如交通灯或车辆之类的成像对象。这是因为，由窄角相机拍摄的这样的长距离成像对象的图像包括长距离目标的区域相对于图像的整个区域的较高百分比。从这些观点来看，本申请的专利技术人已经考虑了距离测量设备，其每个具有基于单色图像和彩色图像的组合使用的优点以及基于宽视角和窄视角的组合使用的优点二者。也就是说，本公开内容的一个方面寻求提供形状测量设备和方法，其中的每一个能够有效地使用单色图像和彩色图像的第一特征以及宽视角和窄视角的第二特征。根据本公开内容的第一示例性方面，提供了一种形状测量设备。该形状测量设备包括具有基于第一视角限定的第一视场的第一成像装置。第一成像装置被配置成基于第一视场拍摄序列单色图像。该形状测量设备包括具有基于第二视角限定的第二视场的第二成像装置。第二成像装置被配置成基于第二视场拍摄彩色图像，第二视角比第一视角窄。第一视场和第二视场具有公共视场。形状测量设备包括图像处理单元，所述图像处理单元被配置成：(1)计算在单色图像中的选定的一个单色图像的公共图像区域与彩色图像之间的视差，所选定的单色图像与彩色图像基本同步，公共图像区域具有与第二成像装置的第二视场公共的视场，成像对象包括位于公共图像区域中的至少第一成像对象和至少部分地位于公共图像区域之外的第二成像对象；(2)基于所计算的视差导出关于第一成像对象距形状测量设备的绝对距离信息；(3)基于序列单色图像重建包括第一成像对象和第二成像对象的成像对象中的每一个的三维形状；根据本公开内容的第二示例性方面，提供了一种形状测量方法。该形状测量方法包括：(1)利用具有基于第一视角限定的第一视场的第一成像装置基于第一视场拍摄序列单色图像；(2)利用具有基于第二视角限定的第二视场的第二成像装置基于第二视场拍摄彩色图像，第二视角比第一视角窄，第一视场和第二视场具有公共视场；(3)计算在单色图像中的选定的一个单色图像的公共图像区域与彩色图像之间的视差，所选定的单色图像与彩色图像基本同步，公共图像区域具有与第二成像装置的第二视场公共的视场，成像对象包括位于公共图像区域中的至少第一成像对象和至少部分地位于公共图像区域之外的第二成像对象；(4)基于所计算的视差导出关于第一成像对象距预定参考点的绝对距离信息；(5)基于序列单色图像重建包括第一成像对象和第二成像对象的成像对象中的每一个的三维形状。根据第一示例性方面和第二示例性方面的形状测量设备和方法中的每一个被配置成有效地使用单色图像和彩色图像的第一特征以及第一视角和比第一视角窄的第二视角的第二特征。也就是说，形状测量设备和方法中的每个被配置成从序列单色图像中导出序列单色图像中的每一个中的第一成像对象和第二成像对象中的每一个的3D形状。该配置使得不能通过单色图像与彩色图像之间的立体匹配识别的成像对象中的每一个的3D形状能够被识别。形状测量设备和方法中的每一个还使得能够根据位于公共图像区域中的第一成像对象的绝对距离的参考来获得至少部分位于公共图像区域之外的第二成像对象的3D形状。附图说明根据以下参考附图对实施方式的描述，本公开内容的其他方面将变得明显，在附图中：图1是示意性示出根据本公开内容的本实施方式的形状测量设备的整体结构的示例的框图；图2是示意性示出形状测量设备如何被布置，以及示出图1所示的单色相机的第一视场和彩色相机的第二视场的图；图3是示意性示出如何执行卷帘快门模式的图；图4A是示意性示出广角单色图像的示例的图；图4B是示意性示出窄角彩色图像的示例的图；图5是示意性示出根据本实施方式的形状测量任务的示例的流程图；图6是示意性示出根据本实施方式的图像识别任务的流程图；以及图7是示意性示出如何执行图像识别任务的图。具体实施方式以下参考附图描述本公开内容的本实施方式。本公开内容不限于下面的本实施方式，并且可以被修改。对形状测量设备的结构的描述下面参照图1和图2描述根据本公开内容的本实施方式的可安装在车辆中的形状测量设备1的结构的示例。参照图1，安装在车辆5中的形状测量设备1包括立体相机系统2和图像处理单元3。例如，形状测量设备1被封装为封装件。封装的形状测量设备1例如安装在车辆5的乘客室内，使得设备1安装到前风挡W的内表面并且靠近前风挡镜(未示出)的中心。参照图2，形状测量设备1具有在车辆5前方的测量区域，并且在操作时对关于位于至少一个测量区域内的成像对象的距离信息进行测量。立体相机系统2包括一对单色相机2a和彩色相机2b。单色相机2a拍摄车辆5前方的单色图像，并且彩色相机2b拍摄车辆5前方的彩色图像。单色相机2a具有预定的第一视角，即在例如车辆5的宽度方向上的第一视角α，并且彩色相机2b具有预定的第二视角，即在例如车辆5的宽度方向上的第二视角β。单色相机2a的被称为第一水平视角的第一视角α被设置成比彩色相机2b的被称为第二水平视角的第二视角β宽。这使得能够获得具有较宽视角的单色图像和具有较窄视角的彩色图像。单色相机2a在车辆5的竖直方向即高度方向上的第一竖直视角可以被设置成等于彩色相机2b的第二竖直视角。另外，单色相机2a可以在与拍摄的单色图像的对角线方向相对应的对角线方向上具有预定的第一对角线视角，并且彩色相机2b可以在与拍摄的彩色图像的对角线方向相对应的对角线方向上具有预定的第二对角线视角。单色相机2a的第一对角线视角可以设置成比彩色相机2b的第二对角线视角宽。例如，单色相机2a和彩色相机2b被布置成平行于车辆5的宽度方向以基本上具有相同的高度并且在其之间具有预定间隔。单色相机2a和彩色相机2b被布置成相对于车辆5的中心轴对称；车辆5的中心轴具有与相机2a和2b中的每一个的高度相同的高度，并且在车辆5的宽度方向上穿过车辆5的中心。单色相机2a和彩色相机2b在车辆宽度方向上的中心用作例如参考点。例如，如图2所示，在从车辆5的后方向前方观看时，单色相机2a位于中心轴的左侧，并且在从车辆5的后方向前方观看时，彩色相机2b位于中心轴的右侧。也就是本文档来自技高网...

【技术保护点】
1.一种形状测量设备，包括：具有基于第一视角限定的第一视场的第一成像装置，所述第一成像装置被配置成基于所述第一视场拍摄序列单色图像；具有基于第二视角限定的第二视场的第二成像装置，所述第二成像装置被配置成基于所述第二视场拍摄彩色图像，所述第二视角比所述第一视角窄，所述第一视场和所述第二视场具有公共视场；以及图像处理单元，被配置成：计算所述单色图像中的选定的一个单色图像的公共图像区域与所述彩色图像之间的视差，所选定的单色图像与所述彩色图像基本同步，所述公共图像区域具有与所述第二成像装置的所述第二视场公共的视场，成像对象包括位于所述公共图像区域中的至少第一成像对象和至少部分地位于所述公共图像区域之外的第二成像对象；基于所计算的视差导出关于所述第一成像对象距所述形状测量设备的绝对距离信息；以及基于所述序列单色图像重建包括所述第一成像对象和所述第二成像对象的所述成像对象中的每一个的三维形状。

【技术特征摘要】
2017.04.20 JP 2017-0837821.一种形状测量设备，包括：具有基于第一视角限定的第一视场的第一成像装置，所述第一成像装置被配置成基于所述第一视场拍摄序列单色图像；具有基于第二视角限定的第二视场的第二成像装置，所述第二成像装置被配置成基于所述第二视场拍摄彩色图像，所述第二视角比所述第一视角窄，所述第一视场和所述第二视场具有公共视场；以及图像处理单元，被配置成：计算所述单色图像中的选定的一个单色图像的公共图像区域与所述彩色图像之间的视差，所选定的单色图像与所述彩色图像基本同步，所述公共图像区域具有与所述第二成像装置的所述第二视场公共的视场，成像对象包括位于所述公共图像区域中的至少第一成像对象和至少部分地位于所述公共图像区域之外的第二成像对象；基于所计算的视差导出关于所述第一成像对象距所述形状测量设备的绝对距离信息；以及基于所述序列单色图像重建包括所述第一成像对象和所述第二成像对象的所述成像对象中的每一个的三维形状。2.根据权利要求1所述的形状测量设备，其中，所述图像处理单元被配置成根据关于所述第一成像对象的所述绝对距离信息来校正所述第二成像对象的三维形状。3.根据权利要求2所述的形状测量设备，其中：所述第一成像装置和所述第二成像装置中的每一个包括图像传感器，所述图像传感器包括光接收区域，所述光接收区域包括以水平行和竖直列布置的光敏像素，所述第一成像装置被配置成以卷帘快门模式驱动相应的图像传感器，从而拍摄所述序列单色图像中的每一个，所述第二成像装置被配置成以所述卷帘快门模式驱动相应的图像传感器，从而拍摄所述彩色图像；以及所述第一成像装置和所述第二成像装置中至少之一被配置成根据所述第一视角与所述第二视角的比例来使第一曝光间隔和第二曝光间隔中至少一个相对于另一个改变，所述第一曝光间隔表示对于所述序列单色图像中的每一个在一个水平行曝光于入射光的结束与下一个水平行曝光于入射光的开始之间的间隔，所述第二曝光间隔表示对于所述彩色图像在一个水平线曝光于入射光的结束与下一个水平线曝光于入射光的开始之间的间隔，使所述第一曝光间隔和所述第二曝光间隔中至少一个相对于另一个改变导致所述序列单色图像中的每一个的所述公共图像区域的曝光时段与所述彩色图像的曝光时段基本上同步。4.根据权利要求2或3所述的形状测量设备，其中，所述图像处理单元被配置成：识别所述序列单色图像中的选定的一个单色图像中的特定目标对象；识别所述彩色图像的周边区域中的至少一个彩色图像区域，所述至少一个彩色图像区域表示特定颜色；以及将关于所述至少一个彩色图像区域的信息与关于所述特定目标对象中的预定区域的信息结合，所述序列单色...

【专利技术属性】
技术研发人员：横井健介，
申请(专利权)人：株式会社电装，
类型：发明
国别省市：日本,JP