本发明专利技术提供图像处理设备、图像处理方法、可移动设备和存储介质。图像处理设备能够减小距离变动的影响，其包括：边界检测单元，其被配置为基于图像信息的各个像素的颜色信息，检测通过将所述图像信息分割为多个分割区域而获得的各个分割区域中的边界；以及合并距离信息确定单元，其被配置为基于所述图像信息的各个像素的距离信息，针对在所述分割区域中由边界分隔的各个子区域来确定合并距离信息。分隔的各个子区域来确定合并距离信息。分隔的各个子区域来确定合并距离信息。
【技术实现步骤摘要】
图像处理设备、图像处理方法、可移动设备和存储介质
[0001]本专利技术涉及用于对物体的距离信息进行处理的图像处理设备、图像处理方法、可移动设备和存储介质等。
技术介绍
[0002]存在具有如下的传感器的摄像装置，其中在该传感器中二维排列了具有光电转换功能的多个像素区域，并且该传感器能够在各个像素区域中获取图像信号和距离信息。在日本特开2007
‑
281296中所公开的固态摄像元件中，对于摄像装置的部分或全部像素，布置具有距离测量功能的像素，并且基于在摄像面上检测到的相位差来检测被摄体距离(摄像面相位差方法)。
[0003]也就是说，基于两个图像信号之间的相关性来计算位置偏差，并基于位置偏差来获取距离，其中所述两个图像信号是基于由通过了摄像装置的摄像光学系统的不同光瞳区域的光束生成的图像的。通过使用诸如基于区域的匹配方法等的方法来评估两个图像信号之间的相关性，其中该基于区域的匹配方法用于从各个图像信号中切出预定对照区域中所包括的图像信号并评估相关性。
[0004]然而，例如，如果图像信号中所包括的被摄体的对比度变化很小，或者如果图像信号中所包括的噪声量大，则可能由于被摄体或摄像条件而错误地评估相关性。如果存在超过一定数量的错误的相关性评估，则两个计算出的图像信号之间的位置偏差量存在误差，并且所获取的距离的精度可能降低。
[0005]本专利技术的目的之一是提供能够降低距离变动的影响的图像处理设备。
技术实现思路
[0006]根据本专利技术的一个方面，提供了一种图像处理设备，其包括至少一个处理器或电路，所述至少一个处理器或电路被配置为用作：边界检测单元，其被配置为基于图像信息的各个像素的颜色信息，检测通过将所述图像信息分割为多个分割区域而获得的各个分割区域中的边界；以及合并距离信息确定单元，其被配置为基于所述图像信息的各个像素的距离信息，针对在所述分割区域中由边界分隔的各个子区域来确定合并距离信息。
[0007]通过以下参考附图对实施例的描述，本专利技术的其他特征将变得明显。
附图说明
[0008]图1是示出根据第一实施例的车辆100的配置示例的示意图。
[0009]图2是示出根据第一实施例的车辆100的内部配置示例的框图。
[0010]图3是示出根据第一实施例的路线生成设备150的配置示例的功能框图。
[0011]图4A和图4B是示出根据第一实施例的摄像元件的配置示例的示意图。
[0012]图5A至图5D是用于描述在摄像面相位差方法中的被摄体距离和入射光之间的关系的示意图。
[0013]图6A和图6B是示出根据第一实施例的图像处理单元310所执行的处理的示例的流程图。
[0014]图7A和图7B是示出根据第一实施例的边界处理单元321和物体检测单元323所执行的处理的示例的流程图。
[0015]图8A至图8E是示出根据第一实施例的物体信息生成单元320所进行的处理的示例中的图像和信息的示例的示意图。
[0016]图9是示出边界处理单元321所进行的图7B中的步骤S7011中的物体边界候选确定处理的详细示例的流程图。
[0017]图10是示出距离信息生成单元322所进行的图7B中的步骤7012中的距离当量信息合并处理的详细示例的流程图。
[0018]图11是示出物体检测单元323所进行的图7B中的步骤7013的物体检测处理的具体示例的流程图。
[0019]图12是示出距离信息生成单元322所进行的针对各个物体的距离信息生成处理的示例的流程图。
[0020]图13是示出根据第一实施例的路线生成单元330所执行的路线生成处理的示例的流程图。
[0021]图14是示出第二实施例中的距离信息生成单元322所进行的物体距离信息生成处理的示例的流程图。
[0022]图15是用于描述具有与第N个物体的识别号相同的识别号的物体的物体距离信息的时间变化的示例的示意图。
具体实施方式
[0023]在下文中，将参考附图通过使用实施例来描述本专利技术的有利模式。在各个图中，相同的附图标记应用于相同的构件或元件，并且将省略或简化重复的描述。在以下描述中，将使用配备有摄像装置的路线生成设备(电子设备)的示例，但是本专利技术不限于此。
[0024]第一实施例
[0025]图1是示出根据第一实施例的车辆100的配置示例的示意图。作为可移动设备的车辆100包括摄像装置110、雷达装置120、路线生成ECU 130、车辆控制ECU 140和测量仪器组160。
[0026]车辆100还包括作为用于驱动车辆100的驱动控制单元的驱动单元170和存储器190等。将参考图2描述驱动单元170和存储器190等。
[0027]摄像装置110和路线生成ECU 130等构成作为图像处理设备的路线生成设备150。驾驶员101可以登上车辆100，并且当车辆100正在行进时，驾驶员101在车辆100中面向前方(前进方向)。
[0028]驾驶员101可以通过操作诸如车辆100的方向盘、加速踏板和制动踏板等的操作构件来控制车辆的操作。车辆100可以具有自动驾驶功能，或者可以从外部被远程控制。
[0029]摄像装置110被布置为拍摄车辆100的前方(正常前进方向)的图像。如图1所示，摄像装置110被布置在车辆100的例如挡风玻璃的上端附近的内部，并且对车辆100的前方的预定角度范围(以下称为摄像视角)中的区域进行摄像。
[0030]摄像装置110可以包括被布置为对车辆100的后方(与正常行进方向相反的后退方向)进行摄像的摄像装置或者被布置为对车辆的侧方进行摄像的摄像装置。也就是说，多个摄像装置110可以布置在车辆100中。
[0031]图2是示出根据第一实施例的车辆100的内部配置示例的框图。摄像装置110拍摄包括车辆100正在行进的道路(行进道路)的、车辆周围的环境(周围环境)的图像，并检测摄像装置110的摄像视角内所包括的物体。
[0032]摄像装置110获取与所检测到的物体有关的信息(外部信息)和与所检测到的物体的距离有关的信息(物体距离信息)，并将信息输出至路线生成ECU 130。物体距离信息可以是能够通过使用预定参考表、预定转换系数或转换公式被转换成从车辆100的预定位置到物体的距离的信息。例如，距离被分配给预定整数值的物体距离信息可以被顺次输出到路线生成ECU 130。
[0033]摄像装置110包括例如二维排列了具有光电转换功能的多个像素区域的CMOS图像传感器，并被配置为能够根据摄像面相位差方法(也称为摄像面相位差检测方法和摄像面相位差测距方法等)来获取物体距离。稍后将描述使用摄像面相位差方法来获取物体距离信息。
[0034]雷达装置120例如是使用具有从毫米波段至亚毫米波段的波长的电磁波的毫米波雷达装置，并且是用于通过发射电磁波和接收反射波来检测物体的检测装置。
[0035]所述雷达装置120用作被配置为基于从利用电磁波本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种图像处理设备，包括：至少一个处理器或电路，其被配置为用作：边界检测单元，其被配置为基于图像信息的各个像素的颜色信息，检测通过将所述图像信息分割为多个分割区域而获得的各个分割区域中的边界；以及合并距离信息确定单元，其被配置为基于所述图像信息的各个像素的距离信息，针对在所述分割区域中由边界分隔的各个子区域来确定合并距离信息。2.根据权利要求1所述的图像处理设备，其中，所述至少一个处理器或电路还被配置为用作：分类单元，其被配置为针对所述子区域，根据所述合并距离信息进行预定分类。3.根据权利要求2所述的图像处理设备，其中，所述分类单元将所述子区域分类为包括天空、道路和其他的三个类别中的一个类别。4.根据权利要求1所述的图像处理设备，其中，所述边界检测单元将所述图像信息分割为在画面的垂直方向上延伸且在画面的水平方向上排列的多个所述分割区域。5.根据权利要求1所述的图像处理设备，其中，所述至少一个处理器或电路还被配置为用作：距离信息测量单元，其被配置为针对所述图像信息的各个像素来检测所述距离信息。6.根据权利要求5所述的图像处理设备，其中，所述距离信息测量单元基于所述颜色信息来生成用于表示各个像素的距离信息的似然性的可靠度，以及所述合并距离信息确定单元根据基于所述可靠度而加权的各个像素的所述距离信息来确定各个子区域的所述合并距离信息。7.根据权利要求5所述的图像处理设备，其中，所述至少一个处理器或电路还被配置为用作：摄像单元，其被配置为对被摄体进行摄像，并且生成具有不同视点的多个图像，以及距离信息测量单元，用于基于所述颜色信息来计算所述多个图像的视差量，基于所述颜色信息来计算用于表示各个像素的视差量的似然性的视差可靠度，并且基于所述视差可靠度来生成所述可靠度。8.根据权利要求7所述的图像处理设备，其中，所述距离信息测量单元将所述多个图像的亮度值等于或大于预定值的像素的视差可靠度计算为低于所述多个图像的亮度值小于所述预定值的像素的视差可靠度。9.根据权利要求5所述的图像处理设备，其中，所述至少一个处理器或电路还被配置为用作：摄像单元，其被配置为对被摄体进行摄像，并且生成所述图像信息，以及距离信息测量单元，用于基于来自所述摄像单元的像素中所布置的第一光电转换部和第二光电转换部的信号，根据相位差测距方法来测量所述距离信息。10.根据权利要求5所述的图像处理设备，其中，所述距离信息测量单元基于来自立体照相机的两个图像信号，根据相位差测距方法来测量所述距离信息。11.根据权利要求1所述的图像处理设备，其中，所述边界检测单元检测相邻像素的所述颜色信息的差大于预定阈值的位置作为所述边界。
【专利技术属性】
技术研发人员：田中伸，大屋强，浦野雄太，
申请(专利权)人：佳能株式会社，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。