水滴检测装置以及使用水滴检测装置的三维物体检测装置制造方法及图纸

一种三维物体检测装置，具备：图像变换单元(31)，其将由摄像单元(10)获得的图像视点变换为鸟瞰视点图像；水滴检测单元(40)，其检测附着于摄影光学系统的水滴；第1三维物体检测单元(33)，其基于不同时刻的鸟瞰视点图像的差分图像来检测三维物体；第1三维物体判断单元(38)，其判断由上述第1三维物体检测单元检测出的三维物体是否为其它车辆；以及控制单元(39)，其根据由上述水滴检测单元检测出的水滴的附着状态来使水滴去除单元(41)进行动作。

【技术实现步骤摘要】
【国外来华专利技术】水滴检测装置以及使用水滴检测装置的三维物体检测装置
本专利技术涉及一种水滴检测装置以及使用水滴检测装置的三维物体检测装置。
技术介绍
已知有如下技术：在使用CCD摄像机的车载用监视装置中具备镜头和摄像机部的车载用监视装置，该镜头能够采用用于拍摄附着于车辆的雨滴的近距离用的第一焦点距离和用于拍摄车辆的周边的远距离用的第二焦点距离，该摄像机部能够将镜头的焦点距离在第一焦点距离和第二焦点距离之间切换，上述车载用监视装置在检测有无雨滴的情况下切换为第一焦点距离，在监视车辆的周边的情况下切换为第二焦点距离(参照专利文献1)。专利文献1：日本特开2005-225250号公报
技术实现思路
专利技术要解决的问题然而，如上述以往技术那样为了检测雨滴需要切换镜头的焦点距离，因此存在切换过程中无法进行物体的检测的问题。本专利技术要解决的问题在于，提供一种不会产生不检测期间的能够检测水滴的水滴检测装置以及使用水滴检测装置的三维物体检测装置。用于解决问题的方案本专利技术检测摄像单元的摄影光学系统上是否附着有水滴，在附着有水滴的情况下根据其状态来控制车辆，由此解决上述问题。专利技术的效果根据本专利技术，根据水滴的附着状况来控制车辆，例如在水滴的附着多的情况下去除该水滴、或者抑制检测出三维物体或其它车辆，由此能够防止因水滴导致的错误检测地检测出三维物体。附图说明图1是应用了本专利技术的三维物体检测装置的一个实施方式所涉及的车辆的概要结构图。图2是表示图1的车辆的行驶状态的俯视图(基于差分波形信息的三维物体检测)。图3是表示图1的计算机的第一实施方式的详细内容的框图。图4是用于说明图3的对位部的处理的概要的图，(a)是表示车辆的移动状态的俯视图，(b)是表示对位的概要的图像。图5是表示图3的第1三维物体检测部生成差分波形的情形的概要图。图6是表示通过图3的第1三维物体检测部分割出的小区域的图。图7是表示由图3的第1三维物体检测部获得的直方图的一例的图。图8是表示图3的第1三维物体检测部的加权的图。图9是表示图3的拖影检测部的处理以及基于该处理计算差分波形的处理的图。图10是表示由图3的第1三维物体检测部获得的直方图的另一例的图。图11是表示由图3的视点变换部、对位部、拖影检测部以及第1三维物体检测部执行的利用差分波形信息的三维物体检测方法的流程图(之一)。图12是表示由图3的视点变换部、对位部、拖影检测部以及第1三维物体检测部执行的利用差分波形信息的三维物体检测方法的流程图(之二)。图13是表示图1的车辆的行驶状态的图(基于边缘信息的三维物体检测)，(a)是表示检测区域等的位置关系的俯视图，(b)是表示实际空间中的检测区域等的位置关系的立体图。图14是用于说明图3的亮度差计算部的动作的图，(a)是表示鸟瞰视点图像中的关注线、参照线、关注点以及参照点的位置关系的图、(b)是表示实际空间中的关注线、参照线、关注点以及参照点的位置关系的图。图15是用于说明图3的亮度差计算部的详细动作的图，(a)是表示鸟瞰视点图像中的检测区域的图，(b)是表示关注线、参照线、关注点以及参照点在鸟瞰视点图像中的位置关系的图。图16是表示边缘线和边缘线上的亮度分布的图，(a)是表示在检测区域存在三维物体(车辆)时的亮度分布的图，(b)是表示在检测区域不存在三维物体时的亮度分布的图。图17是表示由图3的视点变换部、亮度差计算部、边缘线检测部以及第2三维物体检测部执行的利用边缘信息的三维物体检测方法的流程图(之一)。图18是表示由图3的视点变换部、亮度差计算部、边缘线检测部以及第2三维物体检测部执行的利用边缘信息的三维物体检测方法的流程图(之二)。图19是表示用于说明边缘检测动作的图像例的图。图20是表示图3的三维物体判断部和控制部的控制过程的流程图。图21是吹风停止时间与水滴个数的关系的控制图表的一例。图22是表示根据水滴个数设定的吹风启动和停止的时序图的一例。图23是表示图3的水滴去除装置的框图。图24A是表示图3的摄像机和水滴去除装置的立体图。图24B是图24A的24B箭头方向视图。图25是表示图24A所示的摄像机和水滴去除装置的局部剖切立体图。图26是表示图20的水滴检测处理中的关注点和参照点的设定例的图。图27是表示图20的水滴检测处理(步骤S41)的子例程的流程图。图28是用于说明图3的对位部的处理的另一例的图(之一)。图29是用于说明图3的对位部的处理的另一例的图(之二)。图30是用于说明图3的对位部的处理的另一例的图(之三)。图31是表示图1的计算机的第二实施方式的详细内容的框图。图32是表示图31的三维物体判断部的控制过程的流程图。图33是表示第一阈值α和第二阈值β与水滴个数的关系的控制图表的一例。图34是表示第一阈值α和第二阈值β与水滴个数的关系的控制图表的另一例。图35是表示第一阈值α和第二阈值β与水滴个数的关系的控制图表的另一例。图36是表示第一阈值α和第二阈值β与水滴个数的关系的控制图表的另一例。具体实施方式图1是应用了本专利技术的三维物体检测装置1的一个实施方式所涉及的车辆的概要结构图，本例的三维物体检测装置1的目的在于在本车辆V进行车道变更时检测有可能接触的其它车辆，并计算移动距离。因此，以下说明的一例表示将三维物体检测装置1搭载于车辆V，将后车作为检测对象的三维物体的例子。如该图所示，本例的三维物体检测装置1具备摄像机10、车速传感器20、计算机30以及水滴检测部40。摄像机10如图1所示那样在车辆V的后方的高度h的地方以光轴相对于水平向下形成角度θ的方式安装于车辆V。摄像机10从该位置拍摄车辆V的周围环境中的规定区域。车速传感器20用于检测车辆V的行驶速度，根据例如由检测车轮转速的车轮速传感器检测出的车轮速来计算车速度。计算机30检测车辆后方的三维物体，并且在本例中关于该三维物体计算移动距离和移动速度。水滴检测部40用于检测是否存在附着于摄像机10的镜头等摄影光学系统的雨滴等水滴，在后记述其详细内容。图2是表示图1的车辆V的行驶状态的俯视图。如该图所示，摄像机10以规定的视角a拍摄车辆后方侧。此时，摄像机10的视角a被设定为除了能够拍摄到本车辆V所行驶的车道以外还能够拍摄到其左右的车道的视角。下面，参照图3～图30来说明本专利技术所涉及的三维物体检测装置的第一实施方式，同样地参照图31～图36来说明第二实施方式。<第一实施方式>图3是表示图1的计算机30的详细内容的框图。此外，在图3中，为了明确连接关系，还图示了摄像机10、车速传感器20、水滴检测部40以及水滴去除装置41。如图3所示，计算机30具备视点变换部31、对位部32、第1三维物体检测部33、拖影检测部34、亮度差计算部35、边缘线检测部36、第2三维物体检测部37、三维物体判断部38以及控制部39。其中，视点变换部31、拖影检测部34、对位部32以及第1三维物体检测部33是与后述的利用差分波形信息的三维物体的检测模块A有关的结构部，视点变换部31、亮度差计算部35、边缘线检测部36以及第2三维物体检测部37是与后述的利用边缘信息的三维物体的检测模块B有关的结构部。下面，首先说明各个结构部。<利用差分波形信息检测三维物体>本实施方式的三维物体检测装置1根据由拍摄车辆后方的本文档来自技高网...

【技术保护点】
一种水滴检测装置，具备：摄像单元，其包括摄影光学系统，对规定区域进行拍摄；以及水滴检测单元，其分别设定由上述摄像单元得到的图像中的任意的关注点、在以该关注点为中心的规定半径的虚拟圆的内部的多个第一参照点以及在上述虚拟圆的外部的与上述第一参照点对应的多个第二参照点，检测上述第一参照点与上述第二参照点之间的边缘信息，并判断这些边缘信息的圆形度的强度，由此检测附着于上述摄影光学系统的水滴。

【技术特征摘要】
【国外来华专利技术】2012.07.27 JP 2012-166526;2012.07.27 JP 2012-166521.一种水滴检测装置，具备：摄像单元，其包括摄影光学系统，对规定区域进行拍摄；以及水滴检测单元，其分别设定由上述摄像单元得到的图像中的任意的关注点、在以该关注点为中心的规定半径的虚拟圆的内部的多个第一参照点以及在上述虚拟圆的外部的与上述第一参照点对应的多个第二参照点，各个上述第二参照点设定在连结上述关注点和对应的上述第一参照点的直线上，当在上述第一参照点和上述第二参照点之间存在等于或大于规定值的亮度差时检测上述第一参照点与上述第二参照点之间的边缘信息，并判断这些边缘信息的圆形度的强度，由此当上述圆形度的强度等于或大于规定比例时检测附着于上述摄影光学系统的水滴，其中，上述圆形度的强度为检测出边缘信息的对应的第一参照点和第二参照点的对数与对应的第一参照点和第二参照点的总对数之间的比例。2.根据权利要求1所述的水滴检测装置，其特征在于，上述水滴检测单元在上述虚拟圆的内部的下侧左部和下侧右部中的至少任一方、上侧中央部、上侧左部以及上侧右部中设定上述第一参照点。3.根据权利要求1或2所述的水滴检测装置，其特征在于，上述水滴检测单元在上述多个第一参照点与上述多个第二参照点之间检测出边缘信息的比例越大，则将上述圆形度的强度判断为越强。4.一种三维物体检测装置，具备：摄像单元，其包括摄影光学系统，对规定区域进行拍摄；图像变换单元，其将由上述摄像单元得到的图像视点变换为鸟瞰视点图像；水滴检测单元，其分别设定由上述摄像单元得到的图像中的任意的关注点、在以该关注点为中心的规定半径的虚拟圆的内部的多个第一参照点以及在上述虚拟圆的外部的与上述第一参照点对应的多个第二参照点，各个上述第二参照点设定在连结上述关注点和对应的上述第一参照点的直线上，当在上述第一参照点和上述第二参照点之间存在等于或大于规定值的亮度差时检测上述第一参照点与上述第二参照点之间的边缘信息，并判断这些边缘信息的圆形度的强度，由此当上述圆形度的强度等于或大于规定比例时检测附着于上述摄影光学系统的水滴，其中，上述圆形度的强度为检测出边缘信息的对应的第一参照点和第二参照点的对数与对应的第一参照点和第二参照点的总对数之间的比例；三维物体检测单元，其在由上述图像变换单元得到的上述鸟瞰视点图像上检测在视点变换为上述鸟瞰视点图像时三维物体倾倒的方向上亮度差为规定的第一阈值以上的像素的分布信息，在上述三维物体倾倒的方向上的上述像素的分布的程度为规定的第二阈值以上的情况下，基于上述像素的分布信息来检测三维物体；三维物体判断单元，其判断由上述三维物体检测单元检测出的检测区域内的三维物体是否为其它车辆；以及控制单元，其根据由上述水滴检测单元检测出的检测区域内的水滴的附着状态来控制车辆。5.根据权利要求4所述的三维物体检测装置，其特征在于，还具备水滴去除单元，该水滴去除单元去除附着于上述摄影光学系统的水滴，上述控制单元根据由上述水滴检测单元检测出的检测区域内的水滴的附着状态来使上述水滴去除单元进行动作。6.根据权利要求5所述的三维物体检测装置，其特征在于，由上述水滴检测单元检测出的水滴的个数越多，则上述控制单元将上述水滴去除单元的动作时间设定得越长。7.根据权利要求5或6所述的三维物体检测装置，其特征在于，在由上述摄像单元得到的图像中的上述规定区域内检测出上述水滴的情况下，上述控制单元使上述水滴去除单元进行动作。8.根据权利要求5或6所述的三维物体检测装置，其特征在于，在环境的明亮度为规定值以下的情况下，上述控制单元使上述水滴去除单元进行动作。9.根据权利要求4所述的三维物体检测装置，其特征在于，上述控制单元根据由上述水滴检测单元检测出的水滴的附着状态，来抑制上述三维物体检测单元对三维物体的检测、或者抑制上述三维物体判断单元判断为上述三维物体是其它车辆。10.根据权利要求4～6中的任一项所述的三维物体检测装置，其特征在于，上述水滴检测单元在上述多个第一参照点与上述多个第二参照点之间检测出边缘信息的比例越大，则将上述圆形度的强度判断为越强，由上述水滴检测单元检测出的圆形度越强，则上述控制单元将上述三维物体检测单元的检测时间设定得相对越长。11.根据权利要求4所述的三维物体检测装置，其特征在于，上述三维物体检测单元包括第1三维物体检测部，该第1三维物体检测部将由上述图像变换单元得到的不同时刻的鸟瞰视点图像的位置以鸟瞰视点进行对位，在该对位后的鸟瞰视点图像的差分图像上对在上述规定区域内预先设定的检测区域内的、示出规定的差分的像素数进行计数并进行频数分布化，由此生成差分波形信息，基于上述差分波形信息来检测三维物体，在上述差分波形信息为规定的第一阈值α以上的情况下，上述三维物体检测单元检测出三维物体，在由上述水滴检测单元检测出水滴的情况下，上述控制单元生成将上述第一阈值α变高使得不容易检测上述三维物体的控制命令，并将该控制命令输出到上述第1三维物体检测部。12.根据权利要求11所述的三维物体检测装置，其特征在于，在上述差分波形信息为规定的第一阈值α以上的情况下，上述第1三维物体检测部检测出三维物体，在由上述水滴检测单元检测出水滴的情况下，上述控制单元生成使在上述鸟瞰视点图像的差分图像上对示出规定的差分的像素数进行计数并进行频数分布化而得到的值降低的控制命令，并将该控制命令输出到上述第1三维物体检测部。13.根据权利要求11或12所述的三维物体检测装置，其特征在于，上述第1三维物体检测部抽出示出阈值p以...

【专利技术属性】
技术研发人员：早川泰久，深田修，竹村雅幸，宇田川玲，村松彰二，入江耕太，
申请(专利权)人：日产自动车株式会社，歌乐株式会社，
类型：发明
国别省市：日本;JP