图像处理装置、外界识别装置制造方法及图纸

图像处理装置具备：路面检测部，从基于由相机拍摄而得到的摄影图像的输入图像中，检测路面区域；时间序列验证部，进行时间序列验证，该时间序列验证是指将上述输入图像中的上述路面区域的检测结果以时间序列进行验证；检测区域选择部，基于由上述路面检测部得到的上述路面区域的检测结果和由上述时间序列验证部得到的上述时间序列验证的结果，在上述输入图像内设定用于检测对象物的检测区域；以及检测部，在上述检测区域中检测上述对象物。

Image Processing Device and Outside Recognition Device

The image processing device includes: the pavement detection unit detects the pavement area from the input image based on the photographic image captured by the camera; the time series verification unit carries out time series verification, which means that the detection results of the above pavement area in the input image are verified by time series; and the detection area selection unit is based on the above pavement. The detection results of the pavement area obtained by the detection unit and the time series verification results obtained by the time series verification unit above are set in the input image to detect the object detection area, and the detection unit to detect the object in the above detection area.

【技术实现步骤摘要】
【国外来华专利技术】图像处理装置、外界识别装置
本专利技术涉及图像处理装置及外界识别装置。
技术介绍
近年来，为了将车辆彼此的碰撞及人与车辆的碰撞等事故避免于未然，用车载相机监视本车辆周边的状况，当感知到危险时向驾驶员输出警报并自动地控制本车辆的行动的技术正在发展。为了这样的本车辆的预防安全及自动驾驶控制，需要以存在于本车辆的周边的车辆为观测对象，总是持续监视其接近。在这样的技术中，在由车载相机拍摄的图像中，除了作为观测对象的车辆以外，还在背景中映现周边构造物等各种物体。因此，难以正确地确定并检测观测对象，成为发生误检测的原因。作为解决上述那样的由图像中的背景引起的误检测的方法，提出了在图像中识别车辆能够行驶的路面区域、对该路面区域执行车辆检测的方法。关于此，例如在专利文献1中公开了如下方法：根据由立体相机拍摄的视差图像来制作灰阶图，使用该灰阶图确定图像中的道路面，从而判断是否是车辆能够行驶的区域。现有技术文献专利文献专利文献1：日本特开2014－67407号公报
技术实现思路
专利技术要解决的课题在专利文献1所记载的技术中，灰阶图通常能够表现的信息的动态范围窄，并且容易受周围的明亮度的影响。因而，在专利文献1的方法中，有难以正确地确定图像中的道路面的情况，在这样的情况下，难以从摄影图像正确地检测存在于本车辆的周边的其他车辆等对象物。用于解决课题的手段本专利技术的图像处理装置具备：路面检测部，从基于由相机拍摄而得到的摄影图像的输入图像中，检测路面区域；时间序列验证部，进行时间序列验证，该时间序列验证是指将上述输入图像中的上述路面区域的检测结果以时间序列进行验证；检测区域选择部，基于由上述路面检测部得到的上述路面区域的检测结果和由上述时间序列验证部得到的上述时间序列验证的结果，在上述输入图像内设定用于检测对象物的检测区域；以及检测部，在上述检测区域中检测上述对象物。本专利技术的外界识别装置具备图像处理装置；基于由上述检测部得到的上述其他车辆的检测结果，输出用于对上述本车辆的驾驶者进行警告的警报信号及用于控制上述本车辆的动作的车辆控制信号中的至少某一个。专利技术效果根据本专利技术，能够根据摄影图像正确地检测存在于本车辆的周边的其他车辆等对象物。附图说明图1是表示有关本专利技术的第1实施方式的图像处理装置的功能结构的框图。图2是表示摄影图像的畸变修正处理的图。图3是表示在生成检测器时使用的学习用图像的例子的图。图4是表示路面检测结果的一例的图。图5是表示在设定优先方向时使用的设定表的一例的图。图6是表示车辆检测区域的一例的图。图7是表示路面区域的一部分被其他车辆遮挡的情况下的时间序列验证的次序的一例的图。图8是表示本车辆分别在直线道路、曲线道路、交叉口行驶时的摄影图像的例子的图。图9是表示道路形状从直线变化为曲线时的对观测块的识别结果的变化的一例的图表。图10是表示道路形状从直线变化为交叉口时的对观测块的识别结果的变化的一例的图表。图11是表示有关本专利技术的第2实施方式的外界识别装置的一例的图。具体实施方式－第1实施方式－以下，参照附图对有关本专利技术的第1实施方式的图像处理装置进行说明。图1是表示有关本专利技术的第1实施方式的图像处理装置10的功能结构的框图。图1所示的图像处理装置10被搭载在车辆中使用。另外，在以下的说明中，将搭载有图像处理装置10的车辆称作“本车辆”，将存在于本车辆的周围的其他的车辆称作“其他车辆”。图像处理装置10与安装在与摄影区域对应的本车辆的规定位置、例如本车辆的车身上的相机20连接。图像处理装置10具备图像修正部101、路面检测部102、检测区域选择部103、检测部104、时间序列验证部105、路面区域插补部106及优先方向选择部107。另外，图1所示的图像处理装置10的各功能可以通过将微型计算机、存储器等硬件及在微型计算机上执行的各种程序等适当组合来实现。相机20将存在于本车辆周边的其他车辆以运动图像或按照规定时间以静止图像拍摄，将所取得的运动图像的各帧或各静止图像作为每规定时间的摄影图像向图像修正部101输出。另外，为了使得在图像处理装置10中容易进行其他车辆的识别，可以在本车辆的任意的部位设置相机20。例如，在本车辆的前保险杠、后保险杠、左右的侧反射镜等部分处设置相机20。或者，也可以在本车辆的车内设置相机20。进而，既可以以在本车辆的周围仅存在于特定区域中的其他车辆的识别为目的单独地设置相机20，或者也可以设置多个相机20以便针对本车辆的周围的全部区域能够识别其他车辆。本实施方式中，相机20使用鱼眼相机。鱼眼相机是指使用将透镜聚光特性比在通常的相机中使用的透镜向广角侧较大地偏移的鱼眼透镜的相机，有摄影范围大的优点。像这样能够用1个相机一下子拍摄大范围，在车辆检测中在图像处理方面是优选的。另一方面，由于由相机20得到的摄影图像为所谓的鱼眼图像，所以有如下趋势：越是与距本车辆远的位置对应的接近于摄影图像的上下左右端的区域，则畸变越大、分辨率越下降。因此，有从相机20输入的畸变的摄影图像在原状下不适合于车辆检测的问题。所以，为了消除上述问题，由相机20得到的摄影图像在图像处理装置10中被输入至图像修正部101。图像修正部101通过对从相机20输入的摄影图像(鱼眼图像)进行畸变修正处理，将摄影图像变换为适合于车辆检测的没有畸变的图像。在由图像修正部101进行的畸变修正处理中，例如可以采用使用已知的鱼眼透镜的畸变特性将摄影图像变换为实际的空间映像的非线性局部几何修正法、或使用简单地表现鱼眼透镜的畸变特性的畸变系数对摄影图像进行修正的线性局部几何修正法等。另外，在畸变修正处理中选择其以外的算法也没有问题。图2是表示由图像修正部101进行的摄影图像的畸变修正处理的图。图2(a)是由设置在本车辆的右侧反射镜上的相机20拍摄而得到的鱼眼图像的一例。在该鱼眼图像中，左侧部分相当于前方即本车辆的前方向，右侧部分相当于后方即本车辆的后方向。在图2(a)中，在图像中央部映现路面204，在图像上部映现天空等背景205，在图像下部映现本车辆的车身203，还映现了从本车辆后方接近的其他车辆202。图像修正部101对于图2(a)那样的鱼眼图像，例如将包括其他车辆202的区域设定为修正对象区域201，对该修正对象区域201内的图像部分进行畸变修正处理。图2(b)是对图2(a)的修正对象区域201进行畸变修正处理而得到的修正图像的一例。在该修正图像中被修正为，其他车辆202、路面204、背景205分别看起来与实际的空间映像同等。另外，在图2的例子中，说明了在其他车辆202的周围设定修正对象区域201而进行畸变修正处理的情况，但图像修正部101也可以将摄影图像内的任意的区域作为修正对象区域而进行畸变修正处理。此外，也可以在摄影图像内设定多个修正对象区域，对各个修正对象区域进行畸变修正处理。进而，在摄影图像内使用畸变小的部分进行车辆检测的情况或相机20为不是鱼眼相机的通常的相机的情况下等，也可以在图像修正部101中不进行畸变修正处理。路面检测部102在被输入由相机20拍摄并由图像修正部101进行畸变修正处理后的图像，则从该输入图像中检测相当于路面的路面区域。路面检测部102例如将输入图像划分为多个观测块，利用采用机械学习的方法的检测器，实施识别各观测块对应于本文档来自技高网...

【技术保护点】
1.一种图像处理装置，具备：路面检测部，从基于由相机拍摄而得到的摄影图像的输入图像中，检测路面区域；时间序列验证部，进行时间序列验证，该时间序列验证是指将上述输入图像中的上述路面区域的检测结果以时间序列进行验证；检测区域选择部，基于由上述路面检测部得到的上述路面区域的检测结果和由上述时间序列验证部得到的上述时间序列验证的结果，在上述输入图像内设定用于检测对象物的检测区域；以及检测部，在上述检测区域中检测上述对象物。

【技术特征摘要】
【国外来华专利技术】2016.08.01 JP 2016-1513511.一种图像处理装置，具备：路面检测部，从基于由相机拍摄而得到的摄影图像的输入图像中，检测路面区域；时间序列验证部，进行时间序列验证，该时间序列验证是指将上述输入图像中的上述路面区域的检测结果以时间序列进行验证；检测区域选择部，基于由上述路面检测部得到的上述路面区域的检测结果和由上述时间序列验证部得到的上述时间序列验证的结果，在上述输入图像内设定用于检测对象物的检测区域；以及检测部，在上述检测区域中检测上述对象物。2.如权利要求1所述的图像处理装置，上述路面检测部将上述输入图像划分为多个观测块，判定上述多个观测块分别是与上述路面区域对应的路面块及不与上述路面区域对应的非路面块中的哪一种；上述时间序列验证部基于上述输入图像中的上述路面块及上述非路面块在时间序列上的配置的变化，进行上述时间序列验证。3.如权利要求2所述的图像处理装置，上述时间序列验证部在上述时间序列验证中，在上述输入图像内相互相邻的多个上述非路面块的位置以时间序列移动、并且该多个非路面块的移动速度与背景的移动速度的差分为规定值以上的情况下，判断为上述路面区域被上述对象物遮挡。4.如权利要求2所述的图像处理装置，上述时间序列验证部在上述时间序列验证中，在规定期间内，上述路面检测部对上述输入图像内的在第1位置相互相邻的多个上述观测块的判定结果依次从上述路面块变化为上述非路面块或依次从上述非路面块变化为上述路面块、并且上述路面检测部对在上述输入图像内在比上述第1位置靠下侧的第2位置相互...

【专利技术属性】
技术研发人员：秋山靖浩，金田泰，浜田宏一，
申请(专利权)人：歌乐株式会社，
类型：发明
国别省市：日本,JP