图像处理装置、图像处理方法和程序制造方法及图纸

本公开涉及利用其有可能确定是否需要校准图像的图像处理设备、图像处理方法和程序。确定单元通过采用由相机捕获的当前图像和由该相机捕获的过去图像来确定是否需要校准由该相机捕获的图像。例如，本公开适用于机动车辆，并且适用于车载相机系统，该车载相机系统包括：安装到车辆的前车顶以使得相应的图像捕获区域彼此重叠的两个相机；以及图像处理设备。

Image processing device, image processing method and program

The present disclosure relates to an image processing device, an image processing method and a program using it to determine whether it is necessary to calibrate the image. The determining unit determines whether the image captured by the camera is determined by using the current image captured by the camera and the past image captured by the camera. For example, the present disclosure is applicable to a motor vehicle and is suitable for a vehicle mounted camera system, which includes two cameras mounted to the front of the vehicle to make the corresponding image capture regions overlap with each other; and the image processing equipment.

【技术实现步骤摘要】
【国外来华专利技术】图像处理装置、图像处理方法和程序
本公开涉及图像处理装置、图像处理方法和程序，并且更具体地涉及允许关于是否有必要进行相机校准的判定的图像处理装置、图像处理方法和程序。
技术介绍
在通过联合由多个相机捕获的图像执行的图像处理中，重要的是以高准确度控制相机的三维(3D)位置与朝向(姿势)之间的关系。而且，相机的3D位置与朝向之间的关系依赖于震动、温度、时间流逝等而变化。因此，这些关系的控制参数需要定期更新。由相机捕获的图像的校正被认为是控制相机的3D位置与朝向之间的关系使得存在给定关系的做法。作为确定用于图像校正的参数的做法(即，例如相机校准方法)，找到校正参数，使得作为利用相应相机捕获特殊图案的结果而产生期望的图像。这种方法需要拍摄特殊图案，从而使得难以定期更新参数。为此，提出了一种确定参数的方法，使得通过使用在正常使用情况下由多个相机捕获的图像来增强每个图像中的已知位图的相似性而不使用特殊图案(例如参考PTL1)。这种方法允许在正常使用情况下确定参数，由此允许参数的定期更新。而且，构想了通过拍摄任意场景来确定参数的方法。[引文列表][专利文献][PTL1]JP2012-75060A
技术实现思路
[技术问题]顺便提及，相机校准需要相对较多的处理。因此，期望通过判定是否有必要进行相机校准并且仅在需要时校准相机来减少处理量。鉴于上述问题设计了本公开，并且本公开的目标是允许判定相机校准是否有必要。[问题的解决方案]本公开的一方面的图像处理装置包括判定部分，该判定部分使用由第一成像部分在第一时间捕获的第一图像和由第一成像部分在晚于第一时间的第二时间捕获的第二图像来判定是否有必要校准第一成像部分。本公开的一方面的图像处理方法和程序与本公开的一方面的图像处理装置相关联。在本公开的一方面中，是否有必要校准第一成像部分是使用由第一成像部分在第一时间捕获的第一图像和由第一成像部分在晚于第一时间的第二时间捕获的第二图像来判定的。[专利技术的有益效果]根据本公开的一方面，有可能执行图像处理。而且，根据本公开的一方面，有可能判定是否有必要进行相机校准。应当注意的是，本文描述的效果不一定是受限的，并且可以是本公开中描述的效果中的任何一个。附图说明图1是图示对其应用本公开的车载相机系统的第一实施例的概述的图。图2是图示安装到图1中所绘出的车辆的图像处理装置的配置例的框图。图3是图示图2中所绘出的行进量估计部分的配置例的框图。图4是图示图2中所绘出的位置检测部分的配置例的框图。图5是描述图2中所绘出的图像处理装置的图像处理的流程图。图6是描述图5中所绘出的校准判定处理的细节的流程图。图7是描述图5中所绘出的相机关系识别处理的细节的流程图。图8是图示对其应用本公开的车载相机系统的第二实施例的概述的图。图9是图示图8中所绘出的车载相机系统的位置检测部分的配置例的框图。图10是图示对其应用本公开的车载相机系统的第三实施例的概述的图。图11是图示对其应用本公开的车载相机系统的第四实施例的概述的图。图12是图示安装到图11中所绘出的车辆的图像处理装置的配置例的框图。图13是描述图12中所绘出的图像处理装置的校准判定处理的流程图。图14是图示对其应用本公开的车载相机系统的第五实施例的概述的图。图15是图示计算机的硬件配置例的框图。图16是图示车辆控制系统的示意性配置的示例的框图。图17是图示车外信息检测部分和成像部分的安装位置的示例的解释图。具体实施方式下面将给出用于执行本公开的模式(在下文中被称为实施例)的描述。应当注意的是，将按照以下次序给出描述：1.第一实施例：车载相机系统(图1至图7)2.第二实施例：车载相机系统(图8和9)3.第三实施例：车载相机系统(图10)4.第四实施例：车载相机系统(图11至图13)5.第五实施例：车载相机系统(图14)6.第六实施例：计算机(图15)7.第七实施例：车辆控制系统(图16和17)<第一实施例>(车载相机系统的第一实施例的概述)图1是图示对其应用本公开的车载相机系统的第一实施例的概要的图。图1中所绘出的车载相机系统10包括车辆11、相机12和13等。应当注意的是，在本说明书中，将正常行进时面向车辆11的行进方向的前、后、右和左称为车辆11的前、后、右和左。相机12(第一成像部分)和相机13(第二成像部分)安装到车辆11的车顶前部，使得成像区域重叠。在图1中所绘出的示例中，道路标志21，在车辆11前方的已知物体，被包括在相机12和13的成像区域中。虽然道路标志21在第一实施例中是已知物体，但是已知物体可以是道路上除道路标志以外的物体或者车辆11的物体(诸如车号牌和徽章)，只要它是已知尺寸和形状的物体即可。安装到车辆11的图中未绘出的图像处理装置估计道路标志21相对于相机12和13中的每一个的3D位置和朝向。应当注意的是，相对于相机12(相机13)的3D位置是例如当相机12(相机13)的成像平面的给定位置(例如，中心)被假设为原点时并且当其成像平面的水平和垂直方向以及垂直于成像平面的方向被假设为分别是x、y和z方向时在x、y和z方向上的位置。而且，相对于相机12(相机13)的朝向是关于这些x、y和z方向的旋转角度。图像处理装置基于道路标志21相对于相机12和13中的每一个的3D位置和朝向来识别相机12和13的3D位置与朝向之间的关系，并且基于这些关系执行相机12和13的校准。相机12和13的3D位置之间的关系是指例如当相机12和13之一的成像平面的给定位置(例如，中心)被假设为原点时并且当其成像平面的水平和垂直方向以及垂直于成像平面的方向被假设为分别是x、y和z方向时相机12和13中的另一个的成像平面的给定位置在x、y和z方向上的位置。而且，相机12和13的朝向之间的关系是指例如相机12和13中的另一个的成像平面相对于这些x、y和z方向的旋转角度。(图像处理装置的配置例)图2是图示安装到图1中所绘出的车辆11的图像处理装置的配置例的框图。图2中所绘出的图像处理装置40包括行进量估计部分41、判定部分42、行进量估计部分43、判定部分44、位置检测部分45以及校正部分46。由相机12和13捕获的图像被输入到图像处理装置40。由相机12捕获的图像被供应给行进量估计部分41、行进量估计部分43、位置检测部分45和校正部分46，并且由相机13捕获的图像被供应给行进量估计部分41、行进量估计部分43、位置检测部分45和校正部分46。而且，成像参数从相机12和13被输入到图像处理装置40，并被供应给位置检测部分45。应当注意的是，成像参数是例如当图像上的位置被转换成真实世界的3D空间中的位置时所使用的内部参数(诸如基于焦距、像素尺寸等的水平和垂直放大率)。例如，在PTL1中描述了内部参数的细节。图像处理装置40的行进量估计部分41使用从相机12供应的不同时间(帧)的图像来估计相机12在那些时间之间的3D位置和朝向的行进量，并将行进量供应给判定部分42。判定部分42基于从行进量估计部分41供应的行进量和由安装到车辆11的速度计(未绘出)测得的车辆11的速度来判定是否有必要校准相机12。判定部分42将判定结果供应给位置检测部分45和校正部分46。行进量估计部分43使用在不同时间(帧)本文档来自技高网...

【技术保护点】
一种图像处理装置，包括：判定部分，被配置为使用第一图像和第二图像来判定是否有必要校准第一成像部分，其中，第一图像由第一成像部分在第一时间捕获，第二图像由第一成像部分在晚于第一时间的第二时间捕获。

【技术特征摘要】
【国外来华专利技术】2015.09.30 JP 2015-1941361.一种图像处理装置，包括：判定部分，被配置为使用第一图像和第二图像来判定是否有必要校准第一成像部分，其中，第一图像由第一成像部分在第一时间捕获，第二图像由第一成像部分在晚于第一时间的第二时间捕获。2.如权利要求1所述的图像处理装置，还包括：行进量估计部分，被配置为使用第一图像和第二图像来估计第一成像部分的三维位置的行进量，其中判定部分基于由行进量估计部分估计出的行进量来判定是否有必要校准。3.如权利要求2所述的图像处理装置，其中行进量估计部分估计第一成像部分的三维位置和朝向的行进量。4.如权利要求3所述的图像处理装置，其中行进量估计部分基于第一图像的特征点的三维位置和该特征点在第二图像上的位置来估计该特征点的三维位置和朝向的行进量。5.如权利要求4所述的图像处理装置，还包括：视差检测部分，被配置为使用由第二成像部分在第一时间捕获的第三图像来检测第一图像的所述特征点的立体视差；以及位置计算部分，被配置为基于由视差检测部分检测到的立体视差来计算第一图像的所述特征点的三维位置。6.如权利要求4所述的图像处理装置，还包括：视差检测部分，被配置为使用第一图像和第三图像来检测第一图像的所述特征点的移动视差，其中，第三图像由第一成像部分在不同于第一时间的第三时间捕获；以及位置计算部分，被配置为基于由视差检测部分检测到的移动视差来计算第一图像的所述特征点的三维位置。7.如权利要求2...

【专利技术属性】
技术研发人员：江岛公志，贝野彰彦，加藤嵩明，鹤见辰吾，
申请(专利权)人：索尼公司，
类型：发明
国别省市：日本,JP