图像处理装置、驾驶辅助系统及图像处理方法制造方法及图纸

提供一种伴随着立体相机的摄像系统的畸变等的图像变形的能够修正的图像处理装置、驾驶辅助系统及图像处理方法。根据本实施方式，对由相机摄像的第1图像及第2图像进行图像处理的图像处理装置具备基准线配置电路、参数取得电路及图像修正处理电路。基准线配置电路在上述第1图像及上述第2图像的至少一方上决定第1基准线的第1位置和第2基准线的第2位置。参数取得电路基于从上述第1位置上的第1基准线上的第1基准点到上述第2位置上的上述第2基准线上的第2基准点的线宽，决定图像畸变降低参数。图像修正处理电路基于上述图像畸变降低参数，降低上述第1图像或上述第2图像的图像畸变。

Image Processing Device, Driving Assistance System and Image Processing Method

【技术实现步骤摘要】
图像处理装置、驾驶辅助系统及图像处理方法本申请是以日本专利申请2018-052868(申请日：2018年3月20日)为基础，基于该申请而享受优先权。本申请通过参照该申请而包含同申请的全部内容。
实施方式有关于图像处理装置、驾驶辅助系统及图像处理方法。
技术介绍
已知一种技术，求取由立体相机取得的2图像间的对应的点，基于相机彼此的位置关系和各图像上对应点的位置，测量对象物体的3维位置。该技术用于车载用的驾驶员辅助系统、便携设备、游戏机等各种领域。然而，由于对立体相机进行叠置的调整装置的温度特性、振动特性、立体相机自身的经年变化等，会产生伴随立体相机的光轴周围的横摆(yaw)旋转等的图像变形等。
技术实现思路
提供一种能够对伴随立体相机的摄像系统的畸变等的图像变形进行修正的图像处理装置、驾驶辅助系统及图像处理方法。根据本实施方式，对由相机摄像的第1图像及第2图像进行图像处理的图像处理装置具备：基准线配置电路；参数取得电路；及图像修正处理电路。基准线配置电路在上述第1图像及上述第2图像之中的至少一方上决定第1基准线的第1位置和第2基准线的第2位置。参数取得电路基于从上述第1位置上的第1基准线上的第1基准点到上述第2位置上的上述第2基准线上的第2基准点的线宽，决定图像畸变降低参数。图像修正处理电路基于上述图像畸变降低参数，降低上述第1图像或上述第2图像的图像畸变。根据上述构成的图像处理装置，能够进行对伴随相机的摄像系统中的横摆旋转的图像变形的修正。附图说明图1是表示一实施方式涉及的驾驶辅助系统的全体构成的块图。图2是表示图像处理电路的详细构成的块图。图3是表示由立体相机摄像的图像的图。图4是表示基准线上的两个基准点的图。图5是表示基准线上的3点以上的基准点的图。图6是两个基准点的图像修正处理的参数的概念图。图7是3个以上的基准点的图像修正处理的参数的概念图。图8是表示图像处理电路的图像变换处理的一例的流程图。具体实施方式以下，对于本专利技术的实施方式涉及的驾驶辅助系统，参照附图详细地进行说明。另外，以下所示的实施方式是本专利技术的实施方式的一例，本专利技术不是限定于这些实施方式而被解释的。再者，在本实施方式中，在参照的附图中，有的情况下会在具有同一部分或同样的功能的部分上附上同一符号或类似的符号，省略其重复的说明。再者，存在附图的尺寸比率为了方便说明而不同于实际的比率的情况，或构成的一部分从附图中被省略的情况。(一实施方式)图1是表示一实施方式涉及的驾驶辅助系统1的全体构成的块图。如该图1所示，驾驶辅助系统1是根据立体图像而生成三维信息而辅助车辆的驾驶的系统。相对具体地来说，该驾驶辅助系统1构成为具备立体相机10、图像处理装置20、驾驶辅助装置30、语音装置40及制动装置50。立体相机10构成为具备第1相机100和第2相机102。各相机100、102具备例如作为摄像元件的CMOS图像传感器。由此，第1相机100对第1图像进行摄像，第2相机102对第2图像进行摄像。将各相机100、102的摄像光学系的光轴设为Z轴，将摄像元件配置为二维状的CMOS图像传感器的摄像面配置为平行于X-Y平面。图像处理装置20是对由立体相机10摄像的第1图像和第2图像进行图像处理而得到三维信息的装置，构成为含有CPU(CentralProcessingUnit)。该图像处理装置20的详细构成将在后面叙述。驾驶辅助装置30对应图像处理装置20的输出信号而辅助车辆的驾驶。驾驶辅助装置30上连接有语音装置40、制动装置50等。语音装置40例如是扬声器，配置在从车辆内的驾驶席能听得到讲话的位置。驾驶辅助装置30基于图像处理装置20的输出信号，使语音装置40产生例如“到对象物体为止5米”等语音。由此，例如在驾驶员的注意力降低的情况下，通过听语音，也能够唤起驾驶员的注意。制动装置50例如是辅助制动器，基于图像处理装置20的输出信号而对车辆进行制动。例如对象物体接近至规定的距离，例如接近至3米的情况下，驾驶辅助装置30使制动装置50对车辆进行制动。此处，对图像处理装置20的详细构成进行说明。该图像处理装置20具有对载置立体相机10的调整装置的温度特性、振动特性、立体相机10自身的绕横摆角旋转等产生的图像变形等进行修正处理的功能。该图像处理装置20具有存储部200、图像处理电路202、三维处理电路204、显示控制电路206、显示监视器208及通信部210。存储部200例如构成为包含ROM(ReadOnlyMemory)及RAM(RandomAccessMemory)等，存储图像处理相关的程序、在图像处理电路202中使用的图像修正处理的参数、控制参数等。本实施方式涉及的图像处理装置20中，通过执行存储于存储部200的程序，实现本实施方式涉及的图像处理装置20的功能。图像处理电路202是进行由立体相机10摄像的第1图像及第2图像的修正处理的处理电路。例如该图像处理电路202能够进行立体相机的摄像系统的畸变，摄像系统的滚动和俯仰旋转，特别是伴随绕立体相机10的光轴的横摆旋转等图像变形的修正。另外，图像处理电路202的详细构成将在后面叙述。三维处理电路204是通过对由图像处理电路202修正处理的第1及第2图像的立体进行匹配处理而得到三维信息的处理电路。设第1图像上的像素的坐标(XL、YL)、对应的第2图像上的像素的坐标(XR、YR)，三维处理电路204例如通过(1)式来取得Z的值。此处，设各相机100、102的摄像光学系的焦点距离为f，相机100、102的间隔为h。第1图像及第2图像的对应点的X坐标的偏移(XL―XR)对应视差。再者，三维处理电路204是进行从例如三维点群(X、Y、Z)之中抽出对象物体、例如人或车的处理的处理电路。此外，三维处理电路204对对应例如变换为第1图像的像素(XL、YL)之后的三维点群(X、Y、Z)的Z的值的颜色进行分配颜色处理等。显示控制电路206是进行将由图像处理电路202得到的信息显示于显示监视器208的控制的处理电路。例如，显示控制电路206将与通过后面叙述的参数取得电路218而得到的参数相关的信息显示于显示监视器208。再者，显示控制电路206也可以将通过三维处理电路204而得到的颜色处理后的图像或对象物体的位置信息等显示于显示监视器208。显示监视器208例如是液晶显示器，如上所述地显示通过图像处理电路202而得到的信息。通信部210构成为例如包含天线，将通过图像处理电路202而得的信息送信至未图示的管理装置。管理装置例如是服务器，用于驾驶辅助系统1的品质管理。图2是表示图像处理电路202的详细构成的块图。如图2所示，图像处理电路202构成为具备基准线配置电路212、图像修正处理电路214、图像信息取得电路216、参数取得电路218及判定电路220。图3是表示由立体相机10摄像的图像的图，图3(a)是表示由第1相机100摄像的第1图像，图3(b)表示由第2相机102摄像的第2图像。如图3(a)所示，两个基准线L1、L2沿着例如道路上的白线的内侧的线而配置。如图3(a)、图3(b)所示，基准线配置电路212将真实空间中与平行线相当的两个基准线L1、L2配置于第1图像及第2图像之中的至少一方。例如，基准线配置电路212配置从第本文档来自技高网...

【技术保护点】
1.一种图像处理装置，对由相机摄像的第1图像及第2图像进行图像处理，具备：基准线配置电路，在所述第1图像及所述第2图像之中的至少一方上决定第1基准线的第1位置和第2基准线的第2位置；参数取得电路，基于从所述第1位置处的第1基准线上的第1基准点到所述第2位置处的所述第2基准线上的第2基准点为止的线宽，决定图像畸变降低参数；及图像修正处理电路，基于所述图像畸变降低参数，降低所述第1图像或所述第2图像的图像畸变。

【技术特征摘要】
2018.03.20 JP 2018-0528681.一种图像处理装置，对由相机摄像的第1图像及第2图像进行图像处理，具备：基准线配置电路，在所述第1图像及所述第2图像之中的至少一方上决定第1基准线的第1位置和第2基准线的第2位置；参数取得电路，基于从所述第1位置处的第1基准线上的第1基准点到所述第2位置处的所述第2基准线上的第2基准点为止的线宽，决定图像畸变降低参数；及图像修正处理电路，基于所述图像畸变降低参数，降低所述第1图像或所述第2图像的图像畸变。2.如权利要求1所述的图像处理装置，其中，所述参数取得电路基于从所述第1位置处的所述第1基准线上的多个第1基准点到所述第2位置处的所述第2基准线上的多个第2基准点的多个线宽，分别生成多个图像畸变降低参数。3.如权利要求2所述的图像处理装置，其中，所述图像修正处理电路将多个图像畸变降低参数的成本函数设为最小。4.如权利要求3所述的图像处理装置，其中，所述图像修正处理电路将所述成本函数的值设为最小，设为0值。5.如权利要求1所述的图像处理装置，其中，所述第1基准线和所述第2基准线在真实空间中相当于平行线。6.如权利要求1所述的图像处理装置，其中，所述图像修正处理电路通过单应性矩阵来进行图像修正处理。7.如权利要求1所述的图像处理装置，其中，所述参数取得电路基于所述第1基准线及所述第2基准线中的一方的基准线上的第1点的第1视差及第1宽度、和所述一方的基准线上的第2点的第2视差及第2宽度，规定所述成本函数，所述第1宽度是通过所述第1点与另一方的基准线交叉的第1直线的基准线间的宽度，所述第2宽度是与所述第1直线平行且通过所述第2点与另一方的基准线交叉的所述第2直线的基准线间的宽度。8.如权利要求7所述的图像处理装置，其中，所述参数取得电路规定了使所述第1视差和所述第1宽度的第1比率，与所述第2视差和所述第2宽度的第2比率相等的成本最小的所述成本函数。9.如权利要求1所述的图像处理装置，其中，所述参数取得电路基于所述一方的基准线上的2点以上的基准点的各自的视差和通过各自的基准点的平行线的基准线间的宽度，从所述2点以上的基准点之中的2点的组合的各自中分别求取表示视差与宽度的关系的线性形式的截距，规定基于各自的截距的值的所述成本函...

【专利技术属性】
技术研发人员：大木豊，
申请(专利权)人：株式会社东芝，东芝电子元件及存储装置株式会社，
类型：发明
国别省市：日本,JP