摄影系统及图像处理装置制造方法及图纸

摄影系统(100)包括照相机(110)及图像处理装置(120)。图像处理装置(120)对照相机(110)的输出图像(IMG1)所包含的物体像进行追踪，并基于物体像的伴随移动的形状变化来取得用于对输出图像的失真进行校正的信息。然后，用取得的信息对输出图像进行校正。用取得的信息对输出图像进行校正。用取得的信息对输出图像进行校正。

【技术实现步骤摘要】
【国外来华专利技术】摄影系统及图像处理装置


[0001]本专利技术涉及摄影系统。

技术介绍

[0002]近年来，照相机向汽车的搭载不断被发展。照相机的用途涉及自动驾驶、前照灯的配光的自动控制、数字镜、以及用于覆盖死角的前取景监视器或后取景监视器等多个方面。
[0003]这样的照相机优选能够尽可能地拍摄出无失真的图像。但是，车载照相机多使用广角的，越是外周部，失真的影响就越会显著地表现出来。此外，即使使得照相机自身的失真较小，当将照相机内置于前照灯或后灯等时，也会被外透镜(out lens)等追加的光学系统导入失真。
[0004][现有技术文献][0005][专利文献][0006]专利文献1:日本特开2013
‑
164913号公报
[0007]专利文献2:日本特开2018
‑
86913号公报

技术实现思路

[0008][专利技术要解决的课题][0009]1.考虑一种方法，其在将照相机内置于外透镜的状态下，拍摄栅格等校准用图像，并基于栅格的失真来确定校正函数。在该方法中，当外透镜被进行设计变更，或照相机与外透镜的位置错开时，校正函数会变得无用。
[0010]在将照相机用于自动驾驶或配光控制的情况下，将照相机的图像输入到安装有通过机器学习生成的预测模型的识别器(分类器)中，并对照相机的图像所包含的物体像的位置及种类进行判定。在该情况下，在照相机的失真较大时，需要将同样方式失真的图像作为学习数据(训练数据)来利用。因此，当外透镜被进行设计变更，或照相机与外透镜的位置错开时，需要重新学习。
[0011]本专利技术的一个方案在这样的状况下被完成，其例示性的目的之一在于提供一种可自动地校正失真的摄影系统。
[0012]2.当雨滴或雪粒、泥等异物附着于照相机的透镜时，异物所附着的区域(异物区域)的图像会缺损，给使用了照相机的图像的处理带来障碍。
[0013]本专利技术的一个方案在这样的状况下被完成，其例示性的目的之一在于提供一种抑制了因异物导致的画质劣化的摄影系统。
[0014]3.当雨滴等水滴附着于照相机的透镜时，水滴会成为透镜，照相机的图像会发生失真，画质会劣化。
[0015]本专利技术的一个方案在这样的状况下被完成，其例示性的目的之一在于提供一种抑制了因水滴导致的画质劣化的摄影系统。
[0016]4.为了自动驾驶或前照灯的配光的自动控制，会利用对存在于车辆周围的物体的
位置及种类进行感测的物体识别系统。物体识别系统包含传感器、以及对传感器的输出进行分析的运算处理装置。关于传感器，考虑用途、所需精度及成本，从照相机、LiDAR(Light Detection and Ranging，Laser Imaging Detection and Ranging：光探测和测距、激光成像探测和测距)、毫米波雷达、以及超声波声呐等中选择。
[0017]本专利技术人对将作为传感器的照相机内置于前照灯的情况进行了研究。在该情况下，灯光源的出射光会反射到外透镜，从而存在入射到照相机的图像传感器，并映入到照相机图像中的可能。在照相机图像内，当灯光源的映入与物体重叠时，物体的识别率会显著降低。
[0018]作为用于除去映入的技术，提出了利用机器学习的方法等，但处理负担较重，在要求实时性的车载照相机中难以采用。
[0019]本专利技术的一个方案在这样的状况下被完成，其例示性的目的之一在于提供一种降低了灯光源的映入影响的摄影系统。
[0020][用于解决技术课题的技术方案][0021]1.本专利技术的一个方案涉及一种车辆用的摄影系统。摄影系统包括：照相机；以及图像处理装置，其对照相机的输出图像进行处理。图像处理装置对输出图像所包含的物体像进行追踪，基于物体像的伴随移动的形状变化来取得用于对输出图像的失真进行校正的信息，并用该信息来校正输出图像。
[0022]本专利技术的另一方案也涉及一种车辆用的摄影系统。该摄影系统包括：照相机；以及图像处理装置，其对照相机的输出图像进行处理。图像处理装置从输出图像中检测出真实形状已知的基准物体，基于真实形状和输出图像中的基准物体的像的形状来取得用于对输出图像的失真进行校正的信息，并用该信息来校正输出图像。
[0023]本专利技术的又一方案涉及一种被与照相机一同使用，并构成车辆用的摄影系统的图像处理装置。图像处理装置对照相机的输出图像所包含的物体像进行追踪，基于物体像的伴随移动的形状变化来取得用于对输出图像的失真进行校正的信息，并用该信息来校正输出图像。
[0024]本专利技术的又一方案也为一种图像处理装置。该图像处理装置从照相机的输出图像中检测出真实形状已知的基准物体，基于真实形状和输出图像中的基准物体的像的形状来取得用于对输出图像的失真进行校正的信息，并用该信息来校正输出图像。
[0025]2.本专利技术的一个方案涉及一种车辆用的摄影系统。摄影系统包括：照相机，其以预定的帧率生成照相机图像；以及图像处理装置，其对照相机图像进行处理。在照相机图像的当前帧中包含异物时，图像处理装置从过去的帧中搜索出被异物遮挡的背景图像，并将背景图像粘贴于当前帧的存在异物的异物区域。
[0026]本专利技术的另一方案涉及一种被与照相机一同使用，并构成车辆用的摄影系统的图像处理装置。图像处理装置在照相机图像的当前帧中包含异物时，从过去的帧中搜索出被异物遮挡的背景图像，并将背景图像粘贴于当前帧的存在异物的异物区域。
[0027]3.本专利技术的一个方案涉及一种车辆用的摄影系统。摄影系统包括：照相机，其生成照相机图像；以及图像处理装置，其对照相机图像进行处理。在照相机图像中拍摄到水滴时，图像处理装置对水滴的透镜特性进行运算，并基于该透镜特性来对水滴的区域内的像进行校正。
[0028]本专利技术的另一方案为一种图像处理装置。该装置为一种被与照相机一同使用，并构成车辆用的摄影系统的图像处理装置，在照相机所生成的照相机图像中拍摄到水滴时，对水滴的透镜特性进行运算，并基于该透镜特性来对水滴的区域内的像进行校正。
[0029]4.本专利技术的一个方案涉及一种车辆用的摄影系统。摄影系统包括：照相机，其被与灯光源一同内置于车辆用灯具，并以预定的帧率来生成照相机图像；以及图像处理装置，其对照相机图像进行处理。图像处理装置基于多个帧来提取出灯光源的出射光的映入成分，并将映入成分从当前的帧除去。
[0030]本专利技术的另一方案涉及一种图像处理装置。图像处理装置被与照相机一同使用，并构成车辆用的摄影系统。照相机被与灯光源一同内置于车辆用灯具。图像处理装置基于照相机所生成的照相机图像的多个帧来提取出灯光源的出射光的映入成分，并将映入成分从当前的帧除去。
[0031]另外，以上构成要素的任意组合、以及将本专利技术的表达方式在方法、装置、系统等之间转换后的结果，作为本专利技术的方案也是有效的。
[0032][专利技术效果][0033]根据本专利技术的一个方案，能够自动地对图像的失真进行校正。根据本专利技术的一个方案，能够抑制因异物导致的画质劣化。根据本专利技术本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种车辆用的摄影系统，其特征在于，包括：照相机，以及图像处理装置，其对上述照相机的输出图像进行处理；上述图像处理装置对上述输出图像所包含的物体像进行追踪，基于上述物体像的伴随移动的形状变化来取得用于对上述输出图像的失真进行校正的信息，并用该信息对上述输出图像进行校正。2.如权利要求1所述的摄影系统，其特征在于，在上述输出图像中，规定了失真较小的基准区域，并将上述物体像被包含于上述基准区域时的形状作为上述物体像的真实形状。3.如权利要求2所述的摄影系统，其特征在于，上述照相机被配置为消失点被包含于上述基准区域的方式。4.如权利要求1～3的任何一项所述的摄影系统，其特征在于，上述图像处理装置从上述输出图像中检测出真实形状已知的基准物体的像，并基于真实形状和上述输出图像中的上述基准物体的像的形状来取得用于对上述输出图像的失真进行校正的信息。5.如权利要求4所述的摄影系统，其特征在于，上述真实形状已知的物体像包含交通标识。6.一种车辆用的摄影系统，其特征在于，包括：照相机，以及图像处理装置，其对上述照相机的输出图像进行处理；上述图像处理装置从上述输出图像中检测出真实形状已知的基准物体的像，并基于真实形状和上述输出图像中的上述基准物体的像的形状来取得用于对上述输出图像的失真进行校正的信息，并用该信息对上述输出图像进行校正。7.如权利要求1～6的任何一项所述的摄影系统，其特征在于，上述照相机被内置于灯具，并介由外透镜来进行拍摄。8.一种图像处理装置，其被与照相机一同使用，并构成车辆用的摄影系统；该图像处理装置的特征在于，对上述照相机的输出图像所包含的物体像进行追踪，基于上述物体像的伴随移动的形状变化来取得用于对上述输出图像的失真进行校正的信息，并用该信息来对上述输出图像进行校正。9.一种图像处理装置，其被与照相机一同使用，并构成车辆用的摄影系统；该图像处理装置的特征在于，从上述照相机的输出图像中，检测出真实形状已知的物体像，基于真实形状和上述输出图像中的上述物体像的形状来取得用于对上述输出图像的失真进行校正的信息，并用该信息来校正上述输出图像。10.一种车辆用的摄影系统，其特征在于，包括：照相机，其以预定的帧率生成照相机图像，以及图像处理装置，其对上述照相机图像进行处理；上述图像处理装置在上述照相机图像的当前帧中包含异物时，从过去的帧中搜索出被
上述异物遮挡的背景图像，并将上述背景图像粘贴于当前帧的存在上述异物的异物区域。11.如权利要求10所述的摄影系统，其特征在于，上述图像处理装置针对上述照相机图像的各帧检测边缘，并将被上述边缘包围的区域作为上述异物区域的候选。12.如权利要求11所述的摄影系统，其特征在于，上述图像处理装置在上述异物区域的候选遍及预定数量的帧地停留在实质上相同的位置的情况下，将该候选判定为上述异物区域。13.如权利要求10所述的摄影系统，其特征在于，上述图像处理装置针对上述照相机图像的各帧检测边缘，并在隔着N帧的2个帧的相同位置存在同形状的边缘时，将被该边缘包围的范围判定为上述异物区域。14.如权利要求10～13的任何一项所述的摄影系统，其特征在于，上述图像处理装置在当前的帧中，在上述异物区域的附近定义现基准区域，在上述过去的帧中，检测出与上述现基准区域对应的过去基准区域，对上述现基准区域与上述过去基准区域的偏置量进行检测，在上述过去的帧中，将使上述异物区域基于上述偏置量而位移的区域作为上述背景图像。15.如权利要求14所述的摄影系统，其特征在于，上述过去基准区域的检测是基于图案匹配的。16.如权利要求14所述的摄影系统，其特征在于，上述过去基准区域的检测是基于光流的。17.如权利要求10所述的摄影系统，其特征在于，上述图像处理装置针对上述照相机图像的各帧检测边缘，并在隔着N帧的2个帧的相同位置存在同形状的边缘时，将被该边缘包围的范围判定为上述异物区域，在上述2个帧中的当前帧中，将现基准区域定义在上述异物区域的附近，在上述2个帧中的过去帧...

【专利技术属性】
技术研发人员：太田亮，
申请(专利权)人：株式会社小糸制作所，
类型：发明
国别省市：