图像处理装置、驾驶辅助装置及图像处理方法制造方法及图纸

本发明专利技术提供一种在进行高动态范围合成的情况下也进行能够实现更自然的颜色配色的白平衡处理的图像处理装置、驾驶辅助装置及图像处理方法。根据实施方式，图像处理装置具备检测部、白平衡处理部和图像合成部。检测部对曝光灵敏度不同的多个图像的每一个检测用来取得图像信息的亮度范围。白平衡处理部基于上述各图像的亮度范围中的图像信息，对上述曝光灵敏度不同的多个图像实施白平衡处理。图像合成部基于被实施了上述白平衡处理的多个图像，生成调整了曝光灵敏度的合成图像。

Image Processing Device, Driving Aid Device and Image Processing Method

【技术实现步骤摘要】
图像处理装置、驾驶辅助装置及图像处理方法本申请基于日本专利申请第2018－52933号(申请日：2018年3月20日)主张优先权，这里引用其全部内容。
本专利技术的实施方式涉及图像处理装置、驾驶辅助装置及图像处理方法。
技术介绍
为了得到作为表现宽动态范围的图像的高动态范围图像，进行将曝光灵敏度不同的多个图像合成而得到合成图像的高动态范围合成(HDRI：HighDynamicRangeImaging)。此外，对合成图像通常实施白平衡处理。但是，如果对合成图像实施白平衡处理，则有可能生成不自然的颜色配色的图像。
技术实现思路
本专利技术提供一种在进行高动态范围合成的情况下也进行能够实现更自然的颜色配色的白平衡处理的图像处理装置、驾驶辅助装置及图像处理方法。根据技术方案，图像处理装置具备检测部、白平衡处理部和图像合成部。检测部对曝光灵敏度不同的多个图像的每一个检测用来取得图像信息的亮度范围。白平衡处理部基于每个上述图像的亮度范围中的图像信息，对上述曝光灵敏度不同的多个图像实施白平衡处理。图像合成部基于被实施了上述白平衡处理的多个图像，生成调整了曝光灵敏度的合成图像。附图说明图1是表示有关第1实施方式的驾驶辅助系统的整体结构的块图。图2是表示取得实施白平衡处理的图像信息的亮度范围的概念图。图3是表示图像处理装置的处理例的流程图。图4(a)～图4(e)是表示遵循由图3表示的流程图的图像处理例的图。图5(a)～图5(e)是表示图4(a)～图4(e)所示的图像的直方图的图。图6是表示将2个图像进行图像合成的情况下的实施白平衡处理的范围的概念图。图7是表示将3个图像进行图像合成的情况下的实施白平衡处理的范围的概念图。图8是表示第1图像及第3图像中的同一线段上的轮廓的图。图9是基于亮度值的代表值决定亮度范围的概念图。图10是在图像合成中使用的图像的选择及设定亮度值范围时的概念图。具体实施方式以下，参照附图对有关本专利技术的实施方式的驾驶辅助系统详细地进行说明。另外，以下所示的实施方式是本专利技术的实施方式的一例，本专利技术并不被这些实施方式限定地解释。此外，在由本实施方式参照的图中，对于相同的部分或具有同样的功能的部分赋予相同的标号或类似的标号，有省略其重复的说明的情况。此外，有图面的尺寸比率为了说明的方便而与实际的比率不同的情况、以及将结构的一部分从图中省略的情况。(第1实施方式)图1是表示有关第1实施方式的驾驶辅助系统1的整体结构的块图。如图1所示，驾驶辅助系统1是通过高动态范围合成(HDRI：HighDynamicRangeImaging)生成合成图像、辅助车辆的驾驶的系统。更具体地讲，该驾驶辅助系统1具备相机10、摄像控制装置20、驾驶辅助装置30、声音装置40、制动装置50和显示装置60而构成。相机10是能够取得曝光灵敏度不同的多个图像的装置，具有第1至第4相机100～106。第1相机100是例如将像素配置为二维的平面状的图像传感器，根据从摄像控制装置20输入的包含第1曝光时间T1的控制信号而对第1图像摄像。该图像传感器由红色(R)摄像元件、蓝色(B)摄像元件及绿色(G)摄像元件构成。由此，由红色(R)像素构成的红色(R)图像、由蓝色(B)像素构成的蓝色(B)图像及由绿色(G)像素构成的绿色(G)图像被摄像而作为第1图像。同样，第2相机102是与第1相机100等同的结构，根据从摄像控制装置20输入的包含第2曝光时间T2的控制信号而对第2图像摄像。同样，第3相机104是与第1相机100等同的结构，根据从摄像控制装置20输入的包含第3曝光时间T3的控制信号而对第3图像摄像。同样，第4相机106与第1相机100是等同的结构，根据从摄像控制装置20输入的包含第4曝光时间T4的控制信号而对第4图像摄像。曝光时间有例如T4>T3>T2>T1的关系。另外，有关本实施方式的相机10改变曝光时间而使曝光灵敏度不同，但也可以使像素的曝光灵敏度对于每一个相机不同。此外，也可以将相机10的图像传感器用一个构成，在时间序列上对不同曝光灵敏度的图像摄像。例如，相机10如果是紧凑型数码相机、智能电话等具备摄像功能的装置的话，就可以是任意的装置。摄像控制装置20是生成高动态范围合成的合成图像并控制相机10的曝光时间的装置。摄像控制装置20包括CPU(CentralProcessingUnit)而构成。摄像控制装置20的详细的结构后述。驾驶辅助装置30根据图像处理装置22的输出信号来辅助车辆的驾驶。在驾驶辅助装置30上，连接着声音装置40、制动装置50、显示装置60等。声音装置40例如是扬声器，被配置在从车辆内的驾驶席能够听到的位置。驾驶辅助装置30基于图像处理装置22的输出信号，例如使声音装置40产生“到对象物是5米”等的声音。由此，例如在驾驶员的注意力下降的情况下，通过听到声音，也能够唤起驾驶员的注意。制动装置50例如是辅助刹车，基于图像处理装置22的输出信号将车辆制动。驾驶辅助装置30例如在对象物接近到规定的距离、例如3米的情况下，使制动装置50将车辆制动。显示装置60例如是液晶监视器，显示基于图像处理装置22的输出信号的图像。由此，即使是例如逆光时等，通过参照显示在显示装置60上的图像，也能够更正确地掌握外部信息。这里，说明摄像控制装置20的详细的结构。该摄像控制装置20具有图像处理装置22和曝光时间控制部24。图像处理装置22基于实施了白平衡处理的多个图像，将调整了曝光灵敏度的合成图像合成。该图像处理装置22具备白平衡检测部202、白平衡处理部204和图像合成部206。图2是表示用于取得实施白平衡处理的图像信息的亮度范围的概念图，表示第1至第4图像中的同一线段上的轮廓。纵轴表示亮度值，横轴表示配置在图像内的任意的相同线段上的坐标。此外，灰色的四边形表示取得图像信息的亮度范围。四边形的范围表示例如从各图像的动态范围的下方起20％～80％的范围的亮度值。在高动态范围合成中，例如优先对该四边形的范围的像素值进行加法运算。例如四边形的范围内的像素值和范围外的像素值，变更加法时的权重值。例如将四边形的范围内的像素值的权重值设为1.0，将四边形的范围外的像素值的权重值设为0。这里的权重值是指对亮度值乘以的系数，如果权重值是0，则意味着不加上亮度值。此外，由“×1”表示的轮廓是曝光时间例如为5毫秒的第1图像的轮廓，由“×2”表示的轮廓是曝光时间例如为10毫秒的第2图像的轮廓，由“×4”表示的轮廓是曝光时间例如为20毫秒的第3图像的轮廓，由“×8”表示的轮廓是曝光时间例如为40毫秒的第4图像的轮廓。例如，在合成图像的生成时，将第1图像的亮度值设为8倍，将第2图像的亮度值设为4倍，将第3图像的亮度值设为2倍，将第4图像的亮度值设为1倍，进行相加。将该合成时的亮度范围在图像中用“×2”至“×8”的虚线表示。即，“×8”的虚线以下的范围在合成时与第4图像的亮度范围等同，“×4”的虚线以下的范围在合成时与第3图像的亮度范围等同，“×2”的虚线以下的范围在合成时与第2图像的亮度范围等同。根据这些可知，在将亮度范围调整后，有关本实施方式的第4图像的检测范围是最低亮度侧，第3图像的检测范围是第4图像的检测范围的2倍，是比第4图像的检测范围更高亮度侧。同本文档来自技高网...

【技术保护点】
1.一种图像处理装置，其中，具备：检测部，对曝光灵敏度不同的多个图像的每一个检测用来取得图像信息的亮度范围；白平衡处理部，基于每个上述图像的亮度范围中的图像信息，对上述曝光灵敏度不同的多个图像实施白平衡处理；以及图像合成部，基于被实施了上述白平衡处理的多个图像，生成调整了曝光灵敏度的合成图像。

【技术特征摘要】
2018.03.20 JP 2018-0529331.一种图像处理装置，其中，具备：检测部，对曝光灵敏度不同的多个图像的每一个检测用来取得图像信息的亮度范围；白平衡处理部，基于每个上述图像的亮度范围中的图像信息，对上述曝光灵敏度不同的多个图像实施白平衡处理；以及图像合成部，基于被实施了上述白平衡处理的多个图像，生成调整了曝光灵敏度的合成图像。2.如权利要求1所述的图像处理装置，其中，上述多个图像至少包括第1曝光时间的第1图像以及曝光时间比第1曝光时间长的第2图像；上述检测部对于上述第1图像检测第1亮度范围，对于上述第2图像检测比第1亮度范围暗的一侧的第2亮度范围；上述白平衡处理部对于上述第1图像，基于上述第1亮度范围实施上述白平衡处理，对于上述第2图像，基于上述第2亮度范围实施上述白平衡处理。3.如权利要求2所述的图像处理装置，其中，上述检测部检测上述第1图像的高亮度侧的规定范围作为上述第1亮度范围，基于上述第1亮度范围的下限值检测上述第2亮度范围。4.如权利要求2所述的图像处...

【专利技术属性】
技术研发人员：森达矢，
申请(专利权)人：株式会社东芝，东芝电子元件及存储装置株式会社，
类型：发明
国别省市：日本,JP