车载环视相机系统中环视图亮度与颜色一致性调整方法技术方案

本发明专利技术提供一种车载环视相机系统中环视图亮度与颜色一致性调整方法，包括以下步骤：通过环视相机系统采集图像；将图像转换到YCbCr色彩空间；确定图像之间的共视区域并去除外点；以最小化共视区域光度误差为目标调整图像的颜色及亮度；生成环视图。该方法能够将环视图不同部分的亮度与颜色进行全局调整，淡化环视图的拼接缝，提高环视图像的视觉效果，具有鲁棒性高，计算代价低的特点，能够满足实际应用中对车载环视系统拼接环视图的实时性的要求。此外，本发明专利技术提出的方法，与环视相机系统采用的硬件装置和环视拼接方案的耦合程度低，能够适应不同的环视相机系统软硬件方案，并广泛地应用于各类车辆或其他设备搭载的环视相机系统中。

The method of adjusting the brightness and color consistency of the loop view in the vehicle's surround camera system

The invention provides a method for adjusting the consistency between the brightness and color of the loop view in the vehicle mounted loop view camera system, which comprises the following steps: collecting images through the loop view camera system; converting images to YCbCr color space; determining the common view area between images and removing external points; adjusting the color and brightness of images with the aim of minimizing the photometric error of the common view area; generating the loop view. This method can adjust the brightness and color of different parts of the loop view globally, desalinate the stitching seam of the loop view, improve the visual effect of the look around image, has the characteristics of high robustness and low calculation cost, and can meet the requirements of real-time splicing of the look around image of the vehicle look around system in practical application. In addition, the method of the invention has low coupling degree with the hardware device and the look splicing scheme adopted by the look camera system, can adapt to different look camera system software and hardware schemes, and is widely used in the look camera system carried by various vehicles or other equipment.

【技术实现步骤摘要】
车载环视相机系统中环视图亮度与颜色一致性调整方法
本专利技术属于智能驾驶领域，涉及车载环视相机系统技术。
技术介绍
随着汽车行业的发展，车辆的安全性能越来越受到重视，因此很多辅助驾驶系统都搭载了车载环视相机系统。车载环视相机系统通过布置在车辆周围的4-6个广角摄像头拼接出车辆周围的环视图像，能够给驾驶员提供车辆周围的路面信息，辅助驾驶员做出行驶判断，提高车辆在复杂环境中的安全性能。然而，由于系统中不同相机所处的光照环境以及相机本身的曝光程度不同，现有的车载环视相机系统拼接出的环视图像常常存在着不同区域的亮度与颜色存在较大差异的问题。环视图不同区域的亮度与颜色差异不但会影响环视图的视觉效果，更会对驾驶员对路面状况的判断造成不利的影响。因此，对车载环视相机系统生成的环视图的各个部分进行亮度与颜色一致性调整是十分必要的。目前，常用的环视图像亮度与颜色一致性调整的方法主要分为两类：第一类是对相邻两张图像寻找合适的拼接缝，并对拼接缝附近的部分做融合；第二类是对环视相机系统中每张图像分别做全局调整。第一类方法的代表方法有：“Y.C.Liu,K.Y.Lin,Y.S.Chen,“Bird’s-EyeViewVisionSystemforVehicleSurroundingMonitoring,”inRobVis2008.”，该方法在拼接环视图时会对每一帧图像寻找一条最佳缝合线，之后对环视图各个部分做融合，但该方法在动态图像中的视觉连续性不佳，并且计算量较大；“杨力,朱株,刘济林."一种嵌入式汽车鸟瞰全景图拼接算法,"浙江大学学报(工学版)2(2014):292-296.”对相邻图像在拼接缝附近的区域，根据像素与拼接缝之间的距离分配权重，进行加权平均融合，该方法的缺点是算法复杂度较高，并且环视图不同区域的整体视觉效果存在较大差异。第二类方法的代表方法有：“Y.Liu,B.Zhang.“Photometricalignmentforsurroundviewcamerasystem,”inProc.IEEEICIP2014:1827-1831.”对环视图各个部分的色调映射曲线进行参数化，通过求解最优的色调调整参数来降低相邻图像间的光度差异，该方法效果比较理想，但需要迭代优化求解，计算代价较大，难以达到实时；“S.R.Han,J.Min,T.Park,etal.“Photometricandgeometricrectificationforstereoscopicimages,”inProc.SPIE–Int.Soc.Opt.Eng.,2012.”通过匹配图像的全局亮度直方图来补偿相邻图像的亮度差异，但该方法在相邻相机公共区域较少的环视图像上的效果不佳，并且没有对图像的颜色做相应调整。尽管上述方法能够在一定程度上淡化环视图像中的拼接缝，提高环视图像的质量，但已有的方法均存在着调整效果和计算代价之间的矛盾：效果好的方法往往比较复杂，难以满足实时性的要求；计算代价低的方法效果不够理想。换言之，目前环视图像亮度与颜色一致性调整的方法研究难点在于设计一种兼顾调整效果与实时性的算法。
技术实现思路
本专利技术的目的在于提供一种车载环视相机系统中环视图亮度与颜色一致性调整方法，该方法能够将环视图不同部分的亮度与颜色进行全局调整，淡化不同部分之间的拼接缝，提高环视图像的视觉效果，并且计算代价低，能够满足实际应用中对车载环视系统拼接环视图的实时性的要求。为达到上述目的，本专利技术的解决方案是：一种车载环视相机系统中环视图亮度与颜色一致性调整方法，包括以下步骤：(1)使用环视相机系统中的各个相机采集图像并分别生成地面鸟瞰图；(2)将步骤(1)中生成的地面鸟瞰图转换到亮度通道与颜色通道分离的色彩空间；(3)确定步骤(2)中相邻相机生成的地面鸟瞰图的共视区域并去除外点；(4)以步骤(3)中确定的相邻相机的共视区域的像素强度均值误差最小化为目标，求步骤(2)生成的每个相机的地面鸟瞰图中各通道的调整系数；(5)根据步骤(4)中生成的调整系数，调整步骤(2)生成的每个相机的地面鸟瞰图的各通道的像素强度值；(6)将步骤(5)中调整后的地面鸟瞰图转换回原色彩空间，并按照环视相机系统中采用的环视图生成方法生成环视图。其中，每个步骤的具体流程和要点如下：步骤(1)中：所述环视相机系统由n个相机组成，按照逆时针顺序分别为{C1，C2，…，Cn}；并且，相邻相机之间存在公共视野；所述地面鸟瞰图可使用任一鸟瞰图生成算法生成，分别为{I1，I2，…，In}，优选的，这些鸟瞰图应处于同一像素坐标系OG上；所述地面鸟瞰图应为彩色RGB图像。步骤(2)中：所述亮度通道与颜色通道分离的色彩空间空间为YCbCr色彩空间，其中Y通道为亮度分量,Cb通道为蓝色色度分量，Cr通道为红色色度分量。所述的RGB色彩空间到YCbCr色彩空间的转换公式为：转换到YCbCr色彩空间的图像表示为其中Y通道为Cb通道为Cr通道为步骤(3)中：相邻相机生成的鸟瞰图的共视区域的确定方法为，相邻相机生成的地面鸟瞰图在像素坐标系OG中坐标相同的部分即为共视区域。对于一对相邻相机Ci和Cj，其中j＝(i+1)％n,％为取余运算符，其共视区域表示为外点的确定方法为，对于一对相邻相机Ci和Cj，对于在步骤(4-1)中确定的共视区域中的任一像素p，如果其在两相机对应的YCbCr色彩空间的地面鸟瞰图中的亮度分量的差的绝对值大于特定阈值threshold，即点p即确定为外点；确定的外点从相邻图像的共视区域中去除后，其余部分的共视区域记作步骤(4)中，对于每个通道Ch∈{Y，Cb，Cr}，采用相同的方法求每个相机对应的地面鸟瞰图的调整系数，其步骤为：(a)对任意一对相邻相机Ci和Cj，其中j＝(i+1)％n，分别求它们生成的地面鸟瞰图在去除外点的共视区域中的像素强度均值，分别记作和其计算公式为：其中为统计像素个数的函数。(b)设相机Ci对应的地面鸟瞰图的通道Ch的调整系数为则以调整过后的相邻相机对应的地面鸟瞰图的共视区域像素强度均值误差最小化为目标，可列方程组：(c)对步骤(b)中的方程组加入约束项得到最终要求解的方程组：使用最小二乘法求解该方程组，可得到各个相机对应的地面鸟瞰图的通道Ch的调整系数步骤(5)中，对于每个通道Ch∈{Y，Cb，Cr}，使用相同的方法调整每个相机的鸟瞰图的各通道的像素强度值，其具体方法为：根据步骤(4)所求得的各个相机对应的地面鸟瞰图的通道Ch的调整系数调整各个相机对应的地面鸟瞰图的通道Ch的像素强度值。对于相机Ci对应的地面鸟瞰图的通道Ch的像素强度值中的一点p，其调整方法为：其中为调整后的地面鸟瞰图的通道Ch。优选的，将Ch∈{Y，Cb，Cr}三个通道合并后的地面鸟瞰图表示为步骤(6)中，对于相机Ci对应的调整后的地面鸟瞰图将其转换回原色彩空间，即RGB色彩空间其要点为：所述的YCbCr色彩空间到RGB色彩空间的转换公式为：转换后的RGB色彩空间的图像表示为其中R通道为G通道为B通道为对于转换到原色彩空间的图像中的任意一点p，对于其任一通道H∈{R，G，B}，如果则将赋值为255；如果则将赋值为0。步骤(6)中，所述环视图生成方法可采用任意环视图生成方法，具体而言：以环视相机系统中每个相本文档来自技高网...

【技术保护点】
1.一种车载环视相机系统中环视图亮度与颜色一致性调整方法，其特征在于，包括以下步骤：(1)使用环视相机系统中的各个相机采集图像并分别生成地面鸟瞰图；(2)将步骤(1)中生成的地面鸟瞰图转换到亮度通道与颜色通道分离的色彩空间；(3)确定步骤(2)中相邻相机生成的地面鸟瞰图的共视区域并去除外点；(4)以步骤(3)中确定的相邻相机的共视区域的像素强度均值误差最小化为目标，求步骤(2)生成的每个相机的地面鸟瞰图中各通道的调整系数；(5)根据步骤(4)中生成的调整系数，调整步骤(2)生成的每个相机的地面鸟瞰图的各通道的像素强度值；(6)将步骤(5)中调整后的地面鸟瞰图转换回原色彩空间，并按照环视相机系统中采用的环视图生成方法生成环视图。

【技术特征摘要】
1.一种车载环视相机系统中环视图亮度与颜色一致性调整方法，其特征在于，包括以下步骤：(1)使用环视相机系统中的各个相机采集图像并分别生成地面鸟瞰图；(2)将步骤(1)中生成的地面鸟瞰图转换到亮度通道与颜色通道分离的色彩空间；(3)确定步骤(2)中相邻相机生成的地面鸟瞰图的共视区域并去除外点；(4)以步骤(3)中确定的相邻相机的共视区域的像素强度均值误差最小化为目标，求步骤(2)生成的每个相机的地面鸟瞰图中各通道的调整系数；(5)根据步骤(4)中生成的调整系数，调整步骤(2)生成的每个相机的地面鸟瞰图的各通道的像素强度值；(6)将步骤(5)中调整后的地面鸟瞰图转换回原色彩空间，并按照环视相机系统中采用的环视图生成方法生成环视图。2.根据权利要求1所述的车载环视相机系统中环视图亮度与颜色一致性调整方法，其特征在于，步骤(1)中：(1-1)所述环视相机系统由n个相机组成，按照逆时针顺序分别为{C1，C2，…，Cn}；(1-2)所述地面鸟瞰图可使用任一鸟瞰图生成算法生成，分别为{I1，I2，…，In}；(1-3)所述地面鸟瞰图应为彩色RGB图像。3.根据权利要求2所述的车载环视相机系统中环视图亮度与颜色一致性调整方法，其特征在于，步骤(1-1)中：相邻相机之间存在公共视野；或/和,步骤(1-2)中，鸟瞰图处于同一像素坐标系OG上。4.根据权利要求1所述的车载环视相机系统中环视图亮度与颜色一致性调整方法，其特征在于，步骤(2)中：(2-1)所述亮度通道与颜色通道分离的色彩空间为YCbCr色彩空间，其中Y通道为亮度分量,Cb通道为蓝色色度分量，Cr通道为红色色度分量；(2-2)所述的RGB色彩空间到YCbCr色彩空间的转换公式为：(2-3)转换到YCbCr色彩空间的图像表示为其中Y通道为Cb通道为Cr通道为5.根据权利要求1所述的车载环视相机系统中环视图亮度与颜色一致性调整方法，其特征在于，步骤(3)包括以下步骤：(3-1)相邻相机生成的鸟瞰图的共视区域的确定方法为，相邻相机生成的地面鸟瞰图在像素坐标系OG中坐标相同的部分即为共视区域；对于一对相邻相机Ci和Cj，其中j＝(i+1)％n,％为取余运算符，其共视区域表示为(3-2)外点的确定方法为，对于一对相邻相机Ci和Cj，对于在步骤(3-1)中确定的共视区域中的任一像素p，如果其在两相机对应的YCbCr色彩空间的地面鸟瞰图中的亮度分量的差的绝对值大于特定阈值threshold，即点p即确定为外点；(3-3)将步骤(3-2)中确定的外点从步骤(3-1)中确定的共视区域中去除后，...

【专利技术属性】
技术研发人员：刘潇，张林，沈莹，邵玄，张天骏，
申请(专利权)人：同济大学，
类型：发明
国别省市：上海,31