车载图像像素调整方法、装置、设备及可读存储介质制造方法及图纸

本发明专利技术涉及智能驾驶领域，公开了一种车载图像像素调整方法、装置、设备及可读存储介质，其包括：获取待拼接图像；计算待拼接图像预设范围内的最大值，结合滤波操作得到图像的亮度值；对求得的图像亮度值进行重映射处理；获取待拼接图像的第一时序重叠区域，将第一时序重叠区域的RGB色彩空间转换到YCrCb色彩空间；在第一时序重叠区域获取两待拼接图像上色彩空间各通道的像素值，计算像素值误差并构建误差模型，并基于误差模型计算各颜色通道的调整系数；根据调整系数调整各通道的像素强度值，得到第二时序重叠区域；将第二时序重叠区域的图像转换回RGB色彩空间，按照multi‑band图像融合方法对待拼接图像进行图像拼接，得到全景图。本发明专利技术消除拼接处的不一致性。

【技术实现步骤摘要】
车载图像像素调整方法、装置、设备及可读存储介质
本专利技术涉及智能驾驶领域，尤其是涉及一种车载图像像素调整方法、装置、设备及可读存储介质。
技术介绍
目前通过车载的多个视频采集终端图像，使用图像拼接和融合技术，获得车辆周围的环视图像。申请号201210407083.7公开的拼接类全景图的一致性调整方法及系统首先得到每一待拼接图像在全景视场中的镶嵌图，镶嵌图中包括有一基准镶嵌图，之后建立其他镶嵌图与基准镶嵌图之间的连通通路，继而计算每一其他镶嵌图相对基准镶嵌图的灰度伸缩因子和偏移因子，进而根据得到的伸缩因子和偏移因子对相应镶嵌图的每一像素点进行亮度调整，对具有一定视场重合的拼接类单色灰度全景图的亮度调整以及拼接类彩色全景图的颜色调整，调整效果佳。现有常用的车载图像像素调整的方法主要分为两类：第一类是对相邻两张图像寻找合适的拼接缝，并对拼接缝附近的部分做融合；第二类是对环视相机系统中每张图像分别做全局调整。由于车辆的运动、拍摄的天气和摄像头自身条件等因素，所获得的多个视频图像往往在颜色和亮度上存在很大差异，使用这些视频数据拼接的全景图像，很多情况下，图像质量不高，拼接痕迹明显。
技术实现思路
本专利技术目的一是提供一种车载图像像素调整方法，具有将车载环视图不同图像的亮度和颜色进行全局-局部调整，提高拼接所得到的全景图视觉效果的特点。对技术问题的阐述这里不必太过具体或绝对，可适当模糊，为日后的申辩留下余地。本专利技术的上述专利技术目的一是通过以下技术方案得以实现的：>一种车载图像像素调整方法，所述车载图像像素调整方法，包括以下步骤：获取车载全景拍摄过程中采集得到的待拼接图像；通过二叉树数据结构存储像素值，然后结合卷积操作，得到图像新的亮度值；根据所述图像新的亮度值，对待拼接图像进行重映射处理；获取待拼接图像的第一时序重叠区域，将所述第一时序重叠区域的RGB色彩空间转换到YCrCb色彩空间，YCrCb色彩空间包括亮度通道Y,色调通道Cr，饱和度通道Cb；在所述第一时序重叠区域获取两待拼接图像上色彩空间各通道的像素值，计算像素值误差并构建误差模型，并基于所述误差模型计算各颜色通道的调整系数；根据所述调整系数，调整第一时序重叠区域上色彩空间各通道的像素值，得到第二时序重叠区域；将所述第二时序重叠区域的图像转换回RGB色彩空间，按照multi-band图像融合方法对待拼接图像进行图像拼接，得到全景图。通过采用上述技术方案，带来以下有益效果，使用二叉树的存储结构存储待拼接图像中各像素点预设范围内的像素值，通过预置二叉树存储结构存储像素值的存储规则，可以有效提高retinex计算的速度；对计算得到的像素进行重映射，既能避免待拼接图像中过亮区域各像素点的像素值进一步增加，也能提高过暗区域各像素点的像素值；使用YcbCr色彩空间具有亮度与颜色分离的特点，且与RGB色彩空间之间为线性变换关系，相互转换计算代价低，速度快；进一步地，采用multi-band进行图像拼接，消除了传统线性拼接所得到的全景图像拼接处颜色和亮度的不一致性，提高全景图像的视觉效果。本专利技术在一较佳示例中可以进一步配置为：在所述获取全景摄像模块拍摄过程中采集得到RGB色彩空间的待拼接图像之后，将待拼接图像提取到同一像素坐标系上并根据拍摄坐标位置放置。通过采用上述技术方案，为后续调整待拼接图像的像素提供了条件。本专利技术在一较佳示例中可以进一步配置为：在所述获取待拼接图像的第一时序重叠区域，将所述第一时序重叠区域的RGB色彩空间转换到YCrCb色彩空间中，第i-1幅图像重叠区域与第i幅图的重叠区域满足以下要求：其中Ni-1,i表示第i-1幅图像重叠区域与第i幅图的重叠区域中像素点的总个数。通过采用上述技术方案，使用YcbCr色彩空间具有亮度与颜色分离的特点，且与RGB色彩空间之间为线性变换关系，相互转换计算代价低，速度快，此外，将原图像的RGB色彩空间转换为YcrCb色彩空间，不仅减少待拼接图像占用频宽，更为之后计算各颜色通道的调整系数做准备。本专利技术在一较佳示例中可以进一步配置为：在所述第一时序重叠区域获取两待拼接图像上色彩空间各通道的像素值，计算像素值误差并构建误差模型，并基于所述误差模型计算各颜色通道的调整系数中，计算重叠区域各颜色通道的像素强度均值及平方差，表达式如下：其中Ui,j表示第一时序重叠区域颜色通道的像素值均值，E表示第一时序重叠区域颜色通道的像素值平方差，m表示需要融合的图像总数，εi表示颜色通道的调整系数；对重叠区域各颜色通道的均值及平方差进行归一化处理及Gamma校正，得到平方差E的表达式如下：其中为归一化后的颜色亮度误差，为Gamma校正的标准差参数；对平方差E中的调整系数进行求导，得到表达式如下：使构建矩阵表达式如下：其中Aε＝V，V是度为m×1的向量，A的维度为m×m；对A进行LU分解，得到εi的结果，分别表示Y、Cr、Cb通道的调整系数，各调整系数的表达式如下：通过采用上述技术方案，计算得到色彩空间各颜色通道的调整系数，根据该调整系数调整色彩空间各颜色通道，得到的图像视觉效果更佳。本专利技术在一较佳示例中可以进一步配置为：所述将所述第二时序重叠区域的图像转换回RGB色彩空间，按照multi-band图像融合方法对待拼接图像进行图像拼接，得到全景图中具体包括：将所述第二时序重叠区域图像转换为原色彩空间的图像；分别对所述第二时序重叠区域的图像进行逐层分解，得到高斯金字塔；计算所述高斯金字塔对应的拉普拉斯金字塔，得到拉普拉斯金字塔；对所述拉普拉斯金字塔进行逐层加权融合，将融合后的拉普拉斯金字塔图像组图像分辨率进行扩展，得到待拼接图像融合后的全景图。通过采用上述技术方案，使获得的拼接图像相比传统线性融合得到的图像质量更高，并且不会出现线性融合而成所造成的鬼影、模糊以及存在明显拼接痕迹的问题。本专利技术在一较佳示例中可以进一步配置为：在所述将所述第二时序重叠区域的图像转换回RGB色彩空间，按照multi-band图像融合方法对待拼接图像进行图像拼接，得到全景图的步骤之后，确定待拼接图像的非重叠区域；获取待拼接图像的非重叠区域；分别获取所述第二时序重叠区域与非重叠区域位于连接处的像素集合Pt和像素集合Px；计算所述第二时序重叠区域与所述非重叠区域位于连接处的像素集合之间的像素差值，得到所述第二时序重叠区域与所述非重叠区域位于连接处的像素差值集合；基于所述像素差值集合对所述非重叠区域靠近连接处的像素点依次进行加权求和以调整非重叠区域靠近连接处的像素值。其中，调整非重叠区域靠近连接处的像素值具体包括：设为重叠区域位于连接处的像素集合，点的个数为nt；为非重叠区域位于连接处的像素集合，点的个数为nt；...

【技术保护点】
1.一种车载图像像素调整方法，其特征在于，所述车载图像像素调整方法包括：/n获取全景摄像模块拍摄过程中采集得到RGB色彩空间的待拼接图像；/n通过二叉树数据结构存储待拼接图像中每个像素点预设范围内的像素值，然后结合卷积操作，得到图像新的亮度值；/n根据所述图像新的亮度值，对待拼接图像进行重映射处理；/n获取待拼接图像的第一时序重叠区域，将所述第一时序重叠区域的RGB色彩空间转换到YCrCb色彩空间，YCrCb色彩空间包括亮度通道Y,色调通道Cr，饱和度通道Cb；/n在所述第一时序重叠区域获取两待拼接图像上色彩空间各通道的像素值，计算像素值误差并构建误差模型，并基于所述误差模型计算各颜色通道的调整系数；/n根据所述调整系数，调整第一时序重叠区域上色彩空间各通道的像素值，得到第二时序重叠区域；/n将所述第二时序重叠区域的图像转换回RGB色彩空间，按照multi-band图像融合方法对待拼接图像进行图像拼接，得到全景图。/n

【技术特征摘要】
1.一种车载图像像素调整方法，其特征在于，所述车载图像像素调整方法包括：
获取全景摄像模块拍摄过程中采集得到RGB色彩空间的待拼接图像；
通过二叉树数据结构存储待拼接图像中每个像素点预设范围内的像素值，然后结合卷积操作，得到图像新的亮度值；
根据所述图像新的亮度值，对待拼接图像进行重映射处理；
获取待拼接图像的第一时序重叠区域，将所述第一时序重叠区域的RGB色彩空间转换到YCrCb色彩空间，YCrCb色彩空间包括亮度通道Y,色调通道Cr，饱和度通道Cb；
在所述第一时序重叠区域获取两待拼接图像上色彩空间各通道的像素值，计算像素值误差并构建误差模型，并基于所述误差模型计算各颜色通道的调整系数；
根据所述调整系数，调整第一时序重叠区域上色彩空间各通道的像素值，得到第二时序重叠区域；
将所述第二时序重叠区域的图像转换回RGB色彩空间，按照multi-band图像融合方法对待拼接图像进行图像拼接，得到全景图。


2.根据权利要求1所述的车载图像像素调整方法，其特征在于，在所述获取全景摄像模块拍摄过程中采集得到RGB色彩空间的待拼接图像之后，还包括：
将待拼接图像提取到同一像素坐标系上并根据拍摄坐标位置放置。


3.根据权利要求1所述的车载图像像素调整方法，其特征在于，第i-1幅图像重叠区域与第i幅图的重叠区域满足以下要求：



其中表示第i-1幅图像重叠区域与第i幅图的重叠区域中像素点的总个数。


4.根据权利要求1所述的车载图像像素调整方法，其特征在于，所述在所述第一时序重叠区域获取两待拼接图像上色彩空间各通道的像素值，计算像素值误差并构建误差模型，并基于所述误差模型计算各颜色通道的调整系数具体包括：
用S表示YcrCb色彩空间的通道表达式，计算第一时序重叠区域各颜色通道的像素强度均值及平方差，则表达式如下：



其中表示第一时序重叠区域颜色通道的像素值均值，E表示第一时序重叠区域颜色通道的像素值平方差，m表示需要融合的图像总数，表示颜色通道的调整系数；
对重叠区域各颜色通道的均值及平方差进行归一化处理及Gamma校正，得到平方差E的表达式如下：



其中为归一化后的颜色亮度误差，为Gamma校正的标准差参数；
对平方差E中的调整系数进行求导，得到表达式如下：



使，构建矩阵表达式如下：



其中，V是维度为m×1的向量，A的维度为m×m；
对A进行LU分解，得到的结果，分别表示Y、Cr、Cb通道的调整系数，各调整系数的表达式如下：

。


5.根据权利要求1所述的车载图像无缝拼接方法，其特征在于，所述将所述第二时序重叠区域的图像转换回RGB色彩空间，按照multi-band图像融合方法对待拼接图像进行图像拼接，得到全景图还包括：
将所述第二时序重叠区域图像转换为RGB色彩空间的图像；
分别对所述第二时序重叠区域的图像进行逐层分解，得到高斯金字塔图像组；
计...

【专利技术属性】
技术研发人员：戴勇，刘清，黄永红，
申请(专利权)人：深圳普捷利科技有限公司，
类型：发明
国别省市：广东;44