一种基于时间同步的车载侧后视图像生成方法技术

本发明专利技术提供一种基于时间同步的车载侧后视图像生成方法，至少包括：对多个车载以太网摄像头进行图像采集的时间进行时间同步，并对采集图像进行二次畸变矫正，对冗余摄像头进行自动判断选择未被污染的摄像头为工作摄像头，建立靶图坐标系，对多个不同工作摄像头拍摄的图像进行融合获得最终图像。通过采用车载以太网摄像头，组合了以太网同步技术和CMOS的被动触发采集，实现了各个摄像头在同一时刻的采集，从而解决了对多摄像头图像融合带来的融合边界图像不可控误差的根本原因。通过算法实时选择画面信息量更大的摄像头作为工作摄像头，从而使得摄像头能尽可能多的提供驾驶所需要的图像信息，提升了驾驶的安全性。提升了驾驶的安全性。提升了驾驶的安全性。

【技术实现步骤摘要】
一种基于时间同步的车载侧后视图像生成方法


[0001]本专利技术涉及汽车领域，尤其涉及一种基于时间同步的车载侧后视图像生成方法。

技术介绍

[0002]现有侧后视应用如雨后春笋般迅速发展，普遍采用车载摄像头直接替代后视镜，将各个位置摄像头采集到的鱼眼图像显示在屏幕的对应区域。但是在直观感受上，各个摄像头的视场图像是独立不连贯的，驾驶员观看屏幕的主观感受较差。此外由于摄像头是电子产品，具备一定的失效性，外置摄像头仍然存在被灰尘和泥浆污染的情况，使得画面某些区域模糊或者遮挡，造成驾驶感受的降低甚至出现意外。但现阶段，摄像头被污染仍然是依赖于人眼进行判断，尚未有摄像头被污染自动判断的方法，这导致摄像头出现污染影响成像时需要人判断校正，如果驾驶员不及时发现处理，依赖被污染摄像头的判断可能会发生安全事故。因此，现有技术仍然存在较多的缺陷，需要进行改进。

技术实现思路

[0003]基于现有技术中存在的缺陷，本专利技术提供一种基于时间同步的车载侧后视图像生成方法，至少包括：
[0004]步骤S1，对多个车载以太网摄像头进行图像采集的时间进行时间同步，并对采集图像进行畸变矫正；
[0005]步骤S2，获取冗余车载以太网摄像头拍摄的图像，在进行图像融合后获得融合图像，根据融合图像对应原始畸变图像判断选择未被污染的车载以太网摄像头作为工作摄像头；
[0006]步骤S3，获取不同安装位置的工作摄像头拍摄图像进行畸变矫正中的差异矫正单应性矩阵H
da
posk、矫正融合单应性矩阵Hr/>af
pos，并对工作摄像头拍摄的画面进行图像映射，得到安装位置工作摄像头对应的融合平面的图像；
[0007]步骤S4，融合图像上的不同安装位置工作摄像头对应图像互相覆盖区域的各个像素值根据信息权重进行覆盖区域的图像融合。
[0008]一种基于时间同步的车载侧后视图像生成方法，进一步地，车载以太网摄像头通过以太网EAVB协议传输图像内容和控制信息，内置RTC时钟，智能主机通过车载以太网总线每隔一段时间修正每个车载以太网摄像头的RTC时钟。
[0009]一种基于时间同步的车载侧后视图像生成方法，进一步地，车载以太网摄像头进行图像采集的时间进行时间同步具体包括：
[0010]车载以太网摄像头计算各自与主处理器的链路传播延迟P
delay
；
[0011]主处理器不定期对车载以太网摄像头发送主处理器本地时间报文时，车载以太网摄像头解析出报文中记录的主处理器本地时间戳tm，再加上传播链路延迟P
delay
，获取收到报文后此时主处理器的本地RTC时间戳tc；
[0012]同时，车载太网摄像头将各自本地的RTC时钟时间戳修改为tc。
[0013]一种基于时间同步的车载侧后视图像生成方法，进一步地，畸变矫正至少包括第一次畸变矫正，其中，第一次畸变矫正至少包括：通过冗余车载以太网摄像头获取垂直于地面的预设靶图成像后的畸变图像，利用光学畸变参数映射表对畸变图像进行第一畸变矫正后获取第一畸变矫正图像。
[0014]一种基于时间同步的车载侧后视图像生成方法，进一步地，畸变矫正至少包括第二次畸变矫正，其中，第二次畸变矫正至少包括：建立差异矫正平面坐标系，分别获取预设靶图的特征点在第一畸变矫正图像的对应的第一坐标点以及在差异矫正平面对应的第二坐标点，利用透视变换，求解单应性矩阵H
da
pos，利用单应性矩阵H
da
pos进行反变化对第一畸变的图像进行第二次畸变矫正；
[0015]获取单应性矩阵H
da
pos并利用反透视变换将建立差异矫正平面对应的所有第一坐标点在第一畸变矫正图像对应第二坐标点，获取第二坐标点在第一畸变矫正图像对应的像素值，并将像素值赋值给第一坐标点。
[0016]一种基于时间同步的车载侧后视图像生成方法，进一步地，在步骤S2中，针对安装在同一位置的冗余车载以太网摄像头，将同步采集后的原始摄像头的畸变图像分为若干区域，每个区域独立进行清晰度得分计算，一个摄像头得到一组各个区域的清晰度得分DF(f)
vh
，每个冗余摄像头k各自对应一组清晰度得分DFk(f)
vh
。
[0017]一种基于时间同步的车载侧后视图像生成方法，进一步地，在步骤S2中，针对安装在同一位置的冗余车载以太网摄像头，将矫正后的车载以太网摄像头画面映射到实际显示应用的融合画面，得到各个车载以太网摄像头安装位置差异矫正后对应融合画面的矫正融合单应性矩阵H
af
pos，并设定融合画面的区域信息权重函数VLD
(x，y)
，并根据该安装位置各个冗余车载以太网摄像头k清晰度系数DFk(f)
vh
及其对应的差异矫正单应性矩阵H
da
posk得到信息权重INFk(f)，冗余摄像头中信息权重最高的摄像头为工作摄像头，其余为待机摄像头。
[0018]一种基于时间同步的车载侧后视图像生成方法，进一步地，覆盖区域包括：右侧和后侧工作摄像头覆盖区域融合图像Q
rr(x，y)
，左侧和后侧工作摄像头覆盖区域融合图像Q
rl(x，y)
；
[0019]摄像头覆盖区域融合图像包括相应区域的工作摄像头在最终融合平面上的图像和信息权重的加权平均值，融合计算方法包括：
[0020][0021][0022]其中，左侧、后侧、右侧工作摄像头的信息权重leftINF(f)
(x，y)
，rearINF(f)
(x，y)
，rightINF(f)
(x，y)
；
[0023]right(Q
x
、Q
y
)、rear(Q
x
、Q
y
)、left(Q
x
、Q
y
)分别为右侧、后侧、左侧工作摄像头在最终融合平面上的图像。
[0024]一种基于时间同步的车载侧后视图像生成方法，进一步地，左侧、后侧、右侧工作摄像头的信息权重leftINF(f)
(x，y)
，rearINF(f)
(x，y)
，rightINF(f)
(x，y)
的计算公式如下：
[0025]leftINF(f)
(x，y)
＝leftDFk(f)
(x，y)
×
VLD
(x，y)
[0026]rearINF(f)
(x，y)
＝rearDFk(f)
(x，y)
×
VLD
(x，y)
[0027]rightINF(f)
(x，y)
＝rightDFk(f)
(x，y)
×
VLD
(x，y)
[0028]其中rearDFk(f)
(x本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于时间同步的车载侧后视图像生成方法，其特征在于，至少包括：步骤S1，对多个车载以太网摄像头进行图像采集的时间进行时间同步，并对采集图像进行畸变矫正；步骤S2，获取冗余车载以太网摄像头拍摄的图像，在进行图像融合后获得融合图像，根据融合图像对应原始畸变图像判断选择未被污染的车载以太网摄像头作为工作摄像头；步骤S3，获取不同安装位置的工作摄像头拍摄图像进行畸变矫正中的差异矫正单应性矩阵H
da
posk、矫正融合单应性矩阵H
af
pos，并对工作摄像头拍摄的画面进行图像映射，得到安装位置工作摄像头对应的融合平面的图像；步骤S4，融合图像上的不同安装位置工作摄像头对应图像互相覆盖区域的各个像素值根据信息权重进行覆盖区域的图像融合。2.如权利要求1所述一种基于时间同步的车载侧后视图像生成方法，其特征在于，车载以太网摄像头通过以太网EAVB协议传输图像内容和控制信息，内置RTC时钟，智能主机通过车载以太网总线每隔一段时间修正每个车载以太网摄像头的RTC时钟。3.如权利要求1所述一种基于时间同步的车载侧后视图像生成方法，其特征在于，车载以太网摄像头进行图像采集的时间进行时间同步具体包括：车载以太网摄像头计算各自与主处理器的链路传播延迟P
delay
；主处理器不定期对车载以太网摄像头发送主处理器本地时间报文时，车载以太网摄像头解析出报文中记录的主处理器本地时间戳tm，再加上传播链路延迟P
delay
，获取收到报文后此时主处理器的本地RTC时间戳tc；同时，车载太网摄像头将各自本地的RTC时钟时间戳修改为tc。4.如权利要求1所述一种基于时间同步的车载侧后视图像生成方法，其特征在于，畸变矫正至少包括第一次畸变矫正，其中，第一次畸变矫正至少包括：通过冗余车载以太网摄像头获取垂直于地面的预设靶图成像后的畸变图像，利用光学畸变参数映射表对畸变图像进行第一畸变矫正后获取第一畸变矫正图像。5.如权利要求1所述一种基于时间同步的车载侧后视图像生成方法，其特征在于，畸变矫正至少包括第二次畸变矫正，其中，第二次畸变矫正至少包括：建立差异矫正平面坐标系，分别获取预设靶图的特征点在第一畸变矫正图像的对应的第一坐标点以及在差异矫正平面对应的第二坐标点，利用透视变换，求解单应性矩阵H
da
pos，利用单应性矩阵H
da
pos进行反变化对第一畸变的图像进行第二次畸变矫正；获取单应性矩阵H
da
pos并利用反透视变换将建立差异矫正平面对应的所有第一坐标点在第一畸变矫正图像对应第二坐标点，获取第二坐标点在第一畸变矫正图像对应的像素值，并将像素值赋值给第一坐标点。6.如权利要求1所述一种基于时间同步的车载侧后视图像生成方法，其特征在于，在步骤S2中，针对安装在同一位置的冗余车载以太网摄像头，将同步采集后的原始摄像头的畸变图像分为若干区域，每个区域独立进行清晰度得分计算，一个摄像头得到一组各个区域的清晰度得分DF(f)
vh
，每个冗余摄像头k各自对应一组清晰度得分DFk(f)
vh
。7.如权利要求1所述一种基于时间同步的车载侧后视图像生成方法，其特征在于，在步骤S2中，针对安装在同一位置的冗余车载以太网摄像头，将矫正后的车载以太网摄像头画面映射到实际显示应用的融合画面，得到各个车载以太网摄像头安装位置差异矫正后对应
融合画面的矫正融合单应性矩阵H
af
pos，并设定融合画面的区域信息权重函数VLD
(x，y)
，并根据该安装位置各个冗余车载以太网摄像头k清晰度系数DFk(f)
vh
及其对应的差异矫正单应性矩阵H
da
posk得到信息权重INFk(f)，冗余摄像头中信息权重最高的摄像头为工作摄像头，其余为待机摄像头。8.如权利要求1所述一种基于时间同步的车载侧后视图像生成方法，其特征在于，其特征在于，覆盖区域包括：右侧和后侧工作摄像头覆盖区域融合图像Q
rr(x，y)
，左侧和后侧工作摄像头覆盖区域融合图像Q
rl(x，y)
；摄像头覆盖区域融合图像包括相应区域的工作摄像头在最终融合平面上的图像和信息权重的加权平均值，融合计算方法包括：息权重的加权平均值，融合计算方法包括：其中，左侧、后侧、右侧工作摄像头的信息权重leftINF(f)
(x，y)
，rearINF(f)
(x，y)
，rightINF(f)
(x，y)
；right(Q
x
、Q
y
)、rear(Q
x
、Q
y
)、left(Q
x
、Q
y
)分别为右侧、后侧、左侧工作摄像头在最终融合平面上的图像。9.根据权利要求8所述的一种基于时间同步的车载侧后视图像生成方法，其特征在于，左侧、后侧、右侧工作摄像头的信息权重leftINF(f)
(x，y)
，rearINF(f)
(x，y)
，rightINF(f)
(x，y)
的计算公式如下：leftINF(f)
(x，y)
＝leftDFk(f)
(x，y)
×
VLD
(x，y)
rearINF(f)
(x，y)
＝rearDFk(f)
(x，y)
×
VLD
(x，y)
rightINF(f)
(x，y)
＝rightDFk(f)
(x，y)
×
VLD
(x，y)
其中rearDFk(f)
(x，y)
为后侧工作摄像头的清晰度得分；leftDFk(f)
(x，y)
为左侧工作摄像头的信息权重，rightDFk(f)
(x，y)
为右侧工作摄像头的清晰度得分，VLD
(x，y)
为信息权重函数。10.如权利要求6所述一种基于时间同步的车载侧后视图像生成方法，其特征在于，清晰度得分的获取具体包括：将获取的原始畸变图像按边长为bl划分为VNUM
×
HNUM个小块IMB(f)
vh
，统计每个小块内部的清晰度分值VAR(cf)
vh
，连续统计n帧图像的每一个小块内部的清晰度分数进行累加，获得清晰度得分DF(f)
vh
：其中，f为当前图像帧序号，RESH、RESV分别为图像水平分辨率和垂直分辨率，b1为小块的边长，v∈[1，VNUM]，h∈[1，HNUM]，其中的边长，v∈[1，VNUM]，h∈[1，HNUM]，其中11.如权利要求10所述一种基于时间同步的车载侧后视图像生成方法，其特征在于，清晰度分值VAR(cf)
vh
计算方法包括：
其中，IMB(f)
vh
表示垂直序号为v，水平序号为h的小块，f...

【专利技术属性】
技术研发人员：肖文平，石川，程旭，
申请(专利权)人：浙江赫千电子科技有限公司，
类型：发明
国别省市：