【技术实现步骤摘要】
本专利技术涉及智能座舱领域，尤其是涉及一种基于车载四路摄像头的纯视觉透明底盘实现方法及系统。
技术介绍
1、近年来，随着图像处理和计算机视觉领域算法的发展，使得摄像头在车载领域的应用更加广泛，通过车载摄像头能完成的任务也更加多样，例如辅助泊车、行车记录仪、全息影像等，更多车载摄像头的使用在不断挖掘，透明底盘就是其中之一。透明底盘就是在通过车载周身摄像头将各个摄像头拍摄到的场景转化为俯视图(鸟瞰图)视角下的信息，同时能展现车辆底盘下图像数据，通过不直接在车底安装摄像头的方式而是在车辆运动的过程中将之前捕捉到图像数据，绘制在车辆底盘这个视野盲区上。这样做的好处是能够帮助司机更加全面捕捉到路面上的信息，类似于车道线、停车线以及坑洼的路面、石头等障碍物可以及时避开。
2、如公开号为cn115891836a的中国专利文献公开了一种基于摄像头的越野汽车透明底盘显示方法，通过环车影像控制器的内置算法，对车载前/后摄像头采集的画面进行缓存，并根据画面采集时的车速，将采集的画面一帧一帧叠加起来，得到底盘盲区影像，从而将底盘盲区在车载显示屏上显示，形成透明底盘效果。
3、公开号为cn114872631a的中国专利文献公开了一种透明底盘功能实现方法，包括：当车辆在a地点时，获取车辆即将前进方向的路面图像；结合车速和方向盘转向，在车辆行驶到对应路面区域b地点时，将在a地点提前获取到的路面图像和b地点前后左右四个方向的图像进行拼接，得到车辆前后左右360°全景及地面180°底盘透视影像。
4、然而，目前相关工作主要通过
技术实现思路
1、本专利技术提供了一种基于车载四路摄像头的纯视觉透明底盘实现方法及系统，通过将原始的四路摄像头采集到的原始图片，在生成俯视图的同时，通过对历史帧的图像处理，获取当前车辆底盘的盲区的路面情况，有助于提升驾驶的安全性。
2、一种基于车载四路摄像头的纯视觉透明底盘实现方法，包括以下步骤：
3、(1)获取四路摄像头的原始图片数据并进行去畸变，得到去畸变后的图像{ii,i＝1,2,3,4}；
4、(2)将去畸变后的图像根据映射投影到俯视图，得到四路俯视图{bi,i＝1,2,3,4}；
5、(3)对四路俯视图进行色彩以及亮度均衡，并进行图像的拼接；拼接过程中，通过重叠区域构造融合权重矩阵，进行重叠区域的像素融合，最终得到当前时刻整体俯视图pt；
6、(4)通过lk光流法计算相邻两帧的特征点，对特征点进行过滤，并对两组特征点计算单应性矩阵m；
7、(5)将单应性矩阵m作用于上一帧的俯视图pt-1pt-1，通过扩展后底盘区域的掩码取出变换后的扩展底盘区域，将当前帧的俯视图pt通过底盘融合权重矩阵和变换后的扩展底盘区域进行融合；
8、(6)实时显示当前t时刻包含透明底盘的整体俯视图。
9、步骤(2)的具体过程为：
10、在投影到俯视图的操作中，对于每路摄像头，需要通过相机内外参初始化一个映射矩阵保存俯视图的像素坐标(xw,yw)和去除畸变后的图像坐标(u,v)的映射关系后续只需要通过该映射关系即生成该路摄像头俯视图bi；
11、假设图像相机坐标系下的点p:(xc,yc,zc)在图像坐标系下的成像点是q:(x,y)，根据相似三角形得到式：
12、
13、其中，f为相机的焦距，z为归一化系数，再由图像坐标系转换到像素坐标系，得到完整的转换如下式：
14、
15、其中，dx和dy分别代表每个像素点在图像坐标系上的尺寸，u0和v0代表图像坐标系到像素坐标系x轴和y轴的平移量，和焦距f一样是每个相机固有的参数；代表旋转矩阵，代表平移向量，构成相机的外参；在计算每路摄像头的俯视图中，令zw＝1，对于每一个点(xw,yw)都通过上式得到对应的像素坐标(u,v)，并取出像素值并赋值俯视图上，即得到每路俯视图，即由此得到
16、步骤(3)中，对四路俯视图进行色彩均衡的具体过程为：
17、已有4路俯视图bi,i＝1,2,3,4，假设bi-1是bi是顺时针方向的上一个俯视图，这里设定第1个相机的图片的顺时针方向的上一个是第4个相机的图片，第i个相机的c通道的色彩校正系数αi,c用下式得到：
18、
19、其中，bi-1∪bi是图片bi-1和bi的重叠部分，bi,c(u,v)为俯视图bi的像素坐标为(u,v)处的通道c的像素值，c∈{r,g,b}，λ代表增强系数；重叠区域的rgb三通道的均值需要一致；得到的色彩校正系数αi,c后，对第i个相机的图像进行矫正，公式为：
20、bi,c←αi,cbi,c。
21、步骤(3)中，进行图像拼接的具体过程为：
22、对于各个摄像头重叠区域的权重融合，俯视图上的投影图像bi-1和bi的重叠区域，其中坐标为(x,y)∈bi-1∪bi的点到两个摄像头在俯视图投影区域的边界的距离为d1(x,y)和d2(x,y)，计算权重w1(x,y)和w2(x,y)，由于图像是rgb三通道图像，因此对于图像的每一个通道都进行权重的融合，权重的计算公式为：
23、
24、对俯视图图像bi-1和bi重叠区域进行如下矫正：
25、bi,c(x,y)←w1,c(x,y)·bi,c(x,y)+w2,c(x,y)·bi-1,c(x,y)
26、最终融合四路俯视图得到t时刻宽为w、高为h的整体俯视图结果pt。
27、步骤(4)的具体过程为：
28、首先对图像使用harris角点检测算法得到一组角点，然后使用lucas-kanade光流法计算相邻两帧的特征点；
29、对于检测到的特征点，使用过滤策略得到相应的特征点匹配对后，通过opencv提供的findhomography方法计算单应性矩阵
30、所述的过滤策略包括：
31、从运动角度的方向考虑，角度车辆有倒车和前进，根据方向的众数过滤掉不正确的方向；
32、从运动的速度方向考虑，过滤运动距离超过阈值的点；并保证每个摄像头区域的点的运动距离限制在[0.5μ,1.5μ]之间，其中μ代表所有特征点运动距离的均值；
33、利用ransac算法最终对整体过滤。
34、步骤(5)的具体过程为：
35、假设当前时刻为t，t-1时刻的整体俯视图pt-1，调用opencv提供的warpperspective函数，将得到的单应性矩阵m作用在pt-1上，将得到的本文档来自技高网...
【技术保护点】
1.一种基于车载四路摄像头的纯视觉透明底盘实现方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于车载四路摄像头的纯视觉透明底盘实现方法，其特征在于，步骤(2)的具体过程为：
3.根据权利要求1所述的基于车载四路摄像头的纯视觉透明底盘实现方法，其特征在于，步骤(3)中，对四路俯视图进行色彩均衡的具体过程为：
4.根据权利要求1所述的基于车载四路摄像头的纯视觉透明底盘实现方法，其特征在于，步骤(3)中，进行图像拼接的具体过程为：
5.根据权利要求1所述的基于车载四路摄像头的纯视觉透明底盘实现方法，其特征在于，步骤(4)的具体过程为：
6.根据权利要求5所述的基于车载四路摄像头的纯视觉透明底盘实现方法，其特征在于，所述的过滤策略包括：
7.根据权利要求1所述的基于车载四路摄像头的纯视觉透明底盘实现方法，其特征在于，步骤(5)的具体过程为：
8.一种基于车载四路摄像头的纯视觉透明底盘实现系统，其特征在于，包括：
【技术特征摘要】
1.一种基于车载四路摄像头的纯视觉透明底盘实现方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于车载四路摄像头的纯视觉透明底盘实现方法，其特征在于，步骤(2)的具体过程为：
3.根据权利要求1所述的基于车载四路摄像头的纯视觉透明底盘实现方法，其特征在于，步骤(3)中，对四路俯视图进行色彩均衡的具体过程为：
4.根据权利要求1所述的基于车载四路摄像头的纯视觉透明底盘实现方法，其特征在于，步骤(3)中，进行图...
【专利技术属性】
技术研发人员：李科，陈征，顾立辉，蔡闰羽，朱墨，谢亮，
申请(专利权)人：宁波弗浪科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。