【技术实现步骤摘要】
本专利技术涉及计算机视觉与自动驾驶领域，尤其是涉及一种基于四路鱼眼相机的车载实时540度环视方法。
技术介绍
1、随着汽车工业的飞速发展，确保驾驶安全和行车便利成为了重中之重。车载环视系统作为一种能够提供车辆周围实时视图的技术，对于消除盲点，增加驾驶员对周围环境的认知，以及辅助停车等应用方面具有显著的优势。传统的车载环视系统主要基于一定数量的摄像头和传感器，通过收集和处理这些设备的数据，生成车辆周围的二维或三维视图。
2、如公开号为cn107066954a的中国专利文献公开了一种车载360度环视显示方法及系统，公开号为cn111179168a的中国专利文献公开了一种车载360度全景环视监控系统及方法。然而，现有的车载环视系统往往只能提供有限的视角，例如360度的环视范围，这在某些情况下可能不足以提供充分的视野覆盖，特别是在复杂的交通环境和多层交通结构中。
3、现有的环视技术主要包括通过多个摄像头的图像拼接，生成二维或三维的周围视图。但是，这些系统的视角往往受限于摄像头的数量、位置和视场角。尽管有一些先进的车载环视系统尝试通过增加摄像头数量或改变摄像头布局来扩展视角范围，但这往往会增加系统的复杂性和成本。此外，传统的图像拼接和处理技术也可能会产生视图失真和延迟，影响驾驶员的实时反应。
技术实现思路
1、本专利技术提供了一种基于四路鱼眼相机的车载实时540度环视方法，仅依靠普通鱼眼相机，就能够实现对车辆周围环境的全方位、高精度和实时的监测，从而大大提高驾驶安全和
2、一种基于四路鱼眼相机的车载实时540度环视方法，包括以下步骤：
3、(1)获取四个鱼眼摄像头的原始图像；
4、(2)对获取的原始图像进行去畸变操作，得到正常视角下的图片；
5、(3)对图片内容进行坐标变换，从原始的像素坐标系变换至相机坐标系再到世界坐标系；
6、(4)将世界坐标系中的各点投影至俯视图视角，并通过差值完成环形拼接；
7、(5)建立三维360度环视模型，将俯视图上各点投影至三维世界坐标系中；
8、(6)以车顶中心为虚拟相机原点，完成一个角度的虚拟相机成像；通过变换n(优选为36)个角度，将n个离散角度的影像，拼接成连续的任意角度的360度三维环视图像；
9、(7)将步骤(2)得到的正常视角下的图像投影到鸟瞰图；
10、(8)通过光流法匹配相邻两帧鸟瞰图的特征点，并对特征点进行过滤，得到前后两帧之间的变换关系；
11、(9)将上一帧俯视图进行变换，取出变换后的扩展底盘区域，并与当前帧的俯视图进行融合，得到透明底盘图像；
12、(10)将步骤(6)得到360度三维环视图像和步骤(9)得到的透明底盘图像拼接在一起，得到540度环视图像。
13、本专利技术的方法，输入四角度鱼眼相机图像，去畸变生成360车周环视视图，再结合基于视觉里程计的透明底盘技术，生成540度全视角车周环视影像。通过全方位视角的展示，有效加强智能座舱中的驾驶员对车辆周围的信息感知，提高人车交互便利与驾驶安全性。同是，使用的设备成本都加以了控制，摄像头是普通鱼眼相机，在获取最大视角范围的同时最大限度地降低了成本。
14、进一步地，步骤(2)中，对获取的原始图像进行去畸变操作，具体包括：
15、使用多项式模型来描述径向和切向畸变，假设(x，y)是畸变图像中的一个点，而(xd，yd)是矫正后图像中的对应点，径向畸变和切向畸变用以下公式描述：
16、
17、式中，r2＝x2+y2，k1，k2，k3是径向畸变系数，p1，p2是切向畸变系数；这些畸变参数在相机标定中获得；上式描述了从畸变图像到矫正图像的像素坐标映射关系，通过双线性插值算法应用映射来生成矫正畸变后的四个鱼眼相机的图像i′i，i＝1，2，3，4。
18、步骤(3)的具体过程为：
19、首先是从像素坐标系转换至相机坐标系，使用内参矩阵乘法，假设有一个像素点(u，v)，内参矩阵k表示为：
20、
21、其中，fx，fy是沿x和y轴的焦距，以像素为单位；cx，cy是相机光轴与图像平面交点的坐标；接着使用内参矩阵，将该点的像素坐标(u，v)转换成相机坐标(x，y，z)；
22、
23、相机坐标系以相机光心为原点，z轴正方向对准镜头的朝向，x和y轴平行于成像平面；世界坐标系是以车体中心为原点，x轴朝车的前进方向，y轴横穿车体，z轴垂直于地面；
24、假设有一个三维点pc＝[xc，yc，zc]t在相机坐标系中，其在世界坐标系pw＝[xw，yw，zw]t的位置通过以下公式计算：
25、pc＝rpw+t
26、式中，r，t分别为从世界坐标系到相机坐标系的旋转矩阵和平移向量，为相机标定时得到的相机内参，
27、上式在齐次坐标中表示为：pc＝tpw，通过取逆变换，即从相机坐标系投影到世界坐标系：
28、pw＝t-1pc。
29、步骤(4)的具体过程为：
30、先对地面视角内的部分进行俯视图映射，按照鱼眼相机视角映射为四个梯形，对四个梯形图像拼接后，对重合部分进行线性插值，完成重叠部分的拼接；同时按预先测出的亮度参数，对图片整体亮度进行调节，完成基础俯视图的拼接；
31、得到基础俯视图后，取圆形区域作为360环视图的地平线以下部分，同时，对去畸变后的图像继续取上半部分，进行环形映射，将原本的矩形图片按圆环的形状映射为四个中心角为108°的部分圆环，部分圆环的中心角与各个鱼眼相机的视角相同，圆环内侧的半径与基础俯视图的半径相同；
32、在四个位置的图片均完成环形映射后，进行拼接，以世界坐标系的原点为圆心，将四个部分圆环拼接为整个圆环。
33、进行环形映射的具体过程为：
34、首先是取一个符合摄像头有效画面视角角度的部分圆环，其内半径为r1，外半径为r2，角度为108°，圆心坐标(xc，yc)；将整个部分圆环内的像素遍历，在原始去畸变的图像上一一找到对应的像素，并在部分圆环上进行填充；将矩形图像的宽度w映射到圆环的角度，高度h映射到圆环的半径；对于圆环内的某一像素(xr′，yr′)，其笛卡尔坐标表示为：
35、
36、式中，部分圆环上的(xr′，yr′)像素对应的矩形图像中的像素为(xr，yr)；映射到圆环后的角度而映射到圆环后的半径是找到原始图像中对应的像素后，将其填充至部分圆环的区域；由此，完成对部分圆环区域内所有像素的遍历后，就自动完成填充，保证每个扇形像素都能在原图找到对应像素点，并且整个区域不会存在反向映射时导致的黑色噪点。
37、步骤(5)中，建立三维360度环视模型的具体过程为：
38、360度环视地平线以下部分直接使用步骤(4)中生成的圆形基础俯视图，建模为平整底面；地平线以上部本文档来自技高网...
【技术保护点】
1.一种基于四路鱼眼相机的车载实时540度环视方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于四路鱼眼相机的车载实时540度环视方法，其特征在于，步骤(2)中，对获取的原始图像进行去畸变操作，具体包括：
3.根据权利要求1所述的基于四路鱼眼相机的车载实时540度环视方法，其特征在于，步骤(3)的具体过程为：
4.根据权利要求1所述的基于四路鱼眼相机的车载实时540度环视方法，其特征在于，步骤(4)的具体过程为：
5.根据权利要求4所述的基于四路鱼眼相机的车载实时540度环视方法，其特征在于，进行环形映射的具体过程为：
6.根据权利要求5所述的基于四路鱼眼相机的车载实时540度环视方法，其特征在于，步骤(5)中，建立三维360度环视模型的具体过程为：
7.根据权利要求6所述的基于四路鱼眼相机的车载实时540度环视方法，其特征在于，步骤(6)中，使用虚拟相机对三维360度环视模型进行成像，其成像公式表示为：
8.根据权利要求1所述的基于四路鱼眼相机的车载实时540度环视方法，其特征在于，
9.根据权利要求1所述的基于四路鱼眼相机的车载实时540度环视方法，其特征在于，步骤(8)中，首先对图像进行Harris角点检测，得到一组角点，其次使用Lucas-Kanade光流法计算相邻两帧的特征点；
10.根据权利要求9所述的基于四路鱼眼相机的车载实时540度环视方法，其特征在于，步骤(9)具体为：假设当前时刻为t，那么，对于t-1时刻的俯视图bt-1，调用opencv提供的warpPerspective函数，将单应性矩阵M作用在bt-1上，得到变换后的扩展底盘区域b′t-1，将b′t-1与和bt通过底盘融合权重矩阵进行融合，得到透明底盘图像。
...【技术特征摘要】
1.一种基于四路鱼眼相机的车载实时540度环视方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于四路鱼眼相机的车载实时540度环视方法，其特征在于，步骤(2)中，对获取的原始图像进行去畸变操作，具体包括：
3.根据权利要求1所述的基于四路鱼眼相机的车载实时540度环视方法，其特征在于，步骤(3)的具体过程为：
4.根据权利要求1所述的基于四路鱼眼相机的车载实时540度环视方法，其特征在于，步骤(4)的具体过程为：
5.根据权利要求4所述的基于四路鱼眼相机的车载实时540度环视方法，其特征在于，进行环形映射的具体过程为：
6.根据权利要求5所述的基于四路鱼眼相机的车载实时540度环视方法，其特征在于，步骤(5)中，建立三维360度环视模型的具体过程为：
7.根据权利要求6所述的基于四路鱼眼相机的车载实时540度环视方法，其特征在于，步骤(6)中，使用虚拟相机对三维360度环视模型进行成像，其成像公式表示为：
8.根据权利要求1所述的基于四路鱼眼相机的车载实时540度环视方法，其特征在于，步骤(7)中...
【专利技术属性】
技术研发人员：李科，朱墨，蔡闰羽，顾立辉，谢亮，陈征，
申请(专利权)人：宁波弗浪科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。