车载六路摄像头的全景拼接方法技术

本发明专利技术涉及一种车载六路摄像头的全景拼接方法。通过生成全景图像的映射表，将六路鱼眼图像直接投影到全景3D模型上；该方法将鱼眼图像畸变校正，投影变换，图像拼接等操作写入映射表中，与全景3D模型进行映射和亮度融合，极大的提高了六路视频全景显示的实时性，并且改善了不同摄像头图像的亮度差异的问题。

【技术实现步骤摘要】
车载六路摄像头的全景拼接方法
本专利技术涉及一种车载六路摄像头的全景拼接方法。
技术介绍
随着现代科技技术的发展和进步，汽车逐步成为人们日常的交通工具。然而，在车辆行驶过程中，尤其对于大型的车辆，后视镜可视范围有限，造成诸多安全隐患。为解决视觉盲区的问题，当前采用最多的是在车身安装多个摄像头，进行标定与投影变换生成多路的全景视频。目前已有的专利《用于辅助驾驶的车辆多视角全景生成方法》，《基于OpenGL的多路视频拼接方法及系统》分别采用了全景图像查找表和OpenGL纹理贴图的方法来提高实时性。但都是四路的拼接系统，并未对六路的拼接方法进行描述。对于大型车辆而言，四个摄像头成像范围明显不足，而将摄像头增加到六路必然会增加算法的复杂度,需要进行优化。此外上述专利并未对拼接的重叠区域进行描述，针对上述存在的问题，本专利技术提出一种车载六路摄像头的全景拼接方法。对于大型车辆而言，由于四路摄像头的观测范围有限,需要采用车载六路摄像头进行观测。摄像头数量的增加，提高了全景拼接算法的复杂度，全景显示的实时性受到影响。因此本专利技术提供了一种用于车载六路摄像头的全景拼接方法。
技术实现思路
本专利技术的目的在于提供一种车载六路摄像头的全景拼接方法，通过生成全景图像的映射表，将六路鱼眼图像直接投影到全景3D模型上，极大的提高了六路视频全景显示的实时性，并且改善了不同摄像头图像的亮度差异的问题。为实现上述目的，本专利技术的技术方案是：一种车载六路摄像头的全景拼接方法，首先，通过车载六路鱼眼摄像头采集图像，通过鱼眼图像消畸变和标定算法，生成位置映射表；而后，建立全景3D模型，并建立位置映射表与全景3D模型的映射关系；最后，生成边缘融合亮度映射表，实现车载六路鱼眼图像的全景拼接，全景显示。在本专利技术一实施例中，该方法具体实现步骤如下，步骤S1、首先，结合鱼眼图像消畸变算法和鱼眼摄像头内置矩阵参数以及四个变形系数对车载六路鱼眼图像进行消畸变处理，其中，内置矩阵参数的矩阵格式为，四个变形系数组成的向量格式为[k1,k2,p1,p2]；然后，通过六路标定，根据物体的真实位置信息作相应的投影变换；最终构建从鱼眼图像到投影变换的位置映射表；步骤S2、绘制出整个显示全景所需要的全景3D模型，模型由7块不同区域组成，模型底部为全景俯视模型，其余则是全景环视模型；整个底部全景俯视部分由六个鱼眼镜头俯视部分共同拼接完成；将鱼眼图像根据位置映射表进行点到点的映射生成全景图像后，相邻鱼眼摄像头的鱼眼图像预留出重叠区域；步骤S3、对相邻摄像头的两个鱼眼图像拼接预留出的重叠区域进行边缘融合：设定其中一鱼眼图像的重叠区域的混合因子自左向右，按步长为单位像素，从0到1.0变化，设为a，则另一鱼眼图像的重叠区域的混合因子则设为1-a；获取进行拼接的两个鱼眼图像的亮度参数，若该两个鱼眼图像的亮度差值超过预设阈值，则进行亮度调节，使得两个鱼眼图像的亮度差值不大于预设阈值；通过调节后的亮度参数值与混合因子共同生成亮度映射表；实现车载六路鱼眼图像的全景拼接，全景显示。在本专利技术一实施例中，步骤S2中，采用3DMAX软件来绘制全景3D模型。在本专利技术一实施例中，步骤S3中，亮度映射表的更新操作按预设时间间隔进行。相较于现有技术，本专利技术具有以下有益效果：本专利技术实现了六路摄像头视频拼接的同时，利用OpenGL的纹理映射技术配合模型与映射表加快显示的速度以至满足实时显示；本专利技术可用于大型客车、货车的全景实时显示；本专利技术采用映射表的方法也可以方便移植到基于DSP的开发平台。附图说明图1为本专利技术方法流程图。图2为位置映射表生成图。图3为全景3D模型示意图。图4为亮度映射表生成图。图5为结果图。图6为摄像头安装与俯视棋盘格。图7为3D模型。具体实施方式下面结合附图，对本专利技术的技术方案进行具体说明。本专利技术提供了一种车载六路摄像头的全景拼接方法，首先，通过车载六路鱼眼摄像头采集图像，通过鱼眼图像消畸变和标定算法，生成位置映射表；而后，建立全景3D模型，并建立位置映射表与全景3D模型的映射关系；最后，生成边缘融合亮度映射表，实现车载六路鱼眼图像的全景拼接，全景显示；该方法具体实现步骤如下，步骤S1、首先，结合鱼眼图像消畸变算法和鱼眼摄像头内置矩阵参数以及四个变形系数对车载六路鱼眼图像进行消畸变处理，其中，内置矩阵参数的矩阵格式为，四个变形系数组成的向量格式为[k1,k2,p1,p2]；然后，通过六路标定，根据物体的真实位置信息作相应的投影变换；最终构建从鱼眼图像到投影变换的位置映射表；步骤S2、绘制出整个显示全景所需要的全景3D模型，模型由7块不同区域组成，模型底部为全景俯视模型，其余则是全景环视模型；整个底部全景俯视部分由六个鱼眼镜头俯视部分共同拼接完成；将鱼眼图像根据位置映射表进行点到点的映射生成全景图像后，相邻鱼眼摄像头的鱼眼图像预留出重叠区域；步骤S3、对相邻摄像头的两个鱼眼图像拼接预留出的重叠区域进行边缘融合：设定其中一鱼眼图像的重叠区域的混合因子自左向右，按步长为单位像素，从0到1.0变化，设为a，则另一鱼眼图像的重叠区域的混合因子则设为1-a；获取进行拼接的两个鱼眼图像的亮度参数，若该两个鱼眼图像的亮度差值超过预设阈值，则进行亮度调节，使得两个鱼眼图像的亮度差值不大于预设阈值；通过调节后的亮度参数值与混合因子共同生成亮度映射表；实现车载六路鱼眼图像的全景拼接，全景显示。步骤S2中，采用3DMAX软件来绘制全景3D模型。步骤S3中，亮度映射表的更新操作按预设时间间隔进行。以下为本专利技术的具体实现过程。本专利技术采用一种基于OpenGL的纹理映射技术，通过生成多路映射表来实现鱼眼图像的消畸变以及拼接的方法，流程如图1所示。映射表分为两类，第一类是位置映射表，第二类是亮度映射表。位置映射表的制作，首先将鱼眼图像进行畸变和校正等处理转化成平面图像数据，如位置映射表生成图2所示，如图2-1表示输入的原始图像，将它经过消畸变算法映射到图2-2，即构建A点到B点的映射关系，从而得到的是校正后的图像；其中，为了使消除畸变的图像更好，使用摄像头参数调整。获取鱼眼摄像头的内置矩阵参数，矩阵格式为，以及四个变形系数组成的向量，大小为4x1或者1x4，格式为[k1,k2,p1,p2]。将图2-2的坐标通过矩阵变换映射到图2-3，即B点到C点的映射关系，从而到达对图像更进一步的校正、调整作用，减小图像的形变与拉伸的出现。然后，通过六路标定，对图2-3根据物体的真实位置信息做相应的投影变换，即将C坐标变换到D点，根据模型区域的不同，如图3所示，近处为俯视投影，远处为环视投影。由此构建鱼眼图像直接到最后拼接图像的位置映射表。本专利技术使用3DMAX软件绘制出整个显示全景所需要的模型如图3所示，模型由7块不同区域组成，其尺寸根据实际车型可做相应的调整。模型底部为全景俯视模型，其余则是全景环视模型。将模型的三维世界坐标导出到文本文件中。其次，将模型文本导入到OpenGL中，将3DMAX制作的模型在三维空间中完全重新构建出来。同一个摄像头拥有两张位置映射表，分别为环视映射与俯视映射表，前置摄像头s11为环视，s12为俯视，整个底部俯视由六个镜头俯视部分共同拼接完成。将采集到的视频数据根据位置映射表进行点到点的映射生成全景图像后。为本文档来自技高网...

【技术保护点】
1.一种车载六路摄像头的全景拼接方法，其特征在于，首先，通过车载六路鱼眼摄像头采集图像，通过鱼眼图像消畸变和标定算法，生成位置映射表；而后，建立全景3D模型，并建立位置映射表与全景3D模型的映射关系；最后，生成边缘融合亮度映射表，实现车载六路鱼眼图像的全景拼接，全景显示。

【技术特征摘要】
1.一种车载六路摄像头的全景拼接方法，其特征在于，首先，通过车载六路鱼眼摄像头采集图像，通过鱼眼图像消畸变和标定算法，生成位置映射表；而后，建立全景3D模型，并建立位置映射表与全景3D模型的映射关系；最后，生成边缘融合亮度映射表，实现车载六路鱼眼图像的全景拼接，全景显示。2.根据权利要求1所述的车载六路摄像头的全景拼接方法，其特征在于，该方法具体实现步骤如下，步骤S1、首先，结合鱼眼图像消畸变算法和鱼眼摄像头内置矩阵参数以及四个变形系数对车载六路鱼眼图像进行消畸变处理，其中，内置矩阵参数的矩阵格式为，四个变形系数组成的向量格式为[k1,k2,p1,p2]；然后，通过六路标定，根据物体的真实位置信息作相应的投影变换；最终构建从鱼眼图像到投影变换的位置映射表；步骤S2、绘制出整个显示全景所需要的全景3D模型，模型由7块不同区域组成，模型底部为全景俯视模型，其余则是全景环视模型；整个底部全景俯视部分...

【专利技术属性】
技术研发人员：潘林，朱有煌，魏云龙，陈志峰，
申请(专利权)人：福州大学，
类型：发明
国别省市：福建,35