全景图像拼接方法、设备及存储介质和显示方法及系统技术方案

本发明专利技术涉及一种全景图像拼接方法、设备及存储介质和显示方法及系统，在拼接方法中，通过全景环视系统已装配的左、右侧摄像头，采集车辆行驶过程中左、右侧路面场景图像，通过计算机视觉和图像处理技术，实时分析提取左、右侧路面图像中车道线特征信息，拟合左侧和右侧各拼接块图像的车道线，根据同一侧车道线所呈的夹角旋转拼接图像使其能够拟合成为一条曲线，根据旋转的角度对拼接块图像进行校正后，进行全景图像的拼接。本发明专利技术具有实现简单，图像拼接缝隙精确度高，具有前瞻性，实时性高，实用性强，稳定可靠，无需额外增加配件，具有良好的应用价值和经济效益的有益效果。的应用价值和经济效益的有益效果。的应用价值和经济效益的有益效果。

【技术实现步骤摘要】
全景图像拼接方法、设备及存储介质和显示方法及系统


[0001]本专利技术涉及车辆全景图像拼接领域，尤其涉及一种全景图像拼接方法、设备及存储介质和显示方法及系统。

技术介绍

[0002]全景环视系统，包括终端主机、摄像头和显示屏组成，主机获取汽车上前后左右四周的各个方位摄像头实时画面图像，通过图像畸变矫正、图像拼接、图像融合、图像视角变换等一系列软件算法处理技术，合成一幅2D/3D全景图像输出给车内中控显示屏，全景环视图像视角可根据汽车行驶状态自动切换，为驾驶员呈现一个真实的车辆行驶四周环境状况，驾驶员能够更直观察看视线盲区，提高驾驶的安全性。
[0003]传统全景环视系统采用4路摄像头或更多路摄像头之间相对位置固定拼接技术，即摄像头在安装到车上之后摄像头之间相对位置不会随着车辆行驶而改变，只能适用于乘用车或者车辆形态结构固定车型，无法适用于如铰接公交车、牵引车+挂车组合等形态动态变化的铰接车，因为铰接车车辆在转弯时，前后两节车厢会动态折叠。
[0004]传统解决方案采用加装铰接盘角度传感器来检测前后两节车厢之间转角值，通过转角值来实现图像拼接缝补偿，如公开号为“CN202010207381.6”的专利技术专利专利“一种用于铰接工程车辆变角度全景环视系统的实现方法”。
[0005]传统图像拼接方法，采用硬件传感器方式，拼接效果不佳，存在诸多缺点：一是采用额外加装铰接盘角度传感器方式，结构复杂，易损坏，增加车辆成本；二是铰接盘角度传感器精度不高，随着车辆使用年限增加，磨损，精度逐渐降低，导致图像拼接效果差。

技术实现思路

[0006]为了解决上述问题，本专利技术提出了一种全景图像拼接方法、设备及存储介质和显示方法及系统。
[0007]具体方案如下：
[0008]一种全景图像拼接方法，包括以下步骤：
[0009]S1：通过设置于铰接车中的牵引车上的左摄像头和右摄像头及挂车上的左摄像头和右摄像头同步采集车辆外部图像，并将采集的图像分别进行俯视变换和按照拼接区域要求裁剪处理后，生成左前拼接块图像、左后拼接块图像、右前拼接块图像和右后拼接块图像，提取各图像中的车道线特征信息；初始化设定旋转角度为0；
[0010]S2：根据提取的车道线特征信息，构建车辆坐标系，并在车辆坐标系下分别对左前拼接块图像、左后拼接块图像、右前拼接块图像和右后拼接块图像中的车道线进行拟合；
[0011]S3：判断左前拼接块图像与左后拼接块图像中的车道线或右前拼接块图像与右后拼接块图像中的车道线是否能够拟合成为一条曲线，如果是，进入S5；否则，进入S4；
[0012]S4：在车辆坐标系下根据左前拼接块图像中的车道线与左后拼接块图像中的车道线所呈的左侧夹角，或计算右前拼接块图像中的车道线与右后拼接块图像中的车道线所呈
的右侧夹角，根据左侧夹角或右侧夹角的大小和方向旋转左后拼接块图像和右后拼接块图像，并更新旋转角度为旋转时对应的角度，返回S3；
[0013]S5：根据铰接车直行状态下的常规拼接参数和旋转角度计算旋转向量和旋转角，根据旋转角校正左后拼接块图像、右后拼接块图像、设置于挂车上的后摄像头采集并处理生成的后拼接块图像和挂车车模在车辆坐标系下的位置，并结合左前拼接块图像、右前拼接块图像和设置于牵引车上的前摄像头采集并处理生成的前拼接块图像进行图像拼接，拼接为全景图像。
[0014]进一步的，车道线特征信息为车道线坐标点，其通过随机抽样一致算法进行提取。
[0015]进一步的，车辆坐标系为以车辆左前角为车辆坐标系原点，车辆前进方向为纵坐标，平行车头的方向向右为横坐标的直角坐标系。
[0016]一种全景图像拼接终端设备，包括处理器、存储器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现本专利技术实施例上述的方法的步骤。
[0017]一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现本专利技术实施例上述的方法的步骤。
[0018]一种全景图像拼接显示方法，包括：通过铰接车内安装的显示屏显示根据本专利技术实施例方法校正后的铰接车对应的车模和拼接后的全景图像。
[0019]一种全景图像拼接显示系统，包括设置于铰接车中的牵引车上的前摄像头、左摄像头和右摄像头、设置于铰接车中的挂车上的后摄像头、左摄像头和右摄像头，全景图像拼接终端设备和铰接车内安装的显示屏；六个摄像头采集铰接车外部图像信息并将其发送至全景图像拼接终端设备；全景图像拼接终端设备根据本专利技术实施例所述方法将六个摄像头采集的图像拼接为全景图像并对铰接车的车模进行校正后，将车模和全景图像发送至显示屏进行显示。
[0020]本专利技术采用如上技术方案，主要利用全景环视系统已装配的左、右侧摄像头，采集车辆行驶过程中左、右侧路面场景图像，通过计算机视觉和图像处理技术，实时分析提取左、右侧路面图像中车道线特征信息，通过车道线曲线拟合实现铰接处图像动态拼接。本专利技术具有实现简单，图像拼接缝隙精确度高，具有前瞻性，实时性高，实用性强，稳定可靠，无需额外增加配件，具有良好的应用价值和经济效益的有益效果。
附图说明
[0021]图1所示为本专利技术实施例一的流程图。
[0022]图2所示本专利技术实施例一中车辆坐标系示意图。
[0023]图3所示本专利技术实施例一中六个拼接区域示意图。
[0024]图4所示本专利技术实施例一中铰接车转弯时获取的拼接块图像示意图。
[0025]图5所示本专利技术实施例四中铰接车上安装的各摄像头位置示意图。
具体实施方式
[0026]为进一步说明各实施例，本专利技术提供有附图。这些附图为本专利技术揭露内容的一部分，其主要用以说明实施例，并可配合说明书的相关描述来解释实施例的运作原理。配合参
考这些内容，本领域普通技术人员应能理解其他可能的实施方式以及本专利技术的优点。
[0027]现结合附图和具体实施方式对本专利技术进一步说明。
[0028]实施例一：
[0029]本专利技术实施例提供了一种全景图像拼接方法，如图1所示，所述方法包括以下步骤：
[0030]S1：通过设置于铰接车中的牵引车上的左摄像头和右摄像头及挂车上的左摄像头和右摄像头同步采集车辆外部图像，并将采集的图像分别进行俯视变换和按照拼接区域要求裁剪处理后，生成左前拼接块图像、左后拼接块图像、右前拼接块图像和右后拼接块图像，提取各图像中的车道线特征信息；初始化设定旋转角度为0。
[0031]该实施例中设定车道线特征信息为车道线坐标点，通过随机抽样一致(Random sample consensus，RANSAC)算法对其进行提取。
[0032]S2：根据提取的车道线特征信息，构建车辆坐标系，并在车辆坐标系下分别对左前拼接块图像、左后拼接块图像、右前拼接块图像和右后拼接块图像中的车道线进行拟合。
[0033]该实施例中车辆坐标系为以车辆左前角为车辆坐标系原点(即X坐标与Y轴本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种全景图像拼接方法，其特征在于，包括以下步骤：S1：通过设置于铰接车中的牵引车上的左摄像头和右摄像头及挂车上的左摄像头和右摄像头同步采集车辆外部图像，并将采集的图像分别进行俯视变换和按照拼接区域要求裁剪处理后，生成左前拼接块图像、左后拼接块图像、右前拼接块图像和右后拼接块图像，提取各图像中的车道线特征信息；初始化设定旋转角度为0；S2：根据提取的车道线特征信息，构建车辆坐标系，并在车辆坐标系下分别对左前拼接块图像、左后拼接块图像、右前拼接块图像和右后拼接块图像中的车道线进行拟合；S3：判断左前拼接块图像与左后拼接块图像中的车道线或右前拼接块图像与右后拼接块图像中的车道线是否能够拟合成为一条曲线，如果是，进入S5；否则，进入S4；S4：在车辆坐标系下根据左前拼接块图像中的车道线与左后拼接块图像中的车道线所呈的左侧夹角，或计算右前拼接块图像中的车道线与右后拼接块图像中的车道线所呈的右侧夹角，根据左侧夹角或右侧夹角的大小和方向旋转左后拼接块图像和右后拼接块图像，并更新旋转角度为旋转时对应的角度，返回S3；S5：根据铰接车直行状态下的常规拼接参数和旋转角度计算旋转向量和旋转角，根据旋转角校正左后拼接块图像、右后拼接块图像、设置于挂车上的后摄像头采集并处理生成的后拼接块图像和挂车车模在车辆坐标系下的位置，并结合左前拼接块图像、右前拼接块图像和设置于牵引车上的前摄像头采集并处理生成的前拼接块图像进行图像...

【专利技术属性】
技术研发人员：叶德焰，陈从华，谢超，陈海沯，
申请(专利权)人：明见厦门技术有限公司，
类型：发明
国别省市：