一种适用于机场跑道场景的图像拼接方法技术

本发明专利技术公开了一种适用于机场跑道场景的图像拼接方法，包括：S1.利用云台摄像机相对机场跑道的角度对机场跑道图像进行形变校正，使机场跑道图像投影到与光轴垂直的平面上；S2.分别对相邻两帧机场跑道图像的白色进行提取、拟合，白色为机场跑道上的白色分割线；S3.在前一帧机场跑道图像上取待匹配区域，在后一帧机场跑道图像上选取相同大小的匹配区域，并在匹区域内获取连续的匹配模板；S4.将每个匹配模板和待匹配区域进行匹配，计算相邻两帧机场跑道图像之间的水平偏移量和竖直偏移量；S5.根据水平偏移量和竖直偏移量确定相邻两帧机场跑道图像的重合区域，并进行融合拼接。本发明专利技术的方法可用于特征匹配失效的机场跑道场景的图像拼接。

An image mosaic method for airport runway scene

【技术实现步骤摘要】
一种适用于机场跑道场景的图像拼接方法
本专利技术属于图像处理
，特别是涉及一种适用于机场跑道场景的图像拼接方法。
技术介绍
现有图像拼接算法中，通常都是通过提取两幅图像的特征点，然后对两幅图像的特征点进行匹配，构造仿射变换矩阵，从而实现两幅图的拼接融合等。然而在机场跑道的场景中，特征相对单一，相邻帧间的特征匹配失效，从而导致整个跑道的拼接融合不成功。
技术实现思路
本专利技术的目的在于克服现有技术的不足，提供一种适用于机场跑道场景的图像拼接方法，用于特征匹配失效的机场跑道场景的图像拼接。本专利技术的目的是通过以下技术方案来实现的：一种适用于机场跑道场景的图像拼接方法，包括：S1.利用云台摄像机相对机场跑道的角度对用于图像拼接的机场跑道图像进行形变校正，使机场跑道图像投影到与光轴垂直的平面上；S2.分别对形变校正后的相邻两帧机场跑道图像的白色进行提取、拟合，所述白色为机场跑道上的白色分割线；S3.在前一帧机场跑道图像上取待匹配区域，在后一帧机场跑道图像上选取与待匹配区域相同大小的匹配区域，并在匹区域内获取连续的匹配模板；S4.分别将每个匹配模板和待匹配区域进行匹配，计算相邻两帧机场跑道图像之间的水平偏移量和竖直偏移量；S5.根据水平偏移量和竖直偏移量确定相邻两帧机场跑道图像的重合区域，并通过图像融合算法对相邻两帧机场跑道图像进行融合拼接。优选的，所述步骤S1包括：S11.计算机场跑道图像梯形形变的变化因子，变化因子的计算公式为：<br>其中，α为云台摄像机的俯仰角，θy为云台摄像机俯仰方向的视场角；S12.计算校正后的机场跑道图像中各点的坐标：对于校正后的机场跑道图像中任意一点，其与校正前机场跑道图像中的坐标点存在以下关系：其中，M为机场跑道图像x方向的分辨率，N为机场跑道图像y方向的分辨率。优选的，所述步骤S2中白色分割线的计算方法包括：S21.对机场跑道图像进行阈值化，阈值化的公式为：式中，I为灰度图，I（x,y）为灰度图I中（x,y）处的灰度值，x∈（0,M）,y∈（0,N）,M为机场跑道图像x方向的分辨率，N为机场跑道图像y方向的分辨率，Ithresh为阈值化的二值图，thresh1为阈值。S22.对机场跑道图像进行旋转，旋转的公式为：式中，M为旋转前机场跑道图像x方向的分辨率，N为旋转前机场跑道图像y方向的分辨率，W为旋转后机场跑道图像x方向的分辨率，H为旋转后机场跑道图像y方向的分辨率，θ为相机偏航角，x0为旋转前的横坐标，y0为旋转前的纵坐标，cx为旋转前中心点的横坐标，cy为旋转前中心点的纵坐标，x为旋转后的横坐标，y为旋转后的纵坐标，x´为x0旋转后对应的坐标，y´为y0旋转后对应的坐标。S23.对机场跑道图像进行水平投影，水平投影的计算公式为：式中，I（x,y）为坐标（x,y）处的灰度值，P（y）为机场跑道图像第y行的水平投影均值，W为旋转后机场跑道图像x方向的分辨率，H为旋转后机场跑道图像y方向的分辨率。S24.对机场跑道图像进行峰值定位，峰值定位的计算公式为：式中，P（ymax）为中最大的水平投影均值，ymax为最大投影均值所在行数。S25.选取有效点，有效点的选取公式为：式中，（x,y）为满足y所在的阈值范围内的位置信息，Points为有效点集，scale为设置的固定值。S26.通过最小二乘法拟合白色分割线，计算公式为：式中，n为Points中点的个数，i为Points中的序列，xi为序列i在机场跑道图像中的横坐标，yi为序列i在机场跑道图像中的纵坐标，a和b为白色分割线拟合的直线参数信息。优选的，所述步骤S3中，待匹配区域的选取方式为：在前一帧机场跑道图像上根据预设的白色分割线邻域范围选取待匹配区域；匹配区域的选取方式为：在后一帧机场跑道图像上白色分割线相同的领域范围选取相同大小的区域。优选的，所述步骤S3中，所有匹配模板大小相同，且相邻匹配模板之间在水平方向上间隔相同像素。优选的，所述步骤S4中将匹配模板和待匹配区域进行匹配的方式为：S41.分别对各匹配模板在待匹配区域进行模板匹配：计算待匹配区域中与匹配模板匹配度最高的区域，记为匹配位置；S42.分别计算各匹配模板相较于对应的匹配位置的水平偏移量；S43.统计各匹配模板的水平偏移量，并选取连续性最大的水平偏移量作为最终的水平偏移量。优选的，所述步骤S4中模板匹配的方法为：式中，T为模板块数据，I´为待匹配数据，x为待匹配数据I´中横坐标位置,y为待匹配数据I´中纵坐标位置,x´为模板块数据中对应的横坐标位置,y´为模板块数据中对应的纵坐标位置，R（x,y）为匹配度。优选的，所述步骤S4中，水平偏移量的计算公式为：式中，x0为匹配成功的前一帧机场跑道图像的横坐标,x1分别为匹配成功的后一帧机场跑道图像的横坐标；竖直偏移量的计算公式为：式中，y0为x0对应的纵坐标,y1为x1对应的纵坐标。优选的，所述步骤S5中融合拼接的公式为：式中，F为融合结果数据，F0为前一帧机场跑道图像的重合区域，F1分别为后一帧机场跑道图像的重合区域。本专利技术的有益效果是：（1）本专利技术的方法在特征点匹配不成功时也能完成机场跑道图像的拼接；（2）本专利技术利用云台摄像机的方位角对摄像头采集的机场跑道图像进行映射，使图像数据最终呈现为正射图形式，使水平投影方法更有效；（3）本专利技术基于投影水平投影拟合分割线方法，使前后帧机场跑道图像进行拼接时在垂直方向具有更好的适应性和稳定性；（4）本专利技术通过白色分割线附近的连续的模板匹配统计方法获取相邻帧机场跑道图像的水平偏移量和竖直偏移量，提高拼接时的精度。附图说明图1为本专利技术一种实施方式的流程图；图2为本专利技术中图像形变校正公式推导的一个示意图；图3为模板匹配时的一个示意图；图4为图像拼接时的一个示意图。具体实施方式下面将结合实施例，对本专利技术的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域技术人员在没有付出创造性劳动的前提下所获得的所有其他实施例，都属于本专利技术保护的范围。参阅图1-4，本专利技术提供一种适用于机场跑道场景的图像拼接方法：如图1所示，一种适用于机场跑道场景的图像拼接方法，包括：S1.利用云台摄像机相对机场跑道的角度对用于图像拼接的机场跑道图像进行形变校正，使机场跑道图像投影到与光轴垂直的平面上。所述步骤S1包括：S11.计算机场跑道图像梯形形变的变化因子，变化因子的计算公式为：其中，α为云台摄像机的俯仰角，θy为云台本文档来自技高网...

【技术保护点】
1.一种适用于机场跑道场景的图像拼接方法，其特征在于，包括：/nS1.利用云台摄像机相对机场跑道的角度对用于图像拼接的机场跑道图像进行形变校正，使机场跑道图像投影到与光轴垂直的平面上；/nS2.分别对形变校正后的相邻两帧机场跑道图像的白色进行提取、拟合，所述白色为机场跑道上的白色分割线；/nS3.在前一帧机场跑道图像上取待匹配区域，在后一帧机场跑道图像上选取与待匹配区域相同大小的匹配区域，并在匹区域内获取连续的匹配模板；/nS4.分别将每个匹配模板和待匹配区域进行匹配，计算相邻两帧机场跑道图像之间的水平偏移量和竖直偏移量；/nS5.根据水平偏移量和竖直偏移量确定相邻两帧机场跑道图像的重合区域，并通过图像融合算法对相邻两帧机场跑道图像进行融合拼接。/n

【技术特征摘要】
1.一种适用于机场跑道场景的图像拼接方法，其特征在于，包括：
S1.利用云台摄像机相对机场跑道的角度对用于图像拼接的机场跑道图像进行形变校正，使机场跑道图像投影到与光轴垂直的平面上；
S2.分别对形变校正后的相邻两帧机场跑道图像的白色进行提取、拟合，所述白色为机场跑道上的白色分割线；
S3.在前一帧机场跑道图像上取待匹配区域，在后一帧机场跑道图像上选取与待匹配区域相同大小的匹配区域，并在匹区域内获取连续的匹配模板；
S4.分别将每个匹配模板和待匹配区域进行匹配，计算相邻两帧机场跑道图像之间的水平偏移量和竖直偏移量；
S5.根据水平偏移量和竖直偏移量确定相邻两帧机场跑道图像的重合区域，并通过图像融合算法对相邻两帧机场跑道图像进行融合拼接。


2.根据权利要求1所述的一种适用于机场跑道场景的图像拼接方法，其特征在于，所述步骤S1包括：
S11.计算机场跑道图像梯形形变的变化因子，变化因子的计算公式为：



其中，α为云台摄像机的俯仰角，θy为云台摄像机俯仰方向的视场角；
S12.计算校正后的机场跑道图像中各点的坐标：对于校正后的机场跑道图像中任意一点，其与校正前机场跑道图像中的坐标点存在以下关系：



其中，M为机场跑道图像x方向的分辨率，N为机场跑道图像y方向的分辨率。


3.根据权利要求1所述的一种适用于机场跑道场景的图像拼接方法，其特征在于，所述步骤S2中白色分割线的计算方法包括：
S21.对机场跑道图像进行阈值化，阈值化的公式为：



式中，I为灰度图，I（x,y）为灰度图I中（x,y）处的灰度值，x∈（0,M）,y∈（0,N）,M为机场跑道图像x方向的分辨率，N为机场跑道图像y方向的分辨率，Ithresh为阈值化的二值图，thresh1为阈值；
S22.对机场跑道图像进行旋转，旋转的公式为：



式中，M为旋转前机场跑道图像x方向的分辨率，N为旋转前机场跑道图像y方向的分辨率，W为旋转后机场跑道图像x方向的分辨率，H为旋转后机场跑道图像y方向的分辨率，θ为相机偏航角，x0为旋转前的横坐标，y0为旋转前的纵坐标，cx为旋转前中心点的横坐标，cy为旋转前中心点的纵坐标，x为旋转后的横坐标，y为旋转后的纵坐标，x´为x0旋转后对应的坐标，y´为y0旋转后对应的坐标；
S23.对机场跑道图像进行水平投影，水平投影的计算公式为：



式中，I（x,y）为坐标（x,y）处的灰度值，P（y）为机场跑道图像第y行的水平投影均值，W为旋转后机场跑道图像x方向的分辨率，H为旋转后机场跑道图像y方向的分辨率；
S24.对机场跑道图像进行峰值定位，峰值定位的计算公式为：

【专利技术属性】
技术研发人员：冉欢欢，蒙顺开，刘昕烨，李博，
申请(专利权)人：成都科睿埃科技有限公司，
类型：发明
国别省市：四川;51