一种针对幕墙建筑立面的全景图像拼接方法技术

一种针对幕墙建筑立面的全景图像拼接方法，包括以下步骤：获取幕墙建筑立面的高清图像序列，经过图像预处理后，确定图像关键区域(Region of Interest，ROI)，利用视觉特征识别算法提取立面关键区域的特征点，计算并划分图像序列间的重叠区域，剔除无关特征点后进行初步配准，估计特征点配准模型参数完成不同图像间特征点的精确配准及单应性变换矩阵的求解，校正优化变换模型后确定最优拼接缝并进行图像拼接。该方法弥补了传统全景图像拼接算法难以应用于玻璃幕墙建筑等场景下的缺点，为幕墙建筑外观质量损伤检测评估提供了一种高效方法。

A panoramic image mosaic method for facade of curtain wall building

【技术实现步骤摘要】
一种针对幕墙建筑立面的全景图像拼接方法
本专利技术涉及结构健康监测领域及图像特征识别及配准
，特指一种针对幕墙建筑立面的全景图像拼接方法。
技术介绍
计算机视觉在近年来飞速发展，成为了非常热门的人工智能方向之一。图像拼接是计算机视觉和图像处理领域的研究热点，它是将多幅互相存在重叠区域的图像序列进行空间配准，经图像融合后形成一幅包含各图像序列信息的、宽视角场景的、高分辨率的图像。目前尚未见到针对幕墙建筑等场景的一套完整可行的全景高清图像拼接方法。图像配准作为图像拼接技术的关键与核心，它是依据两幅图像重叠区域的一致性求解出图像间的仿射变换模型，即将一幅图像的几何模型变换到另一幅图像的坐标平面上，并将图像的重叠区域对准。主要有基于特征的图像配准、基于灰度的图像配准，基于变换域的图像配准等方法。目前，基于特征的图像配准方法是研究的主要趋势，此方法是通过配准两图像间的各特征点的特征属性来实现，该方法不仅计算量小，且具有仿射不变性与稳定性等优点，主要基于的特征点识别算法有SIFT(Scale-InvariantFeatureTransform)、SURF(SpeededUpRobustFeatures)、FAST(FeaturesfromAcceleratedSegmentTest)、Harris、KAZE等，也可通过CNNs形成的特征图定义特征点，如LIFT(LearnedInvariantFeatureTransform)模型等。在图像的精确配准方面，最常用的是RANSAC(RANdomSAmpleConsensus)算法，但是由于初始特征点对的数量往往较多，匹配特征点对的内点比例行对较少，使得RANSAC算法的执行效率较低。此外，RANSAC算法对于正确的噪声阈值的选择很敏感，为此，MSAC(M-estimatorSampleConsensus)算法通过修改损失函数的计算方式则可取得更好的效果。由于幕墙玻璃的全透性，使得光线在透过玻璃时会发生反射与折射，在拍摄过程中会造成图像的曝光差异、玻璃表面反光等问题，增加了视觉特征识别及配准的难度。因此，现有技术无法解决适用于玻璃幕墙建筑的图像拼接。现有技术中幕墙建筑外立面质量损伤检测评估主要依靠检查员借助挂篮人工目视检测，耗时耗力；或依靠UAVs拍摄视频或图像数据供检查员远程检测，但往往为了获取高清数据，仅能拍摄到局部区域，难以评估建筑结构的整体损伤情况。
技术实现思路
本专利技术目的在于克服现有基于特征的图像拼接技术在幕墙建筑应用效果差或无法拼接的不足，提出一种针对幕墙建筑立面的全景图像拼接思路和方法。本专利技术技术方案：一种针对幕墙建筑立面的全景图像拼接方法，其特征在于，包括如下步骤：S1.获取光学成像设备拍摄的幕墙建筑结构的图像序列，图像序列顺序依照建筑外立面从下到上的拍摄顺序排列，将排序后的图像序列提供给S2；S2.对输入的图像序列进行预处理，将预处理后图像结果提供给S3；S3.针对输入的图像，定义目标区域(ROI)以筛除无关区域；利用SIFT特征点识别算法识别提取图像目标区域内的特征点，并根据特征点在图像中的分布确定图像间重叠区域，剔除重叠区域外的无关特征点；将各图像间重叠区域特征点精确像素坐标及特征描述子提供给S4；S4.将图像间重叠区域的特征点数据(精确像素坐标及特征描述子)由一维数组数据结构升维至KD-Tree多维数据结构，基于KD-Tree数据结构结合快速最近邻搜索算法进行图像重叠区域间特征点初步配准，将初步配准结果提供给S5；S5.利用MSAC算法对特征点初步配准结果进行配准模型拟合，区分配准错误的特征点即“外点”与配准正确的特征点即“内点”，并获得模型拟合参数；对于模型拟合得到的“内点”，限定其满足特征点配准区域均布判定条件及多级约束关系，若不满足上述条件限定，则重新利用MSAC算法进行配准模型拟合，从而实现图像间特征点的精确配准；依据特征点配准模型，求解图像间的单应性变换矩阵；将图像间单应性变换矩阵提供给S6；S6.对图像间单应性变换矩阵进行校正优化，降低图像拼接的扭曲误差，使得待拼接图像序列能够实现在重叠区域处准确拼接，将优化后单应性变换矩阵提供给S7；S7.通过单应性变换矩阵对进行图像变换。为消除由于图像间亮度、曝光等差异导致的拼接缝明显问题，借助基于动态规划的最优拼接缝搜索算法确定图像间的最优拼接缝，并进行图像拼接，最终得到拼接结果。S3中，所述的定义目标区域(ROI)，主要步骤为：选定ROI定义模式，通过人机交互方式选择输入图像中矩形区域，以确定图像中进行特征点识别的目标区域；所述的ROI定义模式，包括“移除”和“保留”两种模式，定义模式的选择取决于矩形区域的选定次数，其中：“移除”即判定人机交互中选定的矩形区域内所有检测到的特征点为无关特征点，并移除，可多次重复矩形区域选取操作，最终对图像中所有矩形区域外的部分进行特征点识别与提取；“保留”即判定人机交互中选定的矩形区域内所有检测到的特征点为相关特征点，并保留，不可重复矩形区域选取操作，最终对图像中选定的矩形区域内的部分进行特征点识别与提取。S5中，所述特征点配准区域均布判定条件，包括：“内点”数不少于4个；“内点”所围成的最小矩形的长度与宽度不小于原图像长宽的一定比例；“内点”间最大距离不小于该最小矩形对角线的一定比例式中，numpoints表示特征点精确配准数；widthrect与heightrect分别表示特征点所围成的最小矩形的宽度与长度，Digonalrect表示该最小矩形的对角线长度；Widthimage与Heightimage分别表示原图像的宽度与长度；max(distpoints)表示配准特征点间最大距离；α1,α2,α3表示比例系数，该数值越大，配准结果越精确，但也容易使得配准结果不满足上述要求。S5中，所述多级约束关系，包括同一图像中“内点”间中点的特征配准、Hu矩等几何特征；若所述多级约束关系均满足，则判定特征点配准正确，否则返回S5使用MSAC算法重新进行配准模型拟合操作。所述多级约束关系可表征如下：假设左右两矩形框表示两张有重叠区域的待拼接图像，经过精确配准后两张图像中分别有A、B与A’、B’两对精确配准的特征点对，m与m’分别表示两张图像中特征点A、B的中点，则多级约束关系表示为：式中，curvatureX表示点X基于Hessian矩阵计算得到的该点的曲率；gradientX表示点X邻域内通过(S3.3)中(1)式计算得到的梯度值；directionX表示点X邻域内通过(S3.3)中(2)式计算得到的方向值；momentX表示点X邻域内矩特征，Hu矩前两阶不变矩M1、M2计算公式如下：式中，f(x,y)表示点X的邻域图像函数；mpq表示该邻域的p+q阶标准矩，μpq表示该邻域的p+q阶中心矩；M、N分别表示邻域的宽度与长度；表示该邻域的重心，M1、M2分别表示Hu矩中的前两阶不变性较好的两个不变矩。<本文档来自技高网...

【技术保护点】
1.一种针对幕墙建筑立面的全景图像拼接方法，其特征在于，包括如下步骤：/nS1.获取光学成像设备拍摄的幕墙建筑结构的图像序列，图像序列顺序依照建筑外立面从下到上的拍摄顺序排列，将排序后的图像序列提供给S2；/nS2.对输入的图像序列进行预处理，将预处理后图像结果提供给S3；/nS3.针对输入的图像，定义目标区域(ROI)以筛除无关区域；利用SIFT特征点识别算法识别提取图像目标区域内的特征点，并根据特征点在图像中的分布确定图像间重叠区域，剔除重叠区域外的无关特征点；将各图像间重叠区域特征点精确像素坐标及特征描述子提供给S4；/nS4.将图像间重叠区域的特征点数据(精确像素坐标及特征描述子)由一维数组数据结构升维至KD-Tree多维数据结构，基于KD-Tree数据结构结合快速最近邻搜索算法进行图像重叠区域间特征点初步配准，将初步配准结果提供给S5；/n

【技术特征摘要】
1.一种针对幕墙建筑立面的全景图像拼接方法，其特征在于，包括如下步骤：
S1.获取光学成像设备拍摄的幕墙建筑结构的图像序列，图像序列顺序依照建筑外立面从下到上的拍摄顺序排列，将排序后的图像序列提供给S2；
S2.对输入的图像序列进行预处理，将预处理后图像结果提供给S3；
S3.针对输入的图像，定义目标区域(ROI)以筛除无关区域；利用SIFT特征点识别算法识别提取图像目标区域内的特征点，并根据特征点在图像中的分布确定图像间重叠区域，剔除重叠区域外的无关特征点；将各图像间重叠区域特征点精确像素坐标及特征描述子提供给S4；
S4.将图像间重叠区域的特征点数据(精确像素坐标及特征描述子)由一维数组数据结构升维至KD-Tree多维数据结构，基于KD-Tree数据结构结合快速最近邻搜索算法进行图像重叠区域间特征点初步配准，将初步配准结果提供给S5；

S5.利用MSAC算法对特征点初步配准结果进行配准模型拟合，区分配准错误的特征点即“外点”与配准正确的特征点即“内点”，并获得模型拟合参数；对于模型拟合得到的“内点”，限定其满足特征点配准区域均布判定条件及多级约束关系，若不满足上述条件限定，则重新利用MSAC算法进行配准模型拟合，从而实现图像间特征点的精确配准；依据特征点配准模型，求解图像间的单应性变换矩阵；将图像间单应性变换矩阵提供给S6；
S6.对图像间单应性变换矩阵进行校正优化，降低图像拼接的扭曲误差，使得待拼接图像序列能够实现在重叠区域处准确拼接，将优化后单应性变换矩阵提供给S7；
S7.通过单应性变换矩阵对进行图像变换。为消除由于图像间亮度、曝光等差异导致的拼接缝明显问题，借助基于动态规划的最优拼接缝搜索算法确定图像间的最优拼接缝，并进行图像拼接，最终得到拼接结果。


2.如权利要求1所述的一种针对幕墙建筑立面的全景图像拼接方法，其特征在于，S3中，所述的定义目标区域(ROI)，主要步骤为：选定ROI定义模式，通过人机交互方式选择输入图像中矩形区域，以确定图像中进行特征点识别的目标区域；所述的ROI定义模式，包括“移除”和“保留”两种模式，定义模式的选择取决于矩形区域的选定次数，其中：“移除”即判定人机交互中选定的矩形区域内所有检测到的特征点为无关特征点，并移除，可多次重复矩形区域选取操作，最终对图像中所有矩形区域外的部分进行特征点识别与提取；“保留”即判定...

【专利技术属性】
技术研发人员：单伽锃，程凯，
申请(专利权)人：同济大学，
类型：发明
国别省市：上海;31