基于滑动边缘检测的人工神经网络建筑物轮廓提取方法技术

本发明专利技术涉及基于滑动边缘检测的人工神经网络建筑物轮廓提取方法，包括：S1.确立多幅遥感影像图相应的航空LIDAR点云图，以及相应的红外遥感图之间统一的多个地理坐标系；S2.使用初始滑移矩形框F在训练集中每一幅所述遥感影像图中滑移扫描而确定感兴趣的轮廓FOI，建立建筑轮廓提取模型M和最终滑移框F

【技术实现步骤摘要】
基于滑动边缘检测的人工神经网络建筑物轮廓提取方法


[0001]本专利技术涉及一种建筑物轮廓的人工智能提取方案，尤其涉及基于滑动边缘检测的人工神经网络建筑物轮廓提取方法，属于人工智能图像处理领域。

技术介绍

[0002]建筑轮廓的提取是城市数字地图中识别建筑的重要步骤,现有的提取方案大都采用多步骤的人工网络训练获得特征图以及边框的提取,从而通过框的回归算法实现与人工标记相比最小化的精确识别，其中经历了特征识别和边框提取的复杂人工网络算法过程。同时网络训练阶段边框的识别依靠了人工框的标记。因而为了获得精确的网络，如果缺乏人工的标记则工作无法进行下去。
[0003]在网络后端主要通过感兴趣的区域的对应层获得感兴趣对象的带有边框的特征图，最后通过神经网络对框进行回归统计，作出更精确的预测。也有利用卷积长短期记忆ConvLSTM的多层RNN算法对建筑的顶点进行预测，从而获得较为精确的建筑轮廓。
[0004]然而这些算法不仅在前端都使用了复杂的人工网络进行训练，实际上是边框的粗提步骤。在网络后端由于基于了统一的矩形anchor，对于异形建筑来说会将多余的地面部分误算在建筑框中，尤其是具有诸如L形连体建筑或者凹字、回字等异形的半包围结构的建筑。而对于点预测的方案虽然能够精确预测建筑顶点，但由于将点与点之间的建筑轮廓部分统一视作直线连接，从而导致至少两个缺陷，第一，顶点之间的建筑轮廓始终存在误差，因为建筑的边缘并非如作图中那样是近乎几何学的直线而总存在一定的误差，第二，对于带有弧形的边缘建筑轮廓显然使用直线模型是错误的，尤其是圆顶建筑则无法用矩形方框实现轮廓精确预测，更无法找到顶点(实际上由于圆可以近似视作无限多边形，因而实际上有无数多个顶点，即便如此也无法实现有限时间的计算)。虽然现代建筑多数是矩形的，但仍然存在异形的屋顶，从而现有技术无法全面地实现一种算法针对所有屋顶都适用。
[0005]航空LIDAR点云技术是航空三维图像的一种高效、精度高的数据形式，但由于具象模糊，因此无法真实从视觉上产生对于建筑细节的展现。即便在该领域中的建筑轮廓提取技术，也需要对点云数据进行灰度处理和DSM图像处理后再进行提取轮廓，因此已经并非基于LIDAR点云本身进行轮廓的提取。做不到基于LIDAR点云本身进行轮廓的提取还是由点云数据具象模糊导致的。因此基于具象清晰的遥感影像图的建筑轮廓提取成为一种替代方案(如之前所述的人工网络算法)。但是往往需要分别对LIDAR点云和遥感影像图中的建筑轮廓进行提取，再进行轮廓和光学信息的配准与赋予，才能实现点云数据的清晰具象化，经过这一系列处理后，虽然保证了精度目的，但最初使用航空LIDAR点云技术的高效目的上来看，整体上其工作效率反而是降低的，从而已偏离这一目的初衷。
[0006]遥感红外图像也是一种遥感图像技术，其优点在于能够针对地面的材质进行光谱的判断从而区分出不同物质。

技术实现思路

[0007]本专利技术为了解决上述技术问题，提供了一种优化的、简单的、无需人工标记训练框识别的建筑轮廓提取算法，其思想就在利用遥感影像图的具象清晰的优势以及建立于我们前期工作的城市坐标系基础上，能够做到不对航空LIDAR点云图本身做任何图像技术处理前提下，在航空LIDAR点云图中实现基于遥感影像图的优化算法获得的建筑轮廓和光学信息的快速配准，实现了精确、高效的数据获得结果。其中的优化主要是来自于对现有技术中前端网络替代为一种新的思想下的高效、简单的、无需人工标记训练框识别的边框提取方案。
[0008]基于此考虑，本专利技术提供了基于滑动边缘检测的人工神经网络建筑物轮廓提取方法，其特征在于，包括如下步骤：
[0009]S1.获取至少一个城市的多幅遥感影像图、相应的航空LIDAR点云图，以及相应的红外遥感图，并确立多幅遥感影像图、相应的航空LIDAR点云图，以及相应的红外遥感图之间统一的多个地理坐标系，将所述多幅遥感影像图相应的航空LIDAR点云图，以及相应的红外遥感图分别分为训练集、验证集以及测试集；
[0010]S2.确定具有长L和宽W的初始滑移矩形框F0，使用初始滑移矩形框F0在训练集中每一幅所述遥感影像图中进行滑移扫描所有每一幅所述遥感影像图的区域，在滑移扫描过程中确定感兴趣的轮廓FOI，利用训练集、验证集、以及确定的红外FOI轮廓建立建筑轮廓提取模型M，得到最终滑移框F
f
；
[0011]S3.获取测试集中至少1幅待提取建筑轮廓的遥感影像图，利用最终滑移框F
f
，建筑轮廓提取模型M得到预测建筑轮廓P
f
，并将已提取建筑轮廓的遥感影像图与相应的航空LIDAR点云图按坐标系配准，将预测建筑轮廓P
f
映射到相应的航空LIDAR点云图中。
[0012]关于S1
[0013]S1具体包括：
[0014]S1
‑
1获取1
‑
660个城市的多幅遥感影像图、相应的航空LIDAR点云图，以及相应的红外遥感图，所述相应的航空LIDAR点云图，以及相应的红外遥感图是与所述多幅遥感影像图同一时刻获取的，并获取至少1幅存在完整的预定标准建筑的遥感影像图、相应的至少1幅航空LIDAR点云图，以及相应的至少1幅红外遥感图，优选地，所述多幅遥感影像图的幅数为540
‑
1320000；
[0015]S1
‑
2在存在完整的预定标准建筑的1幅所述遥感影像图、相应的1幅航空LIDAR点云图，以及相应的1幅红外遥感图中建立统一的城市地理坐标系E，所有剩余的多幅遥感影像图、相应的多幅航空LIDAR点云图，以及相应的红外遥感图组成的每组三幅图的多个图组，根据地理正北向而确定的每一图组中1幅遥感影像图、相应的1幅航空LIDAR点云图，以及相应的1幅红外遥感图中具有相同原点的统一的坐标系E
(i)
，i＝1,2,...，N(可以加Z轴形成立体坐标系)，N为所述所有剩余的多幅遥感影像图的幅数，将建立了坐标系的所述多幅遥感影像图、相应的航空LIDAR点云图，以及相应的红外遥感图分别分为训练集、验证集以及测试集的比例为100
‑
50：10
‑
5:3
‑
1，优选为50:9:1。
[0016]优先地，所述预定标准建筑具有矩形的屋顶边框，并且选择其中一个顶点在地面的垂直投影作为坐标原点O，以其中一边在地面的垂直投影作为X轴，另一边在地面的垂直投影作为Y轴，形成地面平面直角坐标系E(也可加Z轴形成立体坐标系E)。更优选地，所述X
轴指向正东方，Y轴正北方。
[0017]所述根据地理正北向而确定的每一图组中1幅遥感影像图、相应的1幅航空LIDAR点云图，以及相应的1幅红外遥感图中具有相同原点的统一的坐标系E
(i)
，i＝1,2,...，N，具体包括确定坐标系E的X轴与正北向之间的夹角α，将坐标系E原点放置到每一图组中的1幅遥感影像图、1幅相应的航空LIDAR点云图，以及本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于滑动边缘检测的人工神经网络建筑物轮廓提取方法，其特征在于，包括如下步骤：S1获取至少一个城市的多幅遥感影像图、相应的航空LIDAR点云图，以及相应的红外遥感图，并确立多幅遥感影像图、相应的航空LIDAR点云图，以及相应的红外遥感图之间统一的多个地理坐标系，将所述多幅遥感影像图、相应的航空LIDAR点云图，以及相应的红外遥感图分别分为训练集、验证集以及测试集；S2确定具有长L和宽W的初始滑移矩形框F0，使用初始滑移矩形框F0在训练集中每一幅所述遥感影像图中进行滑移扫描所有每一幅所述遥感影像图的区域，在滑移扫描过程中确定感兴趣的轮廓FOI，利用训练集、验证集，以及确定的红外FOI轮廓建立建筑轮廓提取模型M，得到最终滑移框F
f
；S3获取测试集中至少1幅待提取建筑轮廓的遥感影像图，利用最终滑移框F
f
，建筑轮廓提取模型M得到预测建筑轮廓P
f
，并将已提取建筑轮廓的遥感影像图与相应的航空LIDAR点云图按坐标系配准，将预测建筑轮廓P
f
映射到相应的航空LIDAR点云图中。2.根据权利要求1所述的方法，其特征在于，S1具体包括：S1
‑
1获取1
‑
660个城市的多幅遥感影像图、相应的航空LIDAR点云图，以及相应的红外遥感图，所述相应的航空LIDAR点云图，以及相应的红外遥感图是与所述多幅遥感影像图同一时刻获取的，并获取至少1幅存在完整的预定标准建筑的遥感影像图、相应的至少1幅航空LIDAR点云图，以及相应的至少1幅红外遥感图，所述多幅遥感影像图的幅数为540
‑
1320000；S1
‑
2在存在完整的预定标准建筑的1幅所述遥感影像图、相应的1幅航空LIDAR点云图，以及相应的1幅红外遥感图中建立统一的城市地理坐标系E，所有剩余的多幅遥感影像图、相应的多幅航空LIDAR点云图，以及相应的红外遥感图组成的每组三幅图的多个图组，根据地理正北向而确定的每一图组中1幅遥感影像图、相应的1幅航空LIDAR点云图，以及相应的1幅红外遥感图中具有相同原点的统一的坐标系E
(i)
，i＝1,2,
…
，N，N为所述所有剩余的多幅遥感影像图的幅数，将建立了坐标系的所述多幅遥感影像图、相应的航空LIDAR点云图，以及相应的红外遥感图分别分为训练集、验证集以及测试集的比例为100
‑
50：10
‑
5:3
‑
1。3.根据权利要求2所述的方法，其特征在于，所述预定标准建筑具有矩形的屋顶边框，并且选择其中一个顶点在地面的垂直投影作为坐标原点O，以其中一边在地面的垂直投影作为X轴，另一边在地面的垂直投影作为Y轴，形成地面平面直角坐标系E，或者，所述X轴指向正东方，Y轴正北方，形成地面平面直角坐标系E，其中，所述根据地理正北向而确定的每一图组中1幅遥感影像图、相应的1幅航空LIDAR点云图，以及相应的1幅红外遥感图中具有相同原点的统一的坐标系E
(i)
，i＝1,2,
…
，N，具体包括确定坐标系E的X轴与正北向之间的夹角α，将坐标系E原点放置到每一图组中的1幅遥感影像图、1幅相应的航空LIDAR点云图，以及1幅相应的红外遥感图中在E下相同的预设点上，并调整X轴指向使其与正北向之间的夹角为α，得到每一图组中的1幅遥感影像图、1幅相应的航空LIDAR点云图，以及1幅相应的红外遥感图中统一X轴指向的多个坐标系E
(i)
，i＝1,2,...，N，当E的所述X轴指向正东方，Y轴正北方时，调整X轴指向正东方或调整Y轴指向正北方。4.根据权利要求2所述的方法，其特征在于，S2具体包括：
S2
‑
1确定具有长L和宽W的初始滑移矩形框F0，所述L和W的取值范围R∈[nr,2nr]，其中r为遥感影像图的分辨率，n∈[10,20]；S2
‑
2获取训练集中每一幅所述遥感影像图中预定数量的屋顶内部且靠近轮廓处的像素RGB三色值，同时确定一个预设时间间隔T，使用初始滑移矩形框F0在训练集中每一幅所述遥感影像图中从零时刻开始进行滑移扫描所有每一幅所述遥感影像图的区域，在滑移扫描过程中，每隔T时刻确定初始滑移矩形框F0中的轮廓，形成感兴趣的轮廓FOI，当扫描完成后即获得包含建筑轮廓的感兴趣的轮廓FOI的特征图PFOI；S2
‑
3对不同种材质屋顶进行主成分分析法聚类分析，得到的载荷图，并得到对于不同种材质屋顶敏感的特征波段，计算不同种材质屋顶敏感的特征波段归一化积分强度占总积分强度比值R
s
，对不同种材质屋顶的R
s
值进行主成分分析法聚类分析，以获得R
s
聚类图；S2
‑
4训练集、验证集中的遥感红外图中对应特征图PFOI中的每一像素进行逐行和/或逐列扫描，获得像素光谱，计算对应于不同种材质屋顶敏感的特征波段的比值R
′
s
，当R
′
s
∈[R
s
‑
r
s
,R
s
+r
s
]，r
s
为占比阈值，认为属于轮廓或其内部，否则不属于轮廓或其内部，而逐行和/或逐列扫描过程中当遇到比值R
′
s
突变点，即对被识别为轮廓或其内部的像素点的下一个像素点进行扫描时，其则将该像素点设定为轮廓点，从而遍历遥感红外图像中所有像素点完成红外FOI轮廓的确定，将确定的轮廓点设定为第一灰度或彩色值；S2
‑
5将PFOI输入RoiAlign层，并通过全连接层，得到当前预测框，利用当前预测框和红外FOI轮廓计算轮廓误差损失，其中P、Q分别为预测轮廓和红外FOI轮廓，P
i
‑
Q
i
表示预测轮廓和红外FOI轮廓之间的误差，i表示第i个红外FOI轮廓，表示对对特征图PFOI中所有FOI轮廓进行求和，利用误差损失反向传播来调整网络参数，进行轮廓回归对预测结果进行修正，当损失值变化率趋于预设阈值thres范围，thres＜2
‑
5％，内时，认为已经获得中...

【专利技术属性】
技术研发人员：刘俊伟，杨文雪，
申请(专利权)人：泰瑞数创科技北京有限公司，
类型：发明
国别省市：