【技术实现步骤摘要】
本说明书一个或多个实施例涉及地理空间，尤其涉及基于地理空间数据的城市场景理解和功能识别方法。
技术介绍
1、高分辨率遥感图像(rsi)被广泛用于了解城市结构。城市场景包含多种土地覆盖类型的复杂环境，这使得识别其功能变得更加复杂。场景理解面临的最重要挑战是类间相似性和类内多样性，这导致了语义分歧。此外，卫星传感器的拍摄角度、高度和成像系统的不同也会导致同一地面物体的显示尺度出现差异。因此，减少场景之间的语义差异和最小化尺度特征差异将有助于提高场景理解能力。
2、城市景观是人与自然相互作用的复杂综合体，人类活动对城市形态产生了重大影响。仅通过rsi来捕捉城市功能模式的复杂性和多样性是不够的。随着传感器和互联网技术的快速发展，社会感知数据，如出租车轨迹、签到和手机数据也被广泛应用于功能识别。兴趣点(poi)数据广泛应用于地理大数据分析，许多研究采用自然语言处理方法提取相关的社会经济语义信息。然而，这种数据类型无法直接用于描述一类地理对象或分析复杂城市场景中的空间分布和地理信息。
3、上述城市场景理解方面的挑战可以通过整合多模态数据来克服。大多数研究仍使用两种数据源作为模型输入，其中70％以上选择rsi和poi。城市建筑形态在不同功能区表现出相当大的差异，这可以用当地气候区的概念来有效解释。然而，很少有研究探讨并将建筑特征纳入功能识别。此外，多模态数据表示的差异以及多模态特征提取和整合的不足仍然是众多城市研究中的紧迫问题。
技术实现思路
1、本专利技术描述基于地理空
2、根据第一方面，提供一种基于地理空间数据的城市场景理解和功能识别方法，其特征在于，所述方法包括：提取遥感图像视觉特征，以及提取辅助数据的辅助特征，所述辅助数据包括兴趣点数据和建筑物足迹数据；基于所述遥感图像视觉特征和辅助数据的辅助特征，确定所述遥感图像视觉特征和辅助数据的辅助特征的注意力加权特征图；基于所述注意力加权权重图，对所述遥感图像视觉特征和辅助数据的辅助特征进行深度可分离卷积得到多尺度特征嵌入序列；将所述多尺度特征嵌入序列输入若干transformer编码器块进行多尺度特征的融合和交互；对所述编码器块的输出添加分类头，得到每个城市场景类别的预测概率分布。
3、在一个实施例中，所述注意力加权特征图的获取，包括：将所述遥感图像视觉特征和辅助数据的辅助特征，经过分支注意力模块得到权重图；将所述权重图进行拆分，分别得到对应于遥感图像视觉特征和辅助分支的辅助特征的权重图；将所述对应于遥感图像的权重图和遥感图像特征进行逐元素相加，得到加权后的遥感图像视觉特征，以及将对应于所述辅助数据的权重图以及辅助数据的辅助特征进行逐元素相加，得到加权后的辅助数据的辅助特征；将所述加权后的遥感图像视觉特征和加权后的辅助数据的辅助特征进行通道堆叠融合，得到所述注意力加权特征图。
4、在一个实施例中，所述提取辅助数据的辅助特征之前还包括：将所述兴趣点数据按照类别进行核密度计算转为兴趣点密度栅格图得到兴趣点数据；以及将所述建筑物足迹数据分别计算面积、边长、高度和密度特征，通过地理信息软件arcgis进行矢量转栅格得到建筑物足迹数据特征图；将所述兴趣点数据和建筑物足迹数据特征图进行堆叠后经过辅助加权层进行特征筛选和降维，随后输入小型深度残差网络resnet-18进一步提取辅助特征。
5、在一个实施例中，所述遥感图像视觉特征提取采用深度残差网络resnet-50，包括对所述遥感图像进行卷积运算、最大池化运算，在第一层到第四层中分别使用若干残差单元，其中所述第四层的输出为所述遥感图像视觉特征。
6、在一个实施例中，所述多尺度特征嵌入序列的获得包括：采用若干深度可分离卷积用来模拟标准卷积。
7、在一个实施例中，所述若干transformer编码器块中的每一个编码器块包括一个多头自注意力msa层和一个多层感知器mlp。
8、在一个实施例中，使用交叉熵损失作为损失函数，采用中位频率平衡法对每个城市场景类别加权，所述交叉熵表示为：
9、其中，k表示类别数，y表示样本标签值；如果样本属于第i个类别，yi＝1，否则为0；pi表示预测样本属于第i个类别的概率；αi＝median_ci/ci，其中，ci表示训练集中第i个样本的频率，ni表示第i个样本中的样本数，n表示样本总数，αi表示损失函数中第i个样本对应的权重，median_ci表示所有类别频率的中位数，ci表示场景类别的频率。
10、根据第二方面，提供一种基于地理空间数据的城市场景理解和功能识别装置，其特征在于，所述装置包括：
11、特征提取模块，配置为提取遥感图像视觉特征，以及提取辅助分支的辅助特征，所述辅助分支包括兴趣点数据和建筑物足迹数据；
12、分支注意力加权模块，配置为基于所述遥感图像视觉特征和辅助数据的辅助特征，确定所述遥感图像视觉特征和辅助数据的辅助特征的注意力加权特征图；
13、多尺度特征融合模块，配置为基于所述注意力加权权重图，对所述遥感图像视觉特征和辅助特征进行深度可分离卷积得到多尺度特征嵌入序列；将所述多尺度特征嵌入序列输入若干编码器块进行多尺度特征的融合和交互；
14、场景概率分布模块，配置为对所述若干编码器块的输出添加分类头，得到每个城市场景类别的预测概率分布。
15、在本说明书实施例提供的上述方法和装置中，本专利技术为城市场景理解和功能识别提供了一种创新的思路和方法框架，解决了当前研究所面临的部分困难，可扩展至多种数据输入模式，具有较好的实验结果。有望在城市土地利用和规划方面提供决策支持。
本文档来自技高网...【技术保护点】
1.一种基于地理空间数据的城市场景理解和功能识别方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述注意力加权特征图的获取，包括：
3.根据权利要求1所述的方法，其特征在于，所述提取辅助数据的辅助特征之前还包括：
4.根据权利要求1所述的方法，其特征在于，所述遥感图像视觉特征提取采用深度残差网络ResNet-50，包括对所述遥感图像进行卷积运算、最大池化运算，在第一层到第四层中分别使用若干残差单元，其中所述第四层的输出为所述遥感图像视觉特征。
5.根据权利要求1所述的方法，其特征在于，所述多尺度特征嵌入序列的获得包括：采用若干深度可分离卷积用来模拟标准卷积。
6.根据权利要求1所述的方法，其特征在于，所述若干transformer编码器块中的每一个编码器块包括一个多头自注意力MSA层和一个多层感知器MLP。
7.根据权利要求1所述的方法，其特征在于，使用交叉熵损失作为损失函数，采用中位频率平衡法对每个城市场景类别加权，所述交叉熵表示为：
8.一种基于地理空间数据的城市场
...【技术特征摘要】
1.一种基于地理空间数据的城市场景理解和功能识别方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述注意力加权特征图的获取，包括：
3.根据权利要求1所述的方法，其特征在于，所述提取辅助数据的辅助特征之前还包括：
4.根据权利要求1所述的方法，其特征在于，所述遥感图像视觉特征提取采用深度残差网络resnet-50，包括对所述遥感图像进行卷积运算、最大池化运算，在第一层到第四层中分别使用若干残差单元，其中所述第四层的输出为所述遥感图像视觉特征。
【专利技术属性】
技术研发人员：孟庆岩，苏晨，胡新礼，张琳琳，
申请(专利权)人：中国科学院空天信息创新研究院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。