一种多模态图像融合的城市社会经济地位预测方法技术

本发明专利技术公开了一种多模态图像融合的城市社会经济地位预测方法，方法以下步骤：利用研究区内地面图像和遥感影像两种不同模态的图像数据有效融合进行社会经济地位的区域级预测。首先通过特征提取网络从稀疏地面图像中提取的地面特征构建地面特征栅格层，然后，利用区域范围对地面特征栅格层进行聚合扩展生成带有区域属性的区域地面特征图，利用改进的深度语义分割网络融合区域地面特征图和遥感图像，从而实现预测区域的社会经济地位水平。本发明专利技术有益效果是：提高了区域社会经济地位预测精度，本方法为基于图像的智能应用融合图像数据和空间矢量数据提供了有益的探索，也可以扩展到一系列的社会经济应用。展到一系列的社会经济应用。展到一系列的社会经济应用。

【技术实现步骤摘要】
一种多模态图像融合的城市社会经济地位预测方法


[0001]本专利技术涉及图像融合领域，尤其涉及一种多模态图像融合的城市社会经济地位预测方法。

技术介绍

[0002]城市社会经济地位(socioeconomic status SES),以往的测量方法通常是通过人工实地调查来收集这类数据，这些方法非常耗费时间和人力，导致这类数据高度依赖于每隔五年或十年收集一次的定期普查信息。以高时空分辨率测量城市家庭收入是非常有价值的，特别是在快速变化的城市区域，是应对各种智能城市应用日益增长的需求的一个重大挑战。
[0003]越来越多的城市图像显示了自动测量SES的巨大潜力。例如，从各种卫星获得的大量高分辨率遥感图像为从俯视图估计与收入相关的问题提供了详细背景。然而，从遥感影像中识别社会经济属性是一项无效且困难的任务，因为遥感影像提供的社会经济信息很少。
[0004]与遥感影像相比，地面图像，包括街景图像(SVI)和来自社交媒体的地理标记照片，从近距离可视化人类活动环境，描绘城市功能、社会经济和人类活动。相关研究表明，地面图像在估计社会经济属性方面具有巨大潜力。然而，由于地平面图像的空间分布不平衡且稀疏，图像较少的空间区域可能无法很好地测量。
[0005]由于不同数据源的互补性，航空和地面图像已与陆地相关应用程序集成，因为遥感影像和地面图像可以分别提供高空俯瞰和本地详细信息。遥感影像和地面图像可以从全局和局部的角度相互补充，有效提高预测精度，缓解数据稀缺问题。
[0006]目前现有的方法大多数直接将遥感影像和地面图像进行简单的结合来衡量城市土地利用分类及发展不平衡的现象，包括收入、人口拥挤和环境剥削程度等。将卫星和街道级图像结合到高分辨率像素级大范围测量的技术研究，为融合不同分辨率或额外的光谱数据提供了一种方法。然而，这些方法忽略了被测对象的空间范围，为方法性能的进一步提高留下了空间。

技术实现思路

[0007]为了弥补这一缺失，本专利技术提出了一种多模态图像融合的城市社会经济地位预测方法，该方法引入了被测对象的空间范围，以改进SES测量。具体来说，所提出的方法融合了区域范围、遥感影像和稀疏分布的近地照片，以通过语义分割方法来表征区域特征并识别SES级别。
[0008]本专利技术提出的一种多模态图像融合的城市社会经济地位预测方法包括以下步骤：
[0009]S1、获取研究区内的近地感知地面图像数据、遥感影像数据和区域边界数据，对地面图像数据、遥感影像数据和区域边界数据进行预处理，获得预处理之后的研究区数据；
[0010]S2、将预处理后的地面图像数据输入至预训练好的特征提取卷积神经网络，得到
一个一维的预测收入水平概率；将预测收入水平概率中的最大概率的得分作为地面图像数据的特征；
[0011]S3、使用预处理后的遥感影像数据的尺寸，创建单通道栅格G，根据单通道栅格G和地面图像数据，生成地面特征栅格层；
[0012]S4、将地面特征栅格层基于城市区域的角度进行聚合，得到区域的栅格图；
[0013]S5、将区域的栅格图进行区域扩展，得到区域聚合后地面特征栅格图；
[0014]S6、将区域聚合后地面特征栅格图与预处理后的遥感影像进行通道叠加，得到融合特征图；
[0015]S7、将融合特征图输入至社会经济地位分割模型进行训练，得到训练完成的分割模型；
[0016]S8、利用训练完成的分割模型完成城市社会经济地位预测。
[0017]本专利技术提供的有益效果是：解决了地面图像缺失和分布不均匀的问题，传统多模态融合没有考虑区域相关性的问题，将多模态图像融合方法应用在城市SES的预测中，提高了城市SES的预测精度。
附图说明
[0018]图1是本专利技术方法简单流程示意图；
[0019]图2是本专利技术方法整体详细示意图。
具体实施方式
[0020]为使本专利技术的目的、技术方案和优点更加清楚，下面将结合附图对本专利技术实施方式作进一步地描述。
[0021]请参考图1，图1是本专利技术方法简单流程示意图；
[0022]一种多模态图像融合的城市社会经济地位预测方法包括以下步骤：
[0023]S1、获取研究区内的近地感知地面图像数据、遥感影像数据和区域边界数据，对地面图像数据、遥感影像数据和区域边界数据进行预处理，获得预处理之后的研究区数据；
[0024]容易理解的是，遥感影像数据尺寸最大、依次向下为近地感知地面图像数据和区域边界数据；本申请中，遥感影像是从Google地球(Google Inc.，Mountain View，CA，USA)获得的，空间分辨率为1m，共有R
‑
G
‑
B三个通道。
[0025]把遥感影像裁剪为1000
×
1000大小的切片数据便于送入分割网络进行训练。地面图像是从Geograph British and Ireland网站(http://www.geograph.org.uk)下载的。研究区域共收集了18,154幅地理标记图像，涵盖2002年至2017年的时间段。然后对地面图片统一大小，并进行图像增强。在本申请中，使用下层超级输出区(LSOAs))用于描述区域的边界。将边界点数据转化为边界矢量多边形数据。LSOA主要用于报告小区域统计数据，通常平均人口为1,500人或650户。研究区域由730个LSOA组成。
[0026]S2、将预处理后的地面图像数据输入至预训练好的特征提取卷积神经网络，得到一个一维的预测收入水平概率；将预测收入水平概率中的最大概率的得分作为地面图像数据的特征；
[0027]需要说明的是，特征提取网络选用VGG16骨干网络，并附加四层全连接层。四个全
连接层分别将VGG16从每个地面图像中获取4096维的特征向量，转换为256维然后128维。经过全连接层后，得到一个64维的特征向量，送至最后一层，得到一个一维的预测收入水平概率；将最大概率得分作为每一个地面图像数据的特征值；也即一副地面图像存在一个特征值。
[0028]S3、使用预处理后的遥感影像数据的尺寸，创建单通道栅格G，根据单通道栅格G和地面图像数据，生成地面特征栅格层；
[0029]使用遥感影像的参数创建空的单通道栅格G，其中每个像素与输入遥感影像中的像素大小相同。即单通道栅格G是一个尺寸与遥感影像相同，但存储内容为空的图像，下一步将为单通道栅格G赋值。
[0030]遍历所有地面图像，根据每幅地面图像的位置，定位到G中对应的像素点，根据公式(1)分配一个像素点的值。所述地面图像的位置，指地面图像的经纬度。每一地面图像的经纬度，在遥感影像中会存在相应的区域或像素点对应。
[0031]根据地面图像的位置，在单通道栅格G中将得到的每幅地面图像的特征值赋予至对应像素点，得到地面特征栅格层B(m)如公式(1)所示:
[0032][0033]其中，m表示空栅格中的像素，B(m)表示分配给像素pix的值，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种多模态图像融合的城市社会经济地位预测方法，其特征在于：包括以下步骤：S1、获取研究区内的近地感知地面图像数据、遥感影像数据和区域边界数据，对地面图像数据、遥感影像数据和区域边界数据进行预处理，获得预处理之后的研究区数据；S2、将预处理后的地面图像数据输入至预训练好的特征提取卷积神经网络，得到一个一维的预测收入水平概率；将预测收入水平概率中的最大概率的得分作为地面图像数据的特征；S3、使用预处理后的遥感影像数据的尺寸，创建单通道栅格G，根据单通道栅格G和地面图像数据，生成地面特征栅格层；S4、将地面特征栅格层基于城市区域的角度进行聚合，得到区域的栅格图；S5、将区域的栅格图进行区域扩展，得到区域聚合后地面特征栅格图；S6、将区域聚合后地面特征栅格图与预处理后的遥感影像进行通道叠加，得到融合特征图；S7、将融合特征图输入至社会经济地位分割模型进行训练，得到训练完成的分割模型；S8、利用训练完成的分割模型完成城市社会经济地位预测。2.如权利要求1所述的一种多模态图像融合的城市社会经济地位预测方法，其特征在于：步骤S2中特征提取卷积神经网络采用VGG16为骨干网络，且附加四层全连接层。3.如权利要求1所述的一种多模态图像融合的城市社会经济地位预测方法，其特征在于：步骤S3具体为：S31、使用遥感影像的尺寸参数创建空的单通道栅格G，单通道栅格G与遥感影像尺寸相同，但其像素点的像素值均为空；S32、根据公式(1)为单通道栅格G分配每一个像素点的值，得到地面特征栅格层B(m)...

【专利技术属性】
技术研发人员：张嘉辉，方芳，李圣文，郑道远，曾林芸，
申请(专利权)人：中国地质大学武汉，
类型：发明
国别省市：