一种卫星图像的表征学习方法及装置制造方法及图纸

本发明专利技术提供一种卫星图像的表征学习方法及装置，其中的方法包括：获取目标区域的目标卫星图像；将目标卫星图像输入至预先训练的表征学习模型中，得到目标预测结果；其中，表征学习模型基于兴趣点对比样本和地理空间对比样本训练得到，目标预测结果用于评估目标区域的待监测指标。该方法不仅使用卫星图像的地理空间信息进行表征学习，还同时融入了人类活动相关的信息，实现了多模态信息的表征融合，并有效提升了目标区域内相关指标预测的精确度。效提升了目标区域内相关指标预测的精确度。效提升了目标区域内相关指标预测的精确度。

【技术实现步骤摘要】
一种卫星图像的表征学习方法及装置


[0001]本专利技术涉及卫星图像表征学习
，尤其涉及一种卫星图像的表征学习方法及装置。

技术介绍

[0002]城市化的进展带来了现代化的生活，但是也带来很多的问题，例如交通的拥堵、环境的恶化以及能耗的增加，要解决这些问题，在很多年前看似几乎不可能，但随着人工智能和大数据的到来，利用获取各种各样的大数据，以及强大的计算平台和智能算法，去发现城市正面临的问题，并进一步去解决这些问题，是城市计算大背景下极具挑战但又极具意义的事情。
[0003]卫星图像通过应用广泛的遥感技术来获取地表的俯瞰视图，为包括地表使用监控和社会经济指标预测等应用提供了丰富的数据来源。相较于传统的数据源，例如实地考察数据，获取卫星图像的方式更加省时和简便，使得大范围的地表覆盖监测以及人类活动的预测成为可能。
[0004]随着发展迅速的计算机视觉和深度学习领域的结合，为了实现地表覆盖分类、经济活跃度预测、人口预测以及社会经济指标的分析，现有技术提供了一种针对特定任务的监督学习方法，该方法需要大量的标注数据来训练模型。然而，在很多的遥感应用中，获得大量的标注的数据是极度困难的。因此，在实际应用中，虽然卫星图像的数量很多，但由于没有足够的标注数据，导致无法直接应用于很多的下游的任务中。
[0005]为了降低对于标注数据的依赖，现有技术提出了一种针对卫星图像应用的无监督任务，具体地，通过避免获取大量的标注数据，表征学习可以对卫星图像学习到一个包含丰富信息的低维表征，而学习到的低维表征可以应用于很多不同的下游任务。与自然语言处理领域的字嵌入相似，卫星图像表征学习的关键设计在于定义一个相似度指标，即通过衡量卫星图像之间的相似度并且将这个信息嵌入到学习到的表征中。
[0006]目前普遍应用的卫星图像间的相似度衡量指标是根据Tobler的地学第一定理，即所有的事物都是相关的，但是地理距离相近的物体相较于地理距离遥远的物体存在更大的相关性。表示到卫星图像中，可以认为地理空间相近的卫星图像比地理空间较远的卫星图像存在更大的相似性，因此，地理空间上相近的卫星图像的表征应该更接近。
[0007]在人类活动稀少的区域，由于自然地表占据很大比例，这种定理效果确实很理想。但是，人类活动比较频繁的两个相邻区域，可能会存在不同的地表用途和不同的城市功能。
[0008]为了弥补这一不足，现有技术提出了READ模型，一个融合了专家标注的部分有标签数据和大量无标签数据的半监督学习模型，用来对卫星图像进行表征学习，应用于后续的多种下游任务。但是这种方法需要专家标注，费时并且专家标注的质量也会影响后续模型的预测性能。
[0009]综上所述，现有的针对自然图像的表征学习方法无法直接应用于卫星图像的表征提取，且针对卫星图像表征学习的技术方案较少，进一步地，针对卫星图像表征学习，现有
技术仅仅使用了卫星图像的地理空间信息进行表征学习，这会导致人类活动相关信息的丢失。
[0010]因此，现有技术中仅使用卫星图像的地理空间信息进行表征学习，忽视了人类活动相关的信息的问题，是卫星图像表征学习
亟待解决的重要问题。

技术实现思路

[0011]本专利技术提供一种卫星图像的表征学习方法及装置，用以克服现有技术中仅使用卫星图像的地理空间信息进行表征学习，忽视了人类活动相关的信息的缺陷，实现了多模态信息的表征融合，并有效提升了目标区域内相关指标预测的精确度。
[0012]一方面，本专利技术提供一种卫星图像的表征学习方法，包括：获取目标区域的目标卫星图像；将所述目标卫星图像输入至预先训练的表征学习模型中，得到目标预测结果；其中，所述表征学习模型基于兴趣点对比样本和地理空间对比样本训练得到，所述目标预测结果用于评估所述目标区域的待监测指标。
[0013]进一步地，所述表征学习模型包括兴趣点表征学习模型和地理空间表征学习模型，其中，利用所述兴趣点对比样本训练所述兴趣点表征学习模型，以及，利用所述地理空间对比样本训练所述地理空间表征学习模型；其中，所述兴趣点表征学习模型用于从所述目标卫星图像中提取兴趣点表征向量，所述地理空间表征学习模型用于从所述目标卫星图像中提取地理空间表征向量。
[0014]进一步地，所述利用所述兴趣点对比样本训练所述兴趣点表征学习模型，包括：采集卫星图像训练样本；针对所述卫星图像训练样本中的每一卫星图像，获取该卫星图像中各类兴趣点的数量，并形成兴趣点特征向量；计算该卫星图像所对应的兴趣点特征向量与所述卫星图像训练样本中其他卫星图像所对应的兴趣点特征向量之间的兴趣点特征向量欧氏距离；将与该卫星图像之间的兴趣点特征向量欧氏距离最短的卫星图像，与该卫星图像共同作为所述兴趣点对比样本；根据所述兴趣点对比样本，训练所述兴趣点表征学习模型至收敛。
[0015]进一步地，所述利用地理空间对比样本训练所述地理空间表征学习模型，包括：采集卫星图像训练样本；针对所述卫星图像训练样本中的每一卫星图像，根据经纬度数据，确定所述地理空间对比样本；根据所述地理空间对比样本，训练所述地理空间表征学习模型至收敛。
[0016]进一步地，所述表征学习模型还包括注意力机制表征融合模块，其中，通过所述注意力机制表征融合模块，融合所述兴趣点表征向量和所述地理空间表征向量，得到融合表征向量。
[0017]进一步地，在模型训练过程中，在所述兴趣点表征学习模型和所述地理空间表征学习模型的输出向量后增加多层感知机结构。
[0018]第二方面，本专利技术还提供一种卫星图像的表征学习装置，包括：卫星图像获取模块，用于获取目标区域的目标卫星图像；目标结果预测模块，用于将所述目标卫星图像输入至预先训练的表征学习模型中，得到目标预测结果；其中，所述表征学习模型基于兴趣点对比样本和地理空间对比样本训练得到，所述目标预测结果用于评估所述目标区域的待监测指标。
[0019]第三方面，本专利技术还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述的卫星图像的表征学习方法的步骤。
[0020]第四方面，本专利技术还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述的卫星图像的表征学习方法的步骤。
[0021]第五方面，本专利技术还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述的卫星图像的表征学习方法的步骤。
[0022]本专利技术提供的卫星图像的表征学习方法，通过获取目标区域的目标卫星图像，并将该目标卫星图像，输入到基于兴趣点对比样本和地理空间对比样本训练得到的表征学习模型中，以得到用于评估目标区域内待监测指标的目标预测结果，该方法不仅使用卫星图像的地理空间信息进行表征学习，还同时融入了人类活动相关的信息，实现了多模态信息的表征融合，并有效提升了目标区域内相关指标预测的精确度。
附图说明
[0023]为了更清楚地说明本专利技术或现本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种卫星图像的表征学习方法，其特征在于，包括：获取目标区域的目标卫星图像；将所述目标卫星图像输入至预先训练的表征学习模型中，得到目标预测结果；其中，所述表征学习模型基于兴趣点对比样本和地理空间对比样本训练得到，所述目标预测结果用于评估所述目标区域的待监测指标。2.根据权利要求1所述的卫星图像的表征学习方法，其特征在于，所述表征学习模型包括兴趣点表征学习模型和地理空间表征学习模型，其中，利用所述兴趣点对比样本训练所述兴趣点表征学习模型，以及，利用所述地理空间对比样本训练所述地理空间表征学习模型；所述兴趣点表征学习模型用于从所述目标卫星图像中提取兴趣点表征向量，所述地理空间表征学习模型用于从所述目标卫星图像中提取地理空间表征向量。3.根据权利要求2所述的卫星图像的表征学习方法，其特征在于，所述利用所述兴趣点对比样本训练所述兴趣点表征学习模型，包括：采集卫星图像训练样本；针对所述卫星图像训练样本中的每一卫星图像，获取该卫星图像中各类兴趣点的数量，并形成兴趣点特征向量；计算该卫星图像所对应的兴趣点特征向量与所述卫星图像训练样本中其他卫星图像所对应的兴趣点特征向量之间的兴趣点特征向量欧氏距离；将与该卫星图像之间的兴趣点特征向量欧氏距离最短的卫星图像，与该卫星图像共同作为所述兴趣点对比样本；根据所述兴趣点对比样本，训练所述兴趣点表征学习模型至收敛。4.根据权利要求2所述的卫星图像的表征学习方法，其特征在于，所述利用地理空间对比样本训练所述地理空间表征学习模型，包括：采集卫星图像训练样本；针对所述卫星图像训练样本中的每一卫星图像...

【专利技术属性】
技术研发人员：李勇，李桐，金德鹏，
申请(专利权)人：清华大学，
类型：发明
国别省市：