基于联合潜在语义嵌入的遥感图像描述方法技术

技术编号:21090692 阅读:37 留言:0更新日期:2019-05-11 10:22
为解决现有的遥感图像描述方法无法充分利用数据库当中的标注、在一些复杂场景不能有效适用的问题,本发明专利技术提供了一种基于联合潜在语义嵌入的遥感图像描述方法。包括步骤:1)构建训练样本集和测试样本集:2)对训练样本集中的原始遥感图像和其对应的标注文本进行联合表达:3)学习潜在语义空间:4)生成遥感图像的描述。本发明专利技术将描述原始遥感图像的五句标注文本进行联合文本特征提取,综合不同标注文本中的信息,尽量完整的对应原始遥感图像中所包含的内容;通过添加约束表达,得到联合文本特征和遥感图像特征距离最近的样本对;最终利用联合文本特征中包含的五句标注来共同描述遥感图像,使得遥感图像描述地更为充分。

Remote Sensing Image Description Method Based on Joint Latent Semantic Embedding

【技术实现步骤摘要】
基于联合潜在语义嵌入的遥感图像描述方法
本专利技术属于信息处理
,特别涉及一种遥感图像描述方法,可用于地震灾害评估以及海洋监测等领域。本专利技术针对的是空对地的遥感图像,这些遥感图像是采取自上而下的拍摄方式捕捉的地面的物体的图像。
技术介绍
高分辨率遥感图像已应用于地震灾害的分级评估、海洋观测等领域。随着遥感以及相关技术的不断发展,更高分辨率遥感图像的获取越来越方便。每时每刻,都在产生大量的遥感图像,这些遥感图像从生成到传输都要耗费巨大的人力物力,如何能够更详尽地挖掘遥感图像中的信息,以更有效地发挥遥感图像的重要作用具有重要意义。为了挖掘遥感图像中的信息,需要研究基于遥感图像的语义理解,对高分辨率遥感图像进行描述,将高分辨率的遥感图像信息转化成为人类能够理解的文本信息。遥感图像不同于普通的自然图像:首先,遥感图像是利用传感器(卫星,航空航天器等)从远处来感知物体的手段;其次,传感器位置不同,对相同的物质会呈现出不同的大小和相对位置,使得遥感图像的语义理解更加困难;最后,因为遥感图像对于普通人而言不熟悉,在标注的时候存在一个不完全标注的问题,更使得遥感图像的语义理解与自然图像的语本文档来自技高网...

【技术保护点】
1.基于联合潜在语义嵌入的遥感图像描述方法,其特征在于,包括以下步骤:1)构建训练样本集和测试样本集:将数据库中的原始遥感图像及其对应的标注进行划分,将一部分原始遥感图像及其对应的标注划入训练样本集,其余划入测试样本集;2)对训练样本集中的原始遥感图像和其对应的标注文本进行联合表达:2.1)利用预训练好的深度神经网络提取每张原始遥感图像的图像特征;2.2)利用预训练好的词向量提取每张原始遥感图像所对应的五句标注文本的联合文本特征;2.3)将步骤2.1)提取的图像特征和步骤2.2)提取的联合文本特征进行融合,得到每张遥感图像及其对应标注文本的融合特征;3)学习潜在语义空间:利用添加约束的度量学习...

【技术特征摘要】
1.基于联合潜在语义嵌入的遥感图像描述方法,其特征在于,包括以下步骤:1)构建训练样本集和测试样本集:将数据库中的原始遥感图像及其对应的标注进行划分,将一部分原始遥感图像及其对应的标注划入训练样本集,其余划入测试样本集;2)对训练样本集中的原始遥感图像和其对应的标注文本进行联合表达:2.1)利用预训练好的深度神经网络提取每张原始遥感图像的图像特征;2.2)利用预训练好的词向量提取每张原始遥感图像所对应的五句标注文本的联合文本特征;2.3)将步骤2.1)提取的图像特征和步骤2.2)提取的联合文本特征进行融合,得到每张遥感图像及其对应标注文本的融合特征;3)学习潜在语义空间:利用添加约束的度量学习,学习所述融合特征的潜在语义空间,将所述融合特征映射到要学习的潜在语义空间内;4)生成遥感图像的描述:4.1)从测试样本集中任意选取一张原始遥感图像作为测试图像;4.2)利用预训练好的深度神经网络提取所述测试图像的图像特征;4.3)在步骤3)得到的潜在语义空间里,度量步骤4.2)提取的测试图像的图像特征与步骤2.2)提取的联合文本特征的距离,将距离最小的联合文本特征对应的五句标注文本作为所述测试图像的描述文本。2.根据权利要求1所述的基于联合潜在语义嵌入的遥感图像描述方法,其特征在于:步骤1)在划分时,将数据库中90%的原始遥感图像及其对应的标注划入训练样本集,10%的原始遥感图像及其对应的标注划入测试样本集。3.根据权利要求1所述的基于联合潜在语义嵌入的遥感图像描述方法,其特征在于:步骤2.1)中的所述深度神经网络采用VGG16、VGG19、AlexNet、GoogLeNet或ResNet。4.根据权利要求1或2或3所述的基于联合潜在语义嵌入的遥感图像描述方法,其特征在于:步骤2.2)具体为:2.2.1)找到训练样本集中所有标注文本中最长的标注文本,将它的长度作为标准长度;所述长度为句子中单词的个数;2.2.2)将当前待进行特征提取的原始遥感图像所对应五句标注文本中,长度小于所述标准长...

【专利技术属性】
技术研发人员:卢孝强王斌强
申请(专利权)人:中国科学院西安光学精密机械研究所
类型:发明
国别省市:陕西,61

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1