基于联合潜在语义嵌入的遥感图像描述方法技术

为解决现有的遥感图像描述方法无法充分利用数据库当中的标注、在一些复杂场景不能有效适用的问题，本发明专利技术提供了一种基于联合潜在语义嵌入的遥感图像描述方法。包括步骤：1)构建训练样本集和测试样本集：2)对训练样本集中的原始遥感图像和其对应的标注文本进行联合表达：3)学习潜在语义空间：4)生成遥感图像的描述。本发明专利技术将描述原始遥感图像的五句标注文本进行联合文本特征提取，综合不同标注文本中的信息，尽量完整的对应原始遥感图像中所包含的内容；通过添加约束表达，得到联合文本特征和遥感图像特征距离最近的样本对；最终利用联合文本特征中包含的五句标注来共同描述遥感图像，使得遥感图像描述地更为充分。

Remote Sensing Image Description Method Based on Joint Latent Semantic Embedding

【技术实现步骤摘要】
基于联合潜在语义嵌入的遥感图像描述方法
本专利技术属于信息处理
，特别涉及一种遥感图像描述方法，可用于地震灾害评估以及海洋监测等领域。本专利技术针对的是空对地的遥感图像，这些遥感图像是采取自上而下的拍摄方式捕捉的地面的物体的图像。
技术介绍
高分辨率遥感图像已应用于地震灾害的分级评估、海洋观测等领域。随着遥感以及相关技术的不断发展，更高分辨率遥感图像的获取越来越方便。每时每刻，都在产生大量的遥感图像，这些遥感图像从生成到传输都要耗费巨大的人力物力，如何能够更详尽地挖掘遥感图像中的信息，以更有效地发挥遥感图像的重要作用具有重要意义。为了挖掘遥感图像中的信息，需要研究基于遥感图像的语义理解，对高分辨率遥感图像进行描述，将高分辨率的遥感图像信息转化成为人类能够理解的文本信息。遥感图像不同于普通的自然图像：首先，遥感图像是利用传感器(卫星，航空航天器等)从远处来感知物体的手段；其次，传感器位置不同，对相同的物质会呈现出不同的大小和相对位置，使得遥感图像的语义理解更加困难；最后，因为遥感图像对于普通人而言不熟悉，在标注的时候存在一个不完全标注的问题，更使得遥感图像的语义理解与自然图像的语义理解大有不同。为了利用有监督的机器学习手段解决遥感图像语义理解的问题，业内研究人员标注了相应的机器学习数据库。文献“B.Qu,X.Li,D.Tao,andX.Lu,“Deepsemanticunderstandingofhighresolutionremotesensingimage,”inProceedingsoftheInternationalConferenceonComputer,InformationandTelecommunicationSystems,2016,pp.124–128”首次提出基于机器学习来研究遥感图像的语义理解方法，并提出了两个遥感语义理解方法的数据库，这两个数据库分别是UCM-captions和Sydney-captions。其中，UCM-captions包含2100张遥感图像，每张图像对应五句不同的文本标注，Sydney-captions包含613遥感图像，每张图像对应五句不同的文本标注。文献“X.Lu,B.Wang,X.Zheng,andX.Li,“Exploringmodelsanddataforremotesensingimagecaptiongeneration,”IEEETransactionsonGeoscienceandRemoteSensing,vol.56,no.4,pp.2183–2195,2017.”针对遥感图像不同于自然图像的类别模糊，尺度多变等特点，推出了数据库RSICD(RemoteSensingImageCaptionDataset)，其中包含10921张遥感图像，并邀请不同的志愿者对图像进行了标注，每个图像对应五句不同的文本标注。由于从数据库中通过图像检索句子是非常困难的，为了有效利用上述遥感图像数据库中的信息，技术人员采用了以下两类方法，构建了从数据库中获取遥感图像对应的句子：一是基于循环神经网络生成遥感图像描述的方法，这种方法通过循环神经网络逐词生成对应遥感图像的描述。B.Qu等人在文献“B.Qu,X.Li,D.Tao,andX.Lu,“Deepsemanticunderstandingofhighresolutionremotesensingimage,”InternationalConferenceonComputer,InformationandTelecommunicationSystems,pp.124–128,2016.”中提出一种句子生成的框架，该框架基于两种不同的循环神经网络来进行句子的生成。利用神经网络的强大表征能力，图像使用预训练的深度模型来提取图像特征，然后利用循环神经网络来逐个单词地生成最终的描述。对一张遥感图像而言，这种方法最终生成的是一个句子，该句子偏向于数据库中该遥感图像对应五句文本标注当中的某一个句子，无法充分利用数据库当中的标注。二是基于目标检测的方法，这种方法是通过目标检测算法获取图像中存在的目标，然后将目标填充到预定义的句子模板(句子模板是缺乏部分单词的句子)中进行句子的生成。Z.Shi等人在文献“Z.ShiandZ.Zou,“Canamachinegeneratehumanlikelanguagedescriptionsforaremotesensingimage？”IEEETransactionsonGeoscienceandRemoteSensing,vol.55,no.6,pp.3623–3634,2017.”中提出一种方法，不同于传统卷积神经网络，这个方法使用全卷积网络来编码图像的特征，并将目标按照视野大小分为三个等级：单个目标级别，小场景级别和大场景级别。在获取到目标之后，再将这些获取到的目标填充到预定义的句子模板当中。虽然句子模板在预定义时考虑了人的用法习惯，但是这种生成方式生成的句子相对比较固化，在一些复杂场景并不能有效适用。
技术实现思路
为解决现有的遥感图像描述方法无法充分利用数据库当中的标注、在一些复杂场景不能有效适用的问题，本专利技术提供了一种基于联合潜在语义嵌入的遥感图像描述方法。本专利技术的技术方案是：基于联合潜在语义嵌入的遥感图像描述方法，其特殊之处在于，包括以下步骤：1)构建训练样本集和测试样本集：将数据库中的原始遥感图像及其对应的标注进行划分，将一部分原始遥感图像及其对应的标注划入训练样本集，其余划入测试样本集；2)对训练样本集中的原始遥感图像和其对应的标注文本进行联合表达：2.1)利用预训练好的深度神经网络提取每张原始遥感图像的图像特征；2.2)利用预训练好的词向量提取每张原始遥感图像所对应的五句标注文本的联合文本特征；2.3)将步骤2.1)提取的图像特征和步骤2.2)提取的联合文本特征进行融合，得到每张遥感图像及其对应标注文本的融合特征；3)学习潜在语义空间：利用添加约束的度量学习，学习所述融合特征的潜在语义空间，将所述融合特征映射到要学习的潜在语义空间内；4)生成遥感图像的描述：4.1)从测试样本集中任意选取一张原始遥感图像作为测试图像；4.2)利用预训练好的深度神经网络提取所述测试图像的图像特征；4.3)在步骤3)得到的潜在语义空间里，度量步骤4.2)提取的测试图像的图像特征与步骤2.2)提取的联合文本特征的距离，将距离最小的联合文本特征对应的五句标注文本作为所述测试图像的描述文本。进一步地，步骤1)在划分时，将数据库中90％的原始遥感图像及其对应的标注划入训练样本集，10％的原始遥感图像及其对应的标注划入测试样本集。进一步地，步骤2.1)中的所述深度神经网络采用VGG16、VGG19、AlexNet、GoogLeNet或ResNet。进一步地，步骤2.2)具体为：2.2.1)找到训练样本集中所有标注文本中最长的标注文本，将它的长度作为标准长度；所述长度为句子中单词的个数；2.2.2)将当前待进行特征提取的原始遥感图像所对应五句标注文本中，长度小于所述标准长度的标注文本的末尾用零填充，零的个数为当前标注文本与所述最长的标注文本相比所缺少的单词个数；2.2.3)用预训练好的词向量分本文档来自技高网...

【技术保护点】
1.基于联合潜在语义嵌入的遥感图像描述方法，其特征在于，包括以下步骤：1)构建训练样本集和测试样本集：将数据库中的原始遥感图像及其对应的标注进行划分，将一部分原始遥感图像及其对应的标注划入训练样本集，其余划入测试样本集；2)对训练样本集中的原始遥感图像和其对应的标注文本进行联合表达：2.1)利用预训练好的深度神经网络提取每张原始遥感图像的图像特征；2.2)利用预训练好的词向量提取每张原始遥感图像所对应的五句标注文本的联合文本特征；2.3)将步骤2.1)提取的图像特征和步骤2.2)提取的联合文本特征进行融合，得到每张遥感图像及其对应标注文本的融合特征；3)学习潜在语义空间：利用添加约束的度量学习，学习所述融合特征的潜在语义空间，将所述融合特征映射到要学习的潜在语义空间内；4)生成遥感图像的描述：4.1)从测试样本集中任意选取一张原始遥感图像作为测试图像；4.2)利用预训练好的深度神经网络提取所述测试图像的图像特征；4.3)在步骤3)得到的潜在语义空间里，度量步骤4.2)提取的测试图像的图像特征与步骤2.2)提取的联合文本特征的距离，将距离最小的联合文本特征对应的五句标注文本作为所述测试图像的描述文本。...

【技术特征摘要】
1.基于联合潜在语义嵌入的遥感图像描述方法，其特征在于，包括以下步骤：1)构建训练样本集和测试样本集：将数据库中的原始遥感图像及其对应的标注进行划分，将一部分原始遥感图像及其对应的标注划入训练样本集，其余划入测试样本集；2)对训练样本集中的原始遥感图像和其对应的标注文本进行联合表达：2.1)利用预训练好的深度神经网络提取每张原始遥感图像的图像特征；2.2)利用预训练好的词向量提取每张原始遥感图像所对应的五句标注文本的联合文本特征；2.3)将步骤2.1)提取的图像特征和步骤2.2)提取的联合文本特征进行融合，得到每张遥感图像及其对应标注文本的融合特征；3)学习潜在语义空间：利用添加约束的度量学习，学习所述融合特征的潜在语义空间，将所述融合特征映射到要学习的潜在语义空间内；4)生成遥感图像的描述：4.1)从测试样本集中任意选取一张原始遥感图像作为测试图像；4.2)利用预训练好的深度神经网络提取所述测试图像的图像特征；4.3)在步骤3)得到的潜在语义空间里，度量步骤4.2)提取的测试图像的图像特征与步骤2.2)提取的联合文本特征的距离，将距离最小的联合文本特征对应的五句标注文本作为所述测试图像的描述文本。2.根据权利要求1所述的基于联合潜在语义嵌入的遥感图像描述方法，其特征在于：步骤1)在划分时，将数据库中90％的原始遥感图像及其对应的标注划入训练样本集，10％的原始遥感图像及其对应的标注划入测试样本集。3.根据权利要求1所述的基于联合潜在语义嵌入的遥感图像描述方法，其特征在于：步骤2.1)中的所述深度神经网络采用VGG16、VGG19、AlexNet、GoogLeNet或ResNet。4.根据权利要求1或2或3所述的基于联合潜在语义嵌入的遥感图像描述方法，其特征在于：步骤2.2)具体为：2.2.1)找到训练样本集中所有标注文本中最长的标注文本，将它的长度作为标准长度；所述长度为句子中单词的个数；2.2.2)将当前待进行特征提取的原始遥感图像所对应五句标注文本中，长度小于所述标准长...

【专利技术属性】
技术研发人员：卢孝强，王斌强，
申请(专利权)人：中国科学院西安光学精密机械研究所，
类型：发明
国别省市：陕西,61