一种基于变分自注意力强化学习的遥感图像内容描述方法技术

本发明专利技术公开了一种基于变分自注意力强化学习的遥感图像内容描述方法，属于计算机视觉和自然语言处理的交叉领域；包括：使用遥感图像分类数据集，预训练融合变分自编码器的卷积神经网络；使用预训练的卷积神经网络提取遥感图像的空间特征和语义特征；使用自注意力使空间特征融合上下文信息；使用遥感图像内容描述数据集，使用Transformer解码空间特征和语义特征，融合特征，输出遥感图像内容的文本描述；使用强化学习提升文本描述质量。本发明专利技术利用遥感图像分类数据集，融合变分自编码器进行卷积神经网络预训练，使用自注意力机制，特征融合，强化学习，优化了遥感图像内容描述文本的质量。

A content description method of remote sensing image based on variational self attention reinforcement learning

【技术实现步骤摘要】
一种基于变分自注意力强化学习的遥感图像内容描述方法
本专利技术涉及遥感图像处理技术和自然语言生成
，尤其涉及一种基于变分自注意力强化学习的遥感图像内容描述方法。
技术介绍
遥感是一种非接触、远距离的探测技术。一般来说，它是用来探测和识别目标物体本身通过传感器发射或反射的电磁波、红外线和可见光。随着遥感技术的飞速发展，特别是近年来高分辨率遥感影像的出现，这项技术已成为及时进行全球或区域地球观测的重要手段。遥感影像的规模也在逐步扩大，影像内容提供的信息也越来越丰富。图像内容描述的目标是生成给定图像内容的文本描述，在机器理解图像内容上有很重要的地位。传统的图像内容描述模型由编码器和解码器组成。编码器选择卷积神经网络提取图像的特征，解码器选择长短期记忆网络生成图像内容的文本描述。遥感图像内容描述作为图像内容描述的重要组成部分，可以利用机器提升遥感图像的效率，目前已经越来越受到人们的重视。传统的图像内容描述方法应用在遥感图像上仍存在问题。现有的模型大多关注于遥感图像本身的特征提取，忽视了卷积神经网络更高层的语义信息以及语义信息所表示本文档来自技高网...

【技术保护点】
1.一种基于变分自注意力强化学习的遥感图像内容描述方法，其特征在于：该方法包括如下步骤：/n步骤一，融合变分自编码器和卷积神经网络，构建遥感图像内容描述编码器；构建遥感图像分类数据集，并使用该数据集预训练遥感图像内容描述编码器；/n步骤二，构建遥感图像内容描述解码器，输入遥感图像内容描述编码器编码得到的特征至解码器，融合解码器解码的特征，输出遥感图像内容描述文本；/n步骤三，使用基于强化学习的自评判序列训练作为解码器参数更新策略，使用选定的语言质量评价指标作为奖励，提升文本描述质量，得到优化的遥感图像内容描述网络；/n步骤四，使用优化后的遥感图像内容描述网络，输出遥感图像内容描述文本。/n

【技术特征摘要】
1.一种基于变分自注意力强化学习的遥感图像内容描述方法，其特征在于：该方法包括如下步骤：
步骤一，融合变分自编码器和卷积神经网络，构建遥感图像内容描述编码器；构建遥感图像分类数据集，并使用该数据集预训练遥感图像内容描述编码器；
步骤二，构建遥感图像内容描述解码器，输入遥感图像内容描述编码器编码得到的特征至解码器，融合解码器解码的特征，输出遥感图像内容描述文本；
步骤三，使用基于强化学习的自评判序列训练作为解码器参数更新策略，使用选定的语言质量评价指标作为奖励，提升文本描述质量，得到优化的遥感图像内容描述网络；
步骤四，使用优化后的遥感图像内容描述网络，输出遥感图像内容描述文本。


2.根据权利要求1所述的基于变分自注意力强化学习的遥感图像内容描述方法，其特征在于：所述步骤一，具体包括如下步骤：
1-1，使用在ImageNet上预训练的卷积神经网络作为内容描述编码器的骨架网络；构建遥感图像分类数据集，包含遥感图像和对应的类别；根据构建的数据集的类别数目，修改卷积神经网络的全连接层，使其输出的维度适应遥感图像分类数据集的类别数目；
1-2，获得卷积神经网络的自适应池化层输出，在自适应池化层之后对称于自适应池化层之前的网络层结构添加变分自编码器；
1-3，使用遥感图像分类数据集预训练融合变分自编码器的卷积神经网络，得到训练后的卷积神经网络；
1-4，使用训练好的卷积神经网络获得遥感图像的语义特征和空间特征，在空间特征上执行自注意力机制，使空间特征融合上下文信息，将语义特征和融合上下文信息的空间特征输入到解码器。


3.根据权利要求2所述的基于变分自注意力强化学习的遥感图像内容描述方法，其特征在于：所述步骤1-1，具体包括：删除骨架卷积神经网络结构中适应于ImageNet分类标准的全连接层；添加适应于已构建的遥感图像分类数据集分类标准的全连接层和柔性最大值层。


4.根据权利要求2所述的基于变分自注意力强化学习的遥感图像内容描述方法，其特征在于：所述步骤1-2，变分自编码器网络包含反卷积层、堆正则化、激活函数，其架构为卷积神经网络自适应池化层之前全部网络层的镜像架构。


5.根据权利要求2所述的基于变分自注意力强化学习的遥感图像内容描述方法，其特征在于：所述步骤1-3，具体包括如下：
1-3-1，将构建好的遥感图像分类数据集以一定的比例分割为训练集和验证集；将训练集作为融合变分自编码器的卷积神经网络的输入，网络的输出包含当前输入遥感图像的分类类别和变分自编码器对当前输入遥感图像进行还原的图像；
1-3-2，使用交叉熵损失、均方误差和KL散度的加和作为损失函数，均方误差和KL散度的系数作为超参数；交叉熵损失描述预测标签和真实标签的误差，均方误差描述变分自编码器还原的遥感图像和输入遥感图像的误差，KL散度描述变分自编码器中间特征概率分布和输入遥感图像特征概率分布的误差；
1-3-3，使用亚当优化器优化融合变分自编码器的卷积神经网络的参数，得到训练后的卷积神经网络。


6.根据权利要求5所述的基于变分自注意力强化学习的遥感图像内容描述方法，其特征在于：所述步骤1-3-3，网络的训练策略如下：每在训练集上训练一个周期，在验证集上计算当前网络的遥感图像分类精度和分类损失；分类精度为当前网络在验证集上进行遥感图像分类的准确率，分类损失为当前网络在验证集上的损失函数的数值；
在...

【专利技术属性】
技术研发人员：周勇，沈祥清，赵佳琦，夏士雄，马丁，姚睿，刘兵，杜文亮，
申请(专利权)人：中国矿业大学，
类型：发明
国别省市：江苏;32