【技术实现步骤摘要】
本专利技术涉及遥感跨模态图文检索，更具体的，涉及一种多尺度信息动态融合的遥感跨模态图文检索方法。
技术介绍
1、近年来，遥感成像技术在灾害监测、资源探测和军事侦察等军民领域受到前所未有的广泛应用关注。对遥感图像的直接语义解析及对给定语义内容的遥感图像获取，逐渐成为遥感图像处理与应用中的重要需求内容。因此，针对遥感信息的跨模态图文检索方法可以给出遥感观测场景内容相匹配一致的图/文表达信息，近几年引起越来越多的聚焦研究。与此同时，鉴于深度学习技术的广泛应用和飞速发展，深度学习具有从多模态数据学习跨模态数据的共性特征表示的能力，从而成为当前最为流行的遥感跨模态图文检索方法。
2、在深度学习领域，现有的遥感跨模态图文检索方法存在诸多问题。如大多网络使用卷积运算，有限的关注视野仅关注到遥感图像的局部特征，往往难以聚焦于远距离的目标信息，从而忽略了遥感图像的全局特征。实际上，全局特征可以让模型能够更好地理解整体遥感图像，而局部特征可以使模型对细粒度对象和对应关系有较好的感知。与此同时，遥感图像可能存在目标尺度变化大的问题，不同尺度信息细...
【技术保护点】
1.一种多尺度信息动态融合的遥感跨模态图文检索方法，其特征在于，包括：
2.根据权利要求1所述的一种多尺度信息动态融合的遥感跨模态图文检索方法，其特征在于，所述数据增强处理包括旋转图像、随机裁剪图像。
3.根据权利要求1所述的一种多尺度信息动态融合的遥感跨模态图文检索方法，其特征在于，所述多尺度特征优化的图像编码器接收将预处理后的图像数据，包括依次连接的一个局部信息感知层、四个基于CNN和Transformer的多尺度特征优化层、一个平均池化层、一个1×1卷积块和一个全连接层；其中，前两个基于CNN和Transformer的多尺度特征优化层得到...
【技术特征摘要】
1.一种多尺度信息动态融合的遥感跨模态图文检索方法，其特征在于，包括：
2.根据权利要求1所述的一种多尺度信息动态融合的遥感跨模态图文检索方法，其特征在于，所述数据增强处理包括旋转图像、随机裁剪图像。
3.根据权利要求1所述的一种多尺度信息动态融合的遥感跨模态图文检索方法，其特征在于，所述多尺度特征优化的图像编码器接收将预处理后的图像数据，包括依次连接的一个局部信息感知层、四个基于cnn和transformer的多尺度特征优化层、一个平均池化层、一个1×1卷积块和一个全连接层；其中，前两个基于cnn和transformer的多尺度特征优化层得到的特征作为图像的低层次语义特征，后两个基于cnn和transformer的多尺度特征优化层得到的特征作为图像的高层次语义特征。
4.根据权利要求3所述的一种多尺度信息动态融合的遥感跨模态图文检索方法，其特征在于，所述局部信息感知层包括三个依次连接的3×3卷积块；
5.根据权利要求3或4所述的一种多尺度信息动态融合的遥感跨模态图文检索方法，其特征在于，所述多尺度信息动态融合模块将多尺度特征优化的图像编码器输出的低层次语义特征和高层次语义特征进行动态融合；
6.根...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。