一种面向多模态数据的遥感图像分类方法技术

本发明专利技术公开了一种面向多模态数据的遥感图像分类方法，包括，基于自步学习策略建立场景目标检测模型，并通过场景目标检测模型进行跨模态学习；基于搜索策略和场景目标检测模型构建深度网络检测模型，通过深度网络检测模型对多模态信息进行处理；基于深度网络检测模型与自步学习策略构建多任务学习模型，利用多任务学习模型对遥感图像进行分类；本发明专利技术结合深度学习的训练方法与优化方法构建多任务学习模型，通过多任务学习模型实现遥感图像的准确分类，并且多任务学习模型的误差损失较小。

【技术实现步骤摘要】
一种面向多模态数据的遥感图像分类方法
本专利技术涉及图像处理和神经网络的
，尤其涉及一种面向多模态数据的遥感图像分类方法。
技术介绍
遥感图像分类算法主要分为以下几类：无监督分类，主要是建立统计识别函数，根据典型样本训练方法进行分类的技术。非监督分类，以不同影像在特征空间中类别特征的差别为依据的一种无先验类别标准的图像分类，主要以集群理论为基础，代表性的如K-mean。神经网络图像分类法，主要通过模人脑神经元对信息进行加工、处理、储存、搜索的过程，此方法不需要进行任何统计分布的先验知识。模糊聚类分类法，主要以一种模糊数学的方法，对不确定性事物进行分析。决策树分类法，利用决策树分类法的树结构原则，定义每个分支，由上而下，根据各个类别的相似程度，逐级向上聚类的过程。专家系统分类法，主要是以专家的经验和是知识以某种形式形成知识库。支持向量机分类法，这是一种有监督的学习模型，通常应用于对对象进行模式识别，能够相对更好的平衡模型中的复杂性和学习能力。面向对象的分类法，通常用于解读高分辨率和纹理影像数据的纹理特征，通过与现实世界中建立关系以达到真正的本文档来自技高网...

【技术保护点】
1.一种面向多模态数据的遥感图像分类方法，其特征在于：包括，/n基于自步学习策略建立场景目标检测模型，并通过所述场景目标检测模型进行跨模态学习；/n基于搜索策略和所述场景目标检测模型构建深度网络检测模型，通过所述深度网络检测模型对多模态信息进行处理；/n基于所述深度网络检测模型与所述自步学习策略构建多任务学习模型，利用所述多任务学习模型对遥感图像进行分类。/n

【技术特征摘要】
1.一种面向多模态数据的遥感图像分类方法，其特征在于：包括，
基于自步学习策略建立场景目标检测模型，并通过所述场景目标检测模型进行跨模态学习；
基于搜索策略和所述场景目标检测模型构建深度网络检测模型，通过所述深度网络检测模型对多模态信息进行处理；
基于所述深度网络检测模型与所述自步学习策略构建多任务学习模型，利用所述多任务学习模型对遥感图像进行分类。


2.如权利要求1所述的面向多模态数据的遥感图像分类方法，其特征在于：建立所述场景目标检测模型包括，
构建深度网络模型；
基于强化学习设计优化策略A，对所述深度网络模型进行优化；
基于所述自步学习策略设计优化策略B，对优化后的深度网络模型进行正则化处理，生成所述场景目标检测模型；
其中，所述深度网络模型由n个流构成，即为n个图像信息、n个音频信息和n个文本信息，每个流都由6个层组成，分别是1个输入层、4个中间层和1个输出层。


3.如权利要求2所述的面向多模态数据的遥感图像分类方法，其特征在于：所述优化策略A包括，
在数据生成阶段，利用Q网络与数据所在的网络环境进行交互；
通过所述深度网络模型观察当前数据网络层，并使用ε-贪心算法进行检测和优化；
在训练阶段，所述深度网络模型会利用存储在重放记忆M中的数据来对网络进行训练，更新模型参数。


4.如权利要求2或3所述的面向多模态数据的遥感图像分类方法，其特征在于：所述优化策略B包括，
定义目标函数如下：



通过目标函数对所述优化后的深度网络模型进行所述正则化处理，使所述优化后的深度网络模型稀疏，进而获得所述场景目标检测模型；
其中，xi,yi∈Rm为双时相遥感图像中的对应像素，m为频带数，n为像素总数，x和y是融入专家知识后的筛选后的像素区域，ω为权值，T为矩阵的转置，i为像素区域的横坐标，j为像素区域的纵坐标。


5.如权利要求4所述的面向多模态数据的遥感图像分类方法，其特征在于：构建所述深度网络检测模型包括，
通过设计深度网络检测模型的强化学习机制和优化策略，训练场景目标检测模型的参数；
设计深度网络检测模型特征的降维算法，以求取卷积后的高层特征v的投影矩阵。


6.如权利要求5所述的面向多模态数据的遥感图像分类方法，其特征在于：所述强化学习机制和优化策略包括，
定义y为深度网络检测模型检测到的窗口，窗口y的数据分布p(y)如下式：



根据下式固定...

【专利技术属性】
技术研发人员：张涛，张占杰，金波，周磊，
申请(专利权)人：江南大学，深圳市数字城市工程研究中心，
类型：发明
国别省市：江苏;32