多模态多粒度遥感影像面向对象自动机器学习方法及系统技术方案

本发明专利技术公开了一种多模态多粒度遥感影像面向对象自动机器学习方法及系统，将初始的云样本数据，依次通过光谱

【技术实现步骤摘要】
多模态多粒度遥感影像面向对象自动机器学习方法及系统


[0001]本专利技术属于遥感与地理国情监测
，涉及一种云控制下多模态多粒度遥感影像面向对象自动机器学习方法及系统，具体涉及一种多模态多粒度遥感影像的面向对象提取、划分、及其集多种机器学习（非监督聚类、监督的随机森林和深度学习）为一体的全自动机器学习训练与预测方法及系统。

技术介绍

[0002]遥感影像解译通常包括面向像素的分类和面向对象（图斑）的分类两大类，而基于已标注样本集的监督分类则是目前使用较为广泛的方法。遥感影像监督分类往往需要准备准确和充足的训练、验证样本，样本的质量对于分类器的训练和最终预测起着关键作用，因此样本自动提取和优选是遥感影像分类及其预处理领域的重要研究课题。然而，遥感影像分类样本自动选择和模型训练仍然存在许多问题：1）模态问题：遥感影像样本选择及分类往往可能因光谱形状相似，尺度差异较大，影像外部样本特征未充分利用，传感器或获取时间不同产生的影像差异等多种模态问题，导致同类样本差异较大，质量低，进而导致分类精度低；2）粒度问题：遥感影像样本的分类级别粗，样本粒度单一化机械化，往往不能满足实际需求，导致同类样本内部差异大，质量低，进而影响分类精度；3）自动化问题：遥感影像样本选择及分类仍然需要大量人为干预，主观性强，自动化程度低，从而耗费大量人力物力。
[0003]当前已有部分研究和专利技术对上述问题进行了分析与研究：1）申请号为201810627958.1的中国专利技术专利《基于多模态表征的细粒度图像分类方法》，公开了一种基于多模态表征的细粒度图像分类技术，但该技术主要结合图像外（基于百度词库的文本信息）辅助视觉信息对于图像及其语义标签进行细粒度分类，且不是针对遥感影像的技术。
[0004]2）张宁, 吴炳方, 周月敏等于2008海峡两岸遥感大会上公开的论文《面向对象的多尺度与多时相遥感影像自动分类方法》，公开了一种基于多尺度和多时相的遥感影像分类方法，该方法是在人为给定的三个分割尺度下，根据影像光谱等特征、时相特征等，基于大量先验知识人为给出预分类标签并建立决策树分类系统，对影像预测分类，主观性强，且其样本选择、尺度划分以及矢量化等未体现自动化，其未使用大数据样本集，并采用浅层学习进行分类。
[0005]3）申请号为201811400783.7的中国专利技术专利《一种基于多粒度的遥感数据处理方法》，公开了一种基于多粒度的遥感数据处理方法，该方法强调通过一次粒粗粒筛选，二次粒细粒筛选，不断迭代，获取归类信息，旨在提取剩余的有价值的特征信息，本质上是人工设计并提取特征，而当前深度学习可以自动学习更好更深层次的特征。
[0006]4）申请号201610374807.0的中国专利技术专利《一种基于多模态深度学习的遥感影像分类方法》，公开了一种基于多模态的深度学习遥感影像分类方法，该方法重点在深度学习
模型上的优化，通过提取多模态分级特征，构建这种特征关联共享，但其专注模型本身，没有考虑大数据样本的质量。

技术实现思路

[0007]本专利技术的目的在于提供一种云控数据训练样本驱动多模态多层次粒度细化方案以及全自动监督机器学习方法及系统，以提升面向对象遥感影像多尺度分类精度。
[0008]本专利技术的方法所采用的技术方案是：一种多模态多粒度遥感影像面向对象自动机器学习方法，包括以下步骤：步骤1：将已标注属性标签的面向对象的遥感影像云样本数据作为初始样本集S；步骤2：将初始样本集S按初始标签依次分为n类样本组，即S={S1, S2,
ꢀ…
, S
n
}；步骤3：对每个样本组进行云控制的多模态多粒度面向对象样本细化处理，根据样本的具体特征及判断，依次通过四种不同模态的粒度划分方案，将每类样本组细化至I级粒度样本、II级粒度样本、III级粒度样本和IV级粒度样本，并赋予代号标签；其中，所述四种不同模态包括光谱
‑
纹理
‑
形状特征、云控制地理信息特征、时间变化特征和尺度特征四种模态；步骤4：经过步骤3的多模态多粒度样本细化后，得到IV级粒度样本集，并依据预设比例分层抽样，将其分别划分为训练样本集、验证样本集和测试样本集；步骤5：分别对步骤4划分的训练样本集、验证样本集和测试样本集进行样本扩充，生成新的样本；步骤6：根据步骤5扩充后的训练、验证样本集数量差异，选择机器学习分类模型，并对分类模型进行训练和超参数调优；其中，对于尺度大于阈值、数量少于阈值且特征差异明显的样本集，使用针对小样本集的集成学习分类模型；对于其他样本集，使用深度神经网络分类模型；其中，所述特征差异明显，即计算的类间分离度大于阈值；步骤7：将步骤6已经训练好的分类模型集成为分类模型库，输入测试样本集，其自动根据尺度大小和特征选择分类模型库中的优选模型进行分流预测，预测结果标签根据初始样本集的初始标签进行合并归类为{S1, S2,
ꢀ…
, S
n
},其中n为大于1的自然数。
[0009]本专利技术的系统所采用的技术方案是：一种多模态多粒度遥感影像面向对象自动机器学习系统，包括以下模块：模块1，用于将已标注属性标签的面向对象的遥感影像云样本数据作为初始样本集S；模块2，用于将初始样本集S按初始标签依次分为n类样本组，即S={S1, S2,
ꢀ…
, S
n
},其中n为大于1的自然数；模块3，用于对每个样本组进行云控制的多模态多粒度面向对象样本细化处理，根据样本的具体特征及判断，依次通过四种不同模态的粒度划分方案，将每类样本组细化至I级粒度样本、II级粒度样本、III级粒度样本和IV级粒度样本，并赋予代号标签；其中，所述四种不同模态包括光谱
‑
纹理
‑
形状特征、云控制地理信息特征、时间变化特征和尺度特征四种模态；模块4，用于经过模块3的多模态多粒度样本细化后，得到IV级粒度样本集，并依据
预设比例分层抽样，将其分别划分为训练样本集、验证样本集和测试样本集；模块5，用于分别对模块4划分的训练样本集、验证样本集和测试样本集进行样本扩充，生成新的样本；模块6，用于根据模块5扩充后的训练、验证样本集数量差异，选择机器学习分类模型，并对分类模型进行训练和超参数调优；其中，对于尺度大于阈值、数量少于阈值且特征差异明显的样本集，使用针对小样本集的集成学习分类模型；对于其他样本集，使用深度神经网络分类模型；其中，所述特征差异明显，即计算的类间分离度大于阈值；模块7，用于将模块6已经训练好的分类模型集成为分类模型库，输入测试样本集，其自动根据尺度大小和特征选择分类模型库中的优选模型进行分流预测，预测结果标签根据初始样本集的初始标签进行合并归类为{S1, S2,
ꢀ…
, S
n
},其中n为大于1的自然数。
[0010]本专利技术基于云控制的样本及辅助遥感数据产品，根据常见的面向对象遥感影像分类样本特性，利用光谱、地理信息、时间变化和尺度四种典型模态，对常用的样本集进行四个级别的粒度本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种多模态多粒度遥感影像面向对象自动机器学习方法，其特征在于，包括以下步骤：步骤1：将已标注属性标签的面向对象的遥感影像云样本数据作为初始样本集S；步骤2：将初始样本集S按初始标签依次分为n类样本组，即S={S1, S2,
ꢀ…
, S
n
}；步骤3：对每个样本组进行云控制的多模态多粒度面向对象样本细化处理，根据样本的具体特征及判断，依次通过四种不同模态的粒度划分方案，将每类样本组细化至I级粒度样本、II级粒度样本、III级粒度样本和IV级粒度样本，并赋予代号标签；其中，所述四种不同模态包括光谱
‑
纹理
‑
形状特征、云控制地理信息特征、时间变化特征和尺度特征四种模态；步骤4：经过步骤3的多模态多粒度样本细化后，得到IV级粒度样本集，并依据预设比例分层抽样，将其分别划分为训练样本集、验证样本集和测试样本集；步骤5：分别对步骤4划分的训练样本集、验证样本集和测试样本集进行样本扩充，生成新的样本；步骤6：根据步骤5扩充后的训练、验证样本集数量差异，选择机器学习分类模型，并对分类模型进行训练和超参数调优；其中，对于尺度大于阈值、数量少于阈值且特征差异明显的样本集，使用针对小样本集的集成学习分类模型；对于其他样本集，使用深度神经网络分类模型；其中，所述特征差异明显，即计算的类间分离度大于阈值；步骤7：将步骤6已经训练好的分类模型集成为分类模型库，输入测试样本集，其自动根据尺度大小和特征选择分类模型库中的优选模型进行分流预测，预测结果标签根据初始样本集的初始标签进行合并归类为{S1, S2,
ꢀ…
, S
n
},其中n为大于1的自然数。2.根据权利要求1所述的多模态多粒度遥感影像面向对象自动机器学习方法，其特征在于：步骤2中，所述将每类样本组细化至I级粒度样本，采用光谱
‑
纹理
‑
形状特征，设定类内凝聚度阈值q1，类间分离度阈值t1，通过提取样本的光谱、纹理和结构特征，通过聚类算法，对各样本组的初始样本进行粒度划分，使所有聚类样本集的类内凝聚度和类间分离度达到阈值；然后根据聚类结果赋上I级标签，即S
ij = I(S
i
) = {S
i1
, S
i2
,
ꢀ…
, S
im
}, 1<=i<=n, 1<=j<=m,其中n, m均为大于1的自然数。3.根据权利要求2所述的多模态多粒度遥感影像面向对象自动机器学习方法，其特征在于：所述样本光谱特征，采用计算样本各波段像元灰度值的均值、标准差进行提取；样本纹理特征，通过统计灰度对出现频率构建经典的灰度共生矩阵，来提取并获取特征参；样本形状特征，通过计算像元形状指数、紧凑度来提取；将提取出的各种特征叠加为多维特征向量，依据初始样本的先验认知，分别赋予样本光谱、纹理和形状特征向量以不同的权重，再利用isodata算法对该加权后的向量空间进行特征点聚类。4.根据权利要求2所述的多模态多粒度遥感影像面向对象自动机器学习方法，其特征在于：所述通过聚类算法对各样本组的初始样本进行粒度划分，若某一聚类集合的类内凝聚度和同其他聚类集合的类间分离度达到阈值，则保留该聚类集合；若未达到阈值，则继续对不合格的聚类集合统一进行新一轮的聚类，直至所有聚类样本集的类内凝聚度和类间分离度均满足阈值。5. 根据权利要求1所述的多模态多粒度遥感影像面向对象自动机器学习方法，其特征在于：步骤2中，所述将每类样本组细化至II级粒度样本，采用云控制地理信息特征，根据部
分样本的高度海拔、所处环境，结合云控制下的已有的地理信息产品，对I级粒度样本进一步叠加以辅助判别并划分粒度；然后根据判别结果附上II级标签，即S
ijk = II(S
ij
) = {S
ij1
, S
ij2
,
ꢀ…
, S
ija
}, 1<=i<=n, 1<=j<=m, 1<=k<=a,其中n, m, a均为大于1的自然数；无需此模态判别的样本该级粒度标签值为0，标记为S
ij0
。6.根据权利要求5所述的多模态多粒度遥感影像面向对象自动机器学习方法，其特征在于：首先对用于辅助判别的云控制...

【专利技术属性】
技术研发人员：李畅，刘金慧，
申请(专利权)人：华中师范大学，
类型：发明
国别省市：