基于多包融合的高分遥感图像场景多标签分类方法技术

本发明专利技术公开了一种基于多包融合的高分遥感图像场景多标签分类方法。该方法首先在高分遥感图像上按网格划分提取多种异构特征并编码；其次，分别运用分层和分割的方法划分子区域对编码后的特征进行池化，得到分层示例包和分割示例包；然后使用马氏距离通过K‑Medoids方法对包进行聚类，求取包到所有聚类中心的距离，将所有距离值组成向量，使得多示例包转化为单示例；接下来将得到的单示例进行串联融合；最后通过一对其余方法设计多个二分类器解决多标签问题。本发明专利技术提出基于多包融合的高分遥感图像场景多标签分类方法，提高了分类的性能，相比现有的分类方法取得了更优异的分类结果。

Multi-label classification of high-resolution remote sensing image scene based on multi-packet fusion

【技术实现步骤摘要】
基于多包融合的高分遥感图像场景多标签分类方法
本专利技术属于图像处理和模式识别
，尤其涉及一种基于多包融合的高分遥感图像场景多标签分类方法。
技术介绍
随着人们研究的不断深入，遥感图像分类技术取得了明显的进步，然而以往的分类技术研究往往是基于单个标签的，这种分类方法有简单明了的优势，但与此同时也存在着不能完整的描述图像内容的缺点。近年来，众多研究者们也开始意识到这种情况，并引入多标签分类的思想以解决这类问题，其中一种称为多示例多标签学习(Multi-InstanceMulti-Labellearning,MIML)的典型框架尤其吸引了人们的注意力。在MIML中，一幅图像通过一个包表示，一个示例对应图像中的部分区域的描述信息。一个包由多个示例组成，如果这些示例全是负样本则该包也是负样本，否则只要包中有一个示例为正样本则该包也为正样本。正如在提出多示例多标签学习框架时所描述的，多标签是由于图像的“多义性”导致的，若针对一个“多义性”的对象仅仅使用一个示例表示则过于简单，容易造成在表示阶段就丢失图像的本质信息，若采用多示例就很符合对复杂图像的准确描述问题。虽然多示例多标签学习已经引起了广泛的兴趣，有大量的学者都在对其研究，但现有的研究重点在于多标签分类器的设计以及类别标签之间关系的挖掘，而对如何更完整描述原图像语义、如何构建包及利用示例间关联信息的研究较少，然而这些因素对分类结果的影响都是十分巨大的。
技术实现思路
专利技术目的：针对以上问题，本专利技术提出一种基于多包融合的高分遥感图像场景多标签分类方法。本方法通过选用多种异构特征生成示例，然后构建分层示例包和分割示例包，实现包信息的互补，最后通过多示例多标签学习框架解决了复杂的遥感场景的多标签分类问题，提高多标签分类性能。技术方案：为实现本专利技术的目的，本专利技术所采用的技术方案是：一种基于多包融合的高分遥感图像场景多标签分类方法，包括以下步骤：步骤1：从遥感卫星图像或航拍图像中获取多标签遥感场景图像，构建遥感图像训练样本集和测试样本集，按网格区域提取样本集中遥感图像的空间形状特征、光谱特征、纹理特征并进行编码；将同一网格区域形状、光谱、纹理特征编码结果串联在一起，得到融合的多特征编码；步骤2：在提取到遥感图像的形状、光谱、纹理特征并进行编码后，采用SPM空间分层的方法，将遥感图像分层进行规则的区域划分，构建分层示例包，进而得到训练样本集对应的分层包集合；采用图像多区域分割算法划分遥感图像，构建分割示例包，进而得到训练样本集对应的分割包集合；步骤3：使用马氏距离度量不同包之间距离，构建MIML中距离度量学习的目标函数，分别得到训练样本集的分割包集合中不同包之间的最优马氏距离以及分层包集合中不同包之间的最优马氏距离；基于所述马氏距离，采用K-Medoids聚类算法，得到训练样本集中遥感图像的分层示例包和分割示例包的单示例，将两个单示例串联形成遥感图像的新的单示例，进而得到训练样本集的单示例多标签集合；步骤4：根据训练样本集中遥感图像包含的y类标签，以及步骤3所得到的训练样本集的单示例多标签集合，设计y个SVM二值分类器；步骤5：根据步骤1-3所述方法处理测试样本图像，得到测试样本的单示例多标签数据；将得到的测试样本的单示例多标签数据分别输入y类标签的SVM二值分类器进行分类，若第i类标签的二值分类器输出为1，则判断该测试样本为输入第i类标签的二值分类器的正样本，即该测试样本具有第i类标签；最后得到该测试样本的y个标签分类结果。进一步，步骤1所述构建遥感图像训练样本集和测试样本集，方法如下：步骤1.1.1：从遥感卫星图像或航拍图像中获取多标签遥感场景图像，构建遥感图像训练样本集Train＝[Train1,...,Traini,...,Traintrn]，训练样本集共包含trn张图像，其中Traini表示训练样本集中的第i张图像；构建测试样本集Test＝[Test1,...,Testi,...,Testtst]，测试样本集共包含tst张图像，其中Testi表示测试样本集中的第i张图像；步骤1.1.2：构建训练样本集的样本标签TrLabel＝[TrL1,...,TrLi,...,TrLtrn]，其中TrLi表示训练样本集的第i张图像对应的标签，TrLi＝[l1,...,ly]，其中l为0或1，y表示图像包含不同标签的数目，ly＝1表示对应样本包含第y类标签；构建测试样本集的样本标签TeLabel＝[TeL1,...,TeLi,...,TeLtst]，其中TeLi表示测试样本集的第i张图像对应的标签，TeLi＝[l1,...,ly]。进一步，步骤1所述按网格区域提取样本集中遥感图像的空间形状特征并进行编码，方法如下：步骤1.2.1：在样本集中选取第j幅图像，采用网格划分图像，得到网格区域S＝[s1,si,...,sn]，n为划分的网格区域数目，sn为第n个网格区域；在每个网格区域内，以网格区域中心作为特征点位置，用SURF算法提取空间形状特征，则在第i个网格区域得到一个d维特征fiS，进而得到第j幅图像的SURF空间形状特征通过上述方法，得到训练数据集的SURF空间形状特征集合步骤1.2.2：将提取得到的SURF空间形状特征集合FS，选取m个聚类中心，采用K-Means算法进行聚类，将类中心作为编码字典B，字典B＝[b1,b2,...,bm]，bm表示第m个聚类中心；步骤1.2.3：对每幅图像的每个网格区域提取的SURF空间形状特征在字典B下进行局部约束线性编码(Locality-ConstrainedLinearCoding，LLC)；其中，第j幅图像的SURF空间形状特征编码结果为为第i个网格区域的SURF空间形状特征使用LLC算法编码后的特征，n为划分网格区域的个数。进一步，步骤1所述按网格区域提取样本集中遥感图像的光谱特征并进行编码，方法如下：步骤1.3.1：将遥感图像从原始RGB空间变换到HSV和XYZ空间；步骤1.3.2：分别在RGB、HSV和XYZ这9个子空间上，采用网格划分遥感图像，得到网格区域S＝[s1,si,...,sn]，n为划分的网格区域数目，sn为第n个网格区域；求第i个网格区域的均值meani和方差stdi，则第l个空间的第i个网格区域的均值为方差为第l个空间的光谱特征为和l＝1,2,…,9，第j张图像的光谱特征为通过上述方法，得到训练数据集的Mean-Std光谱特征集合步骤1.3.3：将提取得到的Mean-Std光谱特征集合FM-S，选取m个聚类中心，采用K-Means算法进行聚类，将类中心作为编码字典B，字典B＝[b1,b2,...,bm]，bm表示第m个聚类中心；步骤1.3.4：采用LLC算法对提取的光谱特征进行编码；其中，第j幅图像的光谱特征编码结果为为第i个网格区域的光谱特征使用LLC算法编码后的特征，n为划分网格区域的个数。进一步，步骤1所述按网格区域提取样本集中遥感图像的纹理特征并进行编码，方法如下：步骤1.4.1：将遥感图像进行单演滤波；步骤1.4.2：分别在滤波后得到的单演幅值图像、方向图像和相位图像上，采用网格划分图像，得到网格区域S＝[s1,si,...,sn]，n为划分的网格区域数目；分别求幅值图像、方向图像和相位本文档来自技高网...

【技术保护点】
1.一种基于多包融合的高分遥感图像场景多标签分类方法，其特征在于：该方法包括以下步骤：步骤1：从遥感卫星图像或航拍图像中获取多标签遥感场景图像，构建遥感图像训练样本集和测试样本集，按网格区域提取样本集中遥感图像的空间形状特征、光谱特征、纹理特征并进行编码；将同一网格区域形状、光谱、纹理特征编码结果串联在一起，得到融合的多特征编码；步骤2：在提取到遥感图像的形状、光谱、纹理特征并进行编码后，采用SPM空间分层的方法，将遥感图像分层进行规则的区域划分，构建分层示例包，进而得到训练样本集对应的分层包集合；采用图像多区域分割算法划分遥感图像，构建分割示例包，进而得到训练样本集对应的分割包集合；步骤3：使用马氏距离度量不同包之间距离，构建MIML中距离度量学习的目标函数，分别得到训练样本集的分割包集合中不同包之间的最优马氏距离以及分层包集合中不同包之间的最优马氏距离；基于所述马氏距离，采用K‑Medoids聚类算法，得到训练样本集中遥感图像的分层示例包和分割示例包的单示例，将两个单示例串联形成遥感图像的新的单示例，进而得到训练样本集的单示例多标签集合；步骤4：根据训练样本集中遥感图像包含的y类标签，以及步骤3所得到的训练样本集的单示例多标签集合，设计y个SVM二值分类器；步骤5：根据步骤1‑3所述方法处理测试样本图像，得到测试样本的单示例多标签数据；将得到的测试样本的单示例多标签数据分别输入y类标签的SVM二值分类器进行分类，若第i类标签的二值分类器输出为1，则判断该测试样本为输入第i类标签的二值分类器的正样本，即该测试样本具有第i类标签；最后得到该测试样本的y个标签分类结果。...

【技术特征摘要】
1.一种基于多包融合的高分遥感图像场景多标签分类方法，其特征在于：该方法包括以下步骤：步骤1：从遥感卫星图像或航拍图像中获取多标签遥感场景图像，构建遥感图像训练样本集和测试样本集，按网格区域提取样本集中遥感图像的空间形状特征、光谱特征、纹理特征并进行编码；将同一网格区域形状、光谱、纹理特征编码结果串联在一起，得到融合的多特征编码；步骤2：在提取到遥感图像的形状、光谱、纹理特征并进行编码后，采用SPM空间分层的方法，将遥感图像分层进行规则的区域划分，构建分层示例包，进而得到训练样本集对应的分层包集合；采用图像多区域分割算法划分遥感图像，构建分割示例包，进而得到训练样本集对应的分割包集合；步骤3：使用马氏距离度量不同包之间距离，构建MIML中距离度量学习的目标函数，分别得到训练样本集的分割包集合中不同包之间的最优马氏距离以及分层包集合中不同包之间的最优马氏距离；基于所述马氏距离，采用K-Medoids聚类算法，得到训练样本集中遥感图像的分层示例包和分割示例包的单示例，将两个单示例串联形成遥感图像的新的单示例，进而得到训练样本集的单示例多标签集合；步骤4：根据训练样本集中遥感图像包含的y类标签，以及步骤3所得到的训练样本集的单示例多标签集合，设计y个SVM二值分类器；步骤5：根据步骤1-3所述方法处理测试样本图像，得到测试样本的单示例多标签数据；将得到的测试样本的单示例多标签数据分别输入y类标签的SVM二值分类器进行分类，若第i类标签的二值分类器输出为1，则判断该测试样本为输入第i类标签的二值分类器的正样本，即该测试样本具有第i类标签；最后得到该测试样本的y个标签分类结果。2.根据权利要求1所述的一种基于多包融合的高分遥感图像场景多标签分类方法，其特征在于：步骤1所述构建遥感图像训练样本集和测试样本集，方法如下：步骤1.1.1：从遥感卫星图像或航拍图像中获取多标签遥感场景图像，构建遥感图像训练样本集Train＝[Train1,...,Traini,...,Traintrn]，训练样本集共包含trn张图像，其中Traini表示训练样本集中的第i张图像；构建测试样本集Test＝[Test1,...,Testi,...,Testtst]，测试样本集共包含tst张图像，其中Testi表示测试样本集中的第i张图像；步骤1.1.2：构建训练样本集的样本标签TrLabel＝[TrL1,...,TrLi,...,TrLtrn]，其中TrLi表示训练样本集的第i张图像对应的标签，TrLi＝[l1,...,ly]，其中l为0或1，y表示图像包含不同标签的数目，ly＝1表示对应样本包含第y类标签；构建测试样本集的样本标签TeLabel＝[TeL1,...,TeLi,...,TeLtst]，其中TeLi表示测试样本集的第i张图像对应的标签，TeLi＝[l1,...,ly]。3.根据权利要求1所述的一种基于多包融合的高分遥感图像场景多标签分类方法，其特征在于：步骤1所述按网格区域提取样本集中遥感图像的空间形状特征并进行编码，方法如下：步骤1.2.1：在样本集中选取第j幅图像，采用网格划分图像，得到网格区域S＝[s1,si,...,sn]，n为划分的网格区域数目，sn为第n个网格区域；在每个网格区域内，以网格区域中心作为特征点位置，用SURF算法提取空间形状特征，则在第i个网格区域得到一个d维特征fiS，进而得到第j幅图像的SURF空间形状特征通过上述方法，得到训练数据集的SURF空间形状特征集合步骤1.2.2：将提取得到的SURF空间形状特征集合FS，选取m个聚类中心，采用K-Means算法进行聚类，将类中心作为编码字典B，字典B＝[b1,b2,...,bm]，bm表示第m个聚类中心；步骤1.2.3：对每幅图像的每个网格区域提取的SURF空间形状特征在字典B下进行局部约束线性编码(Locality-ConstrainedLinearCoding，LLC)；其中，第j幅图像的SURF空间形状特征编码结果为为第i个网格区域的SURF空间形状特征使用LLC算法编码后的特征，n为划分网格区域的个数。4.根据权利要求1所述的一种基于多包融合的高分遥感图像场景多标签分类方法，其特征在于：步骤1所述按网格区域提取样本集中遥感图像的光谱特征并进行编码，方法如下：步骤1.3.1：将遥感图像从原始RGB空间变换到HSV和XYZ空间；步骤1.3.2：分别在RGB、HSV和XYZ这9个子空间上，采用网格划分遥感图像，得到网格区域S＝[s1,si,...,sn]，n为划分的网格区域数目，sn为第n个网格区域；求第i个网格区域的均值meani和方差stdi，则第l个空间的第i个网格区域的均值为meanil，方差为stdil；第l个空间的光谱特征为Meanl＝(mean1l,...,meannl)T和Stdl＝(std1l,...,stdnl)T，l＝1,2,…,9，第j张图像的光谱特征为通过上述方法，得到训练数据集的Mean-Std光谱特征集合步骤1.3.3：将提取得到的Mean-Std光谱特征集合FM-S，选取m个聚类中心，采用K-Means算法进行聚类，将类中心作为编码字典B，字典B＝[b1,b2,...,bm]，bm表示第m个聚类中心；步骤1.3.4：采用LLC算法对提取的光谱特征进行编码；其中，第j幅图像的光谱特征编码结果为为第i个网格区域的光谱特征使用LLC算法编码后的特征，n为划分网格区域的个数。5.根据权利要求1所述的一种基于多包融合的高分遥感图像场景多标签分类方法，其特征在于：步骤1所述按网格区域提取样本集中遥感图像的纹理特征并进行编码，方法如下：步骤1.4.1：将遥感图像进行单演滤波；步骤1.4.2：分别在滤波后得到的单演幅值图像、方向图像和相位图像上，采用网格划分图像，得到网格区域S＝[s1,si,...,sn]，n为划分的网格区域数目；分别求幅值图像、方向图像和相位图像上第i个网格区域的完备局部二进制模式(CompletedLocalBinaryPattern，CLBP)特征表示该区域的纹理信息，可得到d维特征fiC-A、fiC-θ和fiC-P，将幅值图像、方向图像和相位图像上第i个网格区域得到的特征串联起来，得到遥感图像第i个网格区域的MO-CLBP纹理特征fiMO＝[fiC-A；fiC-P；fiC-θ]，fiC-P和fiC-θ分别为相位图像和方向图像上第i个网格区域的CLBP特征，则第j幅图像的MO-CLBP纹理特征可表示为通过上述方法，得到训练数据集的MO-CLBP纹理特征集合步骤1.4.3：将提取得到的MO-CLBP特征集合FMO，选取m个聚类中心，采用K-Means算法进行聚类，将类中心作为编码字典B，字典B＝[b1,b2,...,bm]，bm表示第m个聚类中心；步骤1.4.4：采用LLC算法对提取的光谱特征进行编码；其中，第j幅图像的纹理特征编码结果为为第...

【专利技术属性】
技术研发人员：王鑫，熊星南，石爱业，吕国芳，宁晨，
申请(专利权)人：河海大学，
类型：发明
国别省市：江苏,32