视点意识的动态路由胶囊网络的遥感图像场景分类方法技术

本发明专利技术提供了一种视点意识的动态路由胶囊网络的遥感图像场景分类方法，首先将场景数据集按比例随机划分成训练集和测试集；接着对数据集中的图像进行预处理；然后将训练集图像输入到空间变换网络，学习训练集前景对象视点意识的变换，获得具有对象

【技术实现步骤摘要】
视点意识的动态路由胶囊网络的遥感图像场景分类方法


[0001]本专利技术涉及遥感图像场景分类
，尤其涉及一种视点意识的动态路由胶囊网络的遥感图像场景分类方法。

技术介绍

[0002]遥感图像场景分类任务指对遥感图像所表达的场景进行理解，并将其标注为特定的语义类别。它在自然灾害监测、城市规划、土地资源管理等领域有着重要的意义。与普通图像相比，遥感图像中不同场景类别相似性大，甚至相同场景类别也存在着一定的视觉差异性；航拍图像场景会被其他与图像场景标签无关的对象所包围，在具有不同的光照、视点和分辨率的条件下，很难分辨出关键目标；且并非所有拍摄角度均为垂直，而是趋于多样化，导致遥感图像场景分类依然面临挑战。
[0003]传统上的方法主要集中在手工特征提取和编码上。这些方法包括尺度不变特征变换，方向尺度直方图、基于视觉特征的视觉词袋模型和其他空间特征提取。手工特征根据其特征的语义层级，可以划分为低级手工特征和中级手工特征。这些方法都具有人为设计的特点，不能自动学习，在图像特征的选择上具有一定的主观性，无法提取到图像的语义特征。
[0004]最近，自深度特征学习取得了突破性进展后，机器学习与深度学习便从此登上历史舞台，支持向量机、决策树等机器学习方法，CNN、AlexNet、VGGNet等深度学习方法都被广泛应用在遥感图像场景的监督分类研究中，比手工特征具有更好的判别能力。深度神经网络具有多层次的结构，从模型原始输入中提取更加鲁棒的特征，多层次的结构使得特征学习循序渐进，逐步由简单的特征过渡到复杂而抽象的特征。目前深度学习的遥感图像场景分类方法主要有：面向网络不同学习策略的方法和判别增强的特征学习方法。Donahue J，Jia Y，Vinyals O等人发表的《DeCAF：一种用于通用视觉识别的深度卷积激活特征》机器学习国际会议，JMLR.org，2013使用AlexNet为基础网络，采用预训练技术和分段训练的方法来解决场景分类问题；但作为最早的应用在场景分类的深度学习方法之一，在不同领域上使用了通用的策略，不能够针对性的给出对遥感图像场景的特征分类结果，仍显得不成熟。Cheng等构建了遥感分类中最大的数据集——NWPU
‑
RESISC45后，Gong C，Han J，Lu X发表的《遥感图像场景分类：基准与现状》，IEEE会议录，vol.61，pp.1865
–
1883，2017使用AlexNet、VGG16和GoogLeNet几个模型测试，表示其准确度高于传统手工特征方法。但是，由于卷积神经网络中的池化层只关注特征是否被检测出来，而丢失了特征的精确空间位置，正是这种平移不变性使得卷积神经网络无法辨别物体或特征之间的相对位置关系。因此，卷积神经网络在对与训练数据集接近的图像进行分类时表现的非常出色，如果图像有旋转，倾斜或者由其它不同视点获得，那么卷积神经网络分类表现将会十分糟糕。
[0005]针对卷积神经网络的不足，Hinton受到神经解剖学的启发发表了《胶囊中的动态路由》(“神经信息处理系统”国际会议，pp.3856
–
3866，2017)在2017年提出了胶囊网络，使用向量神经元代替标量神经元，以及动态路由算法投票汇聚成高层胶囊，避免CNN中全连接
层的低效，在手写数字识别数据集上达到了好的分类精度，同时表现出比CNN更好的泛化能力和小样本学习能力。Venkatraman S发表的《建立深度、等变的胶囊网络》(“学习表示”国际会议，pp.1
‑
13，2019)提出了基于群等变卷积的预测机制和基于度中心性的路由算法和一个可扩展到深度架构的胶囊网络通用模型，该模型学习投影编码的姿态变化流形，称为变分空间，解决了胶囊网络不能保证等变性的问题。Chaib S发表的《基于胶囊网络的超高分辨率图像场景分类》(IEEE国际地球科学和遥感研讨会，pp.3049
‑
3052，2019)将胶囊网络引入到高分辨率图像场景分类任务中，并证明了在遥感数据集较小时，胶囊网络的可行性。Jindong Gu发表的《胶囊网络并不比卷积网络更健壮》(IEEE/CVF计算机视觉和模式识别会议记录，pp.14309
‑
14317，2021)对比了胶囊网络和CNN之间的识别重叠数字的能力、对仿射变换的鲁棒性和语义表示紧凑性，提出了胶囊网络并不比CNN更具有鲁棒性的观点。因此面对多种视点下的图像场景中的几何结构和图形纹理，普通的胶囊网络依然不能保证适应于复杂遥感图像场景的学习；而且，深度学习模型通常用多层的神经网络来层次化提取输入数据的特征，这是深度学习模型有效性得以实现的重要结构特点，传统的胶囊网络没有多个胶囊层；因而遥感图像场景分类准确度和分类效率仍有很大提升空间。

技术实现思路

[0006]本专利技术提出一种视点意识的动态路由胶囊网络的遥感图像场景分类方法，用于解决或者至少部分解决现有技术中存在的分类效果不佳的技术问题。
[0007]为了解决上述技术问题，本专利技术提供了视点意识的动态路由胶囊网络的遥感图像场景分类方法，包括：
[0008]S1：将场景数据集按预设比例划分为训练集和测试集；
[0009]S2：对训练集中的图像进行预处理；
[0010]S3：构建视点意识的动态路由胶囊网络模型包括空间变换网络和胶囊网络模块，其中，空间变换网络用于根据输入的图像获得具有对象
‑
观察者视点信息的姿态矩阵，胶囊网络模块包括主胶囊层、三层卷积胶囊层和类别胶囊层，主胶囊层用于根据具有对象
‑
观察者视点信息的姿态矩阵获得用以表达图像中物体对象的胶囊，三层卷积胶囊层用于基于主胶囊层的胶囊提取用以表达图像部分
‑
整体信息的胶囊，类别胶囊层与第三层卷积胶囊层之间采用动态路由机制，用于根据卷积胶囊层的信息获得表示图像类别概率信息，并基于图像类别概率信息得到最终分类结果；
[0011]S4：将训练集中预处理后的图像输入视点意识的动态路由胶囊网络，进行训练，并通过边界损失计算真实结果和预测结果的损失，对网络模型进行微调，得到训练好的模型；
[0012]S5：将测试集中的图像进行预处理后输入训练好的模型，得到最终分类结果。
[0013]在一种实施方式中，步骤S2包括：
[0014]步骤S2.1：将数据集中的图像保存在对应的场景类别的文件夹中；
[0015]步骤S2.2：将数据集中包含的图像统一使用双线性插值的方式重新设置图像分辨率。
[0016]在一种实施方式中，将由网格生成器和采样器组成的空间变换模块嵌入到一个由标准的CNN网络构成的定位网络后，构成空间变换网络。
[0017]在一种实施方式中，定位网络用于提取图像特征和仿射变换参数；网格生成器用
于根据仿射变换参数生成特定大小的空间坐标网格，采样器用于根据图像特征和空间坐标网络，获得具有对象
‑
观察者视点信息的姿态矩阵。
[0018]在一种实施方本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.视点意识的动态路由胶囊网络的遥感图像场景分类方法，其特征在于，包括：S1：将场景数据集按预设比例划分为训练集和测试集；S2：对训练集中的图像进行预处理；S3：构建视点意识的动态路由胶囊网络模型包括空间变换网络和胶囊网络模块，其中，空间变换网络用于根据输入的图像获得具有对象
‑
观察者视点信息的姿态矩阵，胶囊网络模块包括主胶囊层、三层卷积胶囊层和类别胶囊层，主胶囊层用于根据具有对象
‑
观察者视点信息的姿态矩阵获得用以表达图像中物体对象的胶囊，三层卷积胶囊层用于基于主胶囊层的胶囊提取用以表达图像部分
‑
整体信息的胶囊，类别胶囊层与第三层卷积胶囊层之间采用动态路由机制，用于根据卷积胶囊层的信息获得表示图像类别概率信息，并基于图像类别概率信息得到最终分类结果；S4：将训练集中预处理后的图像输入视点意识的动态路由胶囊网络，进行训练，并通过边界损失计算真实结果和预测结果的损失，对网络模型进行微调，得到训练好的模型；S5：将测试集中的图像进行预处理后输入训练好的模型，得到最终分类结果。2.如权利要求1所述的遥感图像场景分类方法，其特征在于，步骤S2包括：步骤S2.1：将数据集中的图像保存在对应的场景类别的文件夹中；步骤S2.2：将数据集中包含的图像统一使用双线性插值的方式重新设置图像分辨率。3.如权利要求1所述的遥感图像场景分类方法，其特征在于，将由网格生成器和采样器组成的空间变换模块嵌入到一个由标准的CNN网络构成的定位网络后，构成空间变换网络。4.如权利要求3所述的遥感图像场景分类方法，其特征在于，定位网络用于提取图像特征和仿射变换参数；网格生成器用于根据仿射变换参数生成特定大小的空间坐标网格，采样器用于根据图像特征和空间坐标网络，获得具有对象
‑
观察者视点信息的姿态矩阵。5.如权利要求1所述的遥感图像场景分类方法，其特征在于，类别胶囊层与第三层卷积胶囊层之间的动态路由机制包括：将相邻两层胶囊层中，低层胶囊层的胶囊作为输入，乘以一个变换矩阵W得到其预测向量，采用子概念学习的动态路由投票得出高层胶囊，其中，低层胶囊层为第三层卷积胶囊层，高层胶囊层为类别胶囊层；将低层第i个胶囊与高层第j个胶囊之间连接的对数先验概率b
ij
初始化为0，计算每个胶囊的子概念概率值，公式为：式(1)中为低层第i个胶囊对高层...

【专利技术属性】
技术研发人员：边小勇，孙学昊，邓鹤，阚东东，盛玉霞，喻国荣，符浩，张晓龙，
申请(专利权)人：武汉科技大学，
类型：发明
国别省市：