【技术实现步骤摘要】
本专利技术涉及遥感图像处理，具体涉及一种遥感图像分类的神经网络架构搜索方法。
技术介绍
1、虽然深度学习在图像处理中的应用给图像处理的效果带来了显著的提升，但学习过程中大部分是基于手动设计网络架构，手动设计的网络架构费时且繁琐，且不一定能找到最优框架。近些年，神经网络架构搜索(nas)的研究领域引起了越来越多学术界及工业界的关注。nas的目标是在不依赖人类专业知识的情况下，自动为给定任务(例如图像分类或机器翻译)搜索最佳神经网络架构。与传统的手工设计的神经网络相比，可以节省时间和资源，并且有可能发现新的和更有效的架构[1]。nas有多种方法，包括强化学习、进化算法、基于梯度的方法和贝叶斯优化等。这些方法在计算复杂性、可扩展性以及处理不同类型的搜索空间和约束的能力方面各不相同。随着nas领域的不断发展，探索新的方法来提高搜索过程的效率和准确性，并将nas的范围扩展到新的应用领域是一件有意义的事情。
2、nas的早期工作侧重于层类型、滤波器大小和数量、激活函数等优化配置上，后受到resnet和densenet等成功的手工架构的启发，后继工作开始探索使用强化学习(reinforcement learning，rl)和进化算法(evolut ionary algorithm，ea)搜索网络构建块或单元。谷歌研究人员2016年发表了论文“neural architecture search withreinforcement learning”[1]，在这项工作中，作者介绍了一种新的nas方法，该方法使用强化学习来为给定任务搜
3、nasnet将最佳卷积架构的搜索简化为寻找cnn的最佳单元[3]。经过进一步改进，amoebanet生成了基于遗传算法的搜索架构[4]。谷歌提出了一种高效的神经架构搜索enas[5]，使用一个控制器在一个大的计算图中搜索最好的子图来展示神经网络架构，而子图彼此共享参数。这些算法依赖于强大的硬件，带来了巨大的计算开销。
4、来自于cmu和deepmind的研究人员2018年提出的可微分架构搜索(differentiable archi tecture search,darts)算法对nas领域的发展作了很大贡献，在降低神经架构搜索的计算成本方面取得了重大进展[6]。darts引入了连续松弛的概念，原始离散搜索空间使用softmax松弛以允许可微分优化，架构搜索过程被视为一个连续的优化问题，类似于论文[7]中使用的梯度近似技术，这使得darts能够克服传统nas算法的局限性，只在一个超网络上就可以完成整个模型的搜索，无需反复训练多个模型。darts对nas领域产生了重大影响，并启发了大量后续研究。许多新的nas算法都是在darts中引入的思想的基础上提出的，并且该领域在不断发展和壮大。部分连接darts(part ial ly-connecteddarts，pc-darts)在darts基础上使用了部分通道连接的技术，即随机采样通道子集来实现搜索过程，同时使用了边缘规范化技术来预防网络连通性搜索的不稳定[8]。ddsas[9]是一种动态可微分空间架构搜索，采用基于上置信区间的动态空间采样优化技术来避免求解陷入局部最优。
5、nas算法的挑战之一是它们可能具有较差的鲁棒性并且容易出现性能崩溃。当搜索过程中的超网络性能非常好，但推断的子网络具有大量跳跃连接(skip connection)时，可能会发生这种情况，这会削弱最终模型的性能。跳跃连接是神经网络中绕过一层或多层并直接将输入连接到输出的连接。它们通常用于改善训练期间的梯度流动并防止梯度消失问题，能使网络朝向更深更大方向发展。但是，如果使用过多的跳跃连接，它们可能会导致子网络具有大量难以训练的参数，并可能导致过度拟合。为了解决这个问题，研究人员提出了几种解决方案，例如使用正则化技术来防止使用过多的跳跃连接，使用更复杂的搜索算法来更好地平衡性能和鲁棒性之间的权衡，以及使用其他技术来提高搜索过程的稳定性。
技术实现思路
1、针对现有技术的不足，本专利技术旨在提供一种遥感图像分类的神经网络架构搜索方法。
2、为了实现上述目的，本专利技术采用如下技术方案：
3、一种遥感图像分类的神经网络架构搜索方法，具体过程为：
4、对遥感图像的多个波段信息进行分解，提取相关的特征或成分，将各个波段图像提取到的特征输入到搜索网络架构中；
5、所述搜索网络架构由多个单元组成，所述多个单元包括正常单元和衰减单元，衰减单元在搜索网络架构中按比例出现，即每隔设定数量的连续的正常单元连接1个衰减单元；在搜索网络架构中，第1个单元的输入为由遥感图像分解得到的第1至第n个波段的图像，其余单元的输入为前两个单元的输出；
6、n个波段的图像并行输入搜索网络架构中，每个单元分别执行部分通道采样及边规范化，最后按式(1)进行重构，得到输出：
7、
8、其中，表示通过第k个门操作的输入变量，表示有向无环图中两条边间的权重向量，β表示有向无环图中与节点有关的参数向量，pk,0＜k≤n表示不同波段的图像经过单元后的信息流权重；
9、gate是二进制门操作，如式(2)所示：
10、
11、采用随机抽样策略，pk＝1/k；
12、对于有向无环图中节点i,j之间的一条边的信息流，信息从节点i流向节点j，节点j的输出用函数表示，如式(3)所示：
13、
14、其中，si,j为通道采样掩码，仅包含0和1；o表示在节点xi上的操作；表示部分通道采样后的函数，表示边规范化函数；表示搜索空间，表示在搜索空间上由节点i流向节点j的边的权重，βi,j表示在有向无环图中由节点i流向节点j的边的参数；i’表示的是所有小于节点j的节点；
15、在有向无环图的两个节点间有多条条并行的操作算子，起始节点xi中，特征图经过不同算子的信息流向终止节点xj，这一过程可用函数来表示；xi表示输入，这条边的权重由参数决定，训练过程就是找最大权重的过程；
16、两个节点间的信息流用函数表示，xi表示输入，βi,j是搜索网络架构的参数，边的权重由∑i＜jexp{βi,j}/∑i'＜jexp{βi,j}计算得来；搜索网络架构搜索完成后，有向无环本文档来自技高网...
【技术保护点】
1.一种遥感图像分类的神经网络架构搜索方法，其特征在于，具体过程为：
【技术特征摘要】
1.一种遥感图像分类的神经网络架构...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。