一种层级化网络结构搜索方法、设备及可读存储介质技术

本发明专利技术提供一种层级化网络结构搜索方法、设备及可读存储介质，包括：S1，构建超网络；S2，获取图像数据并分别作为超网络的网络参数、结构参数的训练数据；S3，生成特征图，计算网络参数的交叉熵损失函数，更新超网络的网络参数；S4，生成特征图和KL散度损失函数，计算结构参数的交叉熵损失函数，得到半隐含变分丢弃损失函数，训练更新超网络的结构参数并得到丢弃概率；S5，利用丢弃概率更新基本单元，更新退火参数；重复S3～S5，更新网络参数和结构参数；S6，得到最终网络。本发明专利技术在保证较高的性能同时大幅度减少搜索时间和降低计算复杂度，保证了搜索的稳定性和实用性，可用于图像目标检测、分类等领域，提高图像处理速度。

【技术实现步骤摘要】
一种层级化网络结构搜索方法、设备及可读存储介质
本专利技术涉及人工智能和图像处理
，具体涉及一种层级化网络结构搜索方法，及其计算机设备及可读存储介质，以及该方法在图像目标检测、语义分割和分类中的应用。
技术介绍
随着计算能力和深度学习的发展，人工智能的发展越来越迅速。最初的图像处理由于采集的图像质量不高，对特征提取的要求因而比较低，所以主要的技术是手工特征的提取。后来图像质量不断提升，对图像处理的精度要求不断提高下，一些统计模式识别的方法例如SVM和信号处理的方法例如小波变换，使得图像处理的发展得到了一定的进步。但手工设计的特征学习始终保留着人为先验带来的偏见，对于图像的预处理要求较高，并且在图像处理的性能上始终无法超越人类。而由特征和分类器联合训练，以数据驱动的方式自动产生最适应于相关任务目标的滤波器组的端到端神经网络则摒弃了手工设计的特征也无需繁杂的预处理工作并提供了强大的图像处理能力。神经网络的出现使得人们无需手工设计特征，但神经网络依然需要手工地搭建。手动设计的网络在过去的十多年里收获了不错的成绩，但日渐复杂的神经网络使得本文档来自技高网...

【技术保护点】
1.一种层级化网络结构搜索方法，用于图像处理，其特征在于，包括：/nS1，利用基本单元构建网络结构搜索模型的超网络，所述超网络是包含所有候选操作和侯选边的基本单元堆叠成的作为搜索框架的原始神经网络；/nS2，获取图像数据并平均分成两部分，第一部分图像数据作为所述超网络的网络参数的训练数据，将这部分图像训练数据输入到网络更新模块，第二部分图像数据作为所述超网络的结构参数的训练数据，将这部分图像训练数据输入到结构更新模块；/nS3，所述网络更新模块利用第一部分图像数据经过所述超网络生成特征图，使用所述特征图计算网络参数的交叉熵损失函数，再利用梯度下降方法根据所述网络参数的交叉熵损失函数不断更新所述...

【技术特征摘要】
1.一种层级化网络结构搜索方法，用于图像处理，其特征在于，包括：
S1，利用基本单元构建网络结构搜索模型的超网络，所述超网络是包含所有候选操作和侯选边的基本单元堆叠成的作为搜索框架的原始神经网络；
S2，获取图像数据并平均分成两部分，第一部分图像数据作为所述超网络的网络参数的训练数据，将这部分图像训练数据输入到网络更新模块，第二部分图像数据作为所述超网络的结构参数的训练数据，将这部分图像训练数据输入到结构更新模块；
S3，所述网络更新模块利用第一部分图像数据经过所述超网络生成特征图，使用所述特征图计算网络参数的交叉熵损失函数，再利用梯度下降方法根据所述网络参数的交叉熵损失函数不断更新所述超网络的网络参数；
S4，所述结构更新模块将第二部分图像数据通过所述超网络生成特征图和KL散度损失函数，使用所述特征图计算结构参数的交叉熵损失函数，将所述KL散度损失函数和所述结构参数的交叉熵损失函数相加计算得到半隐含变分丢弃损失函数，然后利用梯度下降方法根据所述半隐含变分丢弃损失函数对所述超网络的结构参数进行训练更新所述超网络的结构参数并得到丢弃概率；
S5，将更新的所述超网络的结构参数和所述丢弃概率输入到结构保留模块，所述结构保留模块利用所述丢弃概率对所述基本单元中的候选操作和候选边进行采样并以此更新基本单元，更新退火参数，通过不断降低退火参数来降低KL散度损失函数的权重；
重复S3～S5不断迭代更新所述超网络的网络参数和结构参数，直到网络结构搜索模型收敛；
S6，将更新得到的新基本单元构建网络结构搜索模型的最终网络，所述最终网络是包含选定的候选操作和选定的侯选边的新基本单元堆叠成的作为搜索结果的目标神经网络。


2.根据权利要求1所述的层级化网络结构搜索方法，其特征在于，所述利用基本单元构建网络结构搜索模型的超网络，其中，
所述基本单元分为普通单元(normalcell)和归约单元(reductioncell)两类，所述普通单元中的所有候选操作的步长都为1，使得通过所述普通单元的输出的维度不发生变化，而所述归约单元中的靠近输入节点的操作的步长均设为2，使得输出的维度经过此单元后降低。


3.根据权利要求1所述的层级化网络结构搜索方法，其特征在于，所述超网络的网络参数，是指所有基本单元的候选操作内部的参数；
所述使用特征图计算网络参数的交叉熵损失函数，是指根据特征图和第一部分图像数据携带的标签信息，计算得到交叉熵损失函数，所述标签信息为人工标注的类别信息。


4.根据权利要求1所述的层级化网络结构搜索方法，其特征在于，所述超网络的结构参数，是指所有基本单元的候选边和候选操作的权重参数以及方差参数；
所述结构更新模块包括半隐含分布近似子模块和参数更新子模块，所述半隐含分布近似子模块根据层级化完成对候选操作和候选分布的各自的半隐含分布近似，所述候选操作和候选分布的各自的半隐含分布近似包括半隐含后验分布近似以及半隐含退火自动相关性检测先验分布近似；所述参数更新子模块，利用梯度下降以所述KL散度损失函数与所述结构参数的交叉熵损失函数相加计算得到的半隐含变分丢弃损失函数作为目标损失函数对候选操作和候选边的结构参数分别迭代地更新；
所述KL散度损失函数，是候选操作和侯选边各自的半隐含近似后验分布和半隐含近似退火自动相关性检测先验分布的相对熵之和；
所述丢弃概率p与伯努利分布q(ψ)的参数δ相关，δ越高对应的丢弃概率越大，以1/(1+δ)为期望的伯努利分布q(ψ)的采样值Ψ则越高的概率为0。


5.根据权利要求4所述的层级化网络结构搜索方法，...

【专利技术属性】
技术研发人员：戴文睿，王曜明，李成林，邹君妮，熊红凯，
申请(专利权)人：上海交通大学，
类型：发明
国别省市：上海;31