一种神经网络搜索方法及系统技术方案

本发明专利技术公开了一种神经网络搜索方法及系统，方法包括：在待搜索的超网络上随机采样两个不重叠的模型，两个模型在编码器和动量编码器各有一份，基于动量对比学习对编码器训练；固定编码器网络权重将其批规范化层设置为训练模式，在编码器后加上随机初始化的全连接分类头部并对其训练；在验证集计算模型的分类预测准确率作为采样模型的性能指标，重新搜索重复上述采样模型训练、分类头部训练及性能评价的步骤，获取性能指标最好的模型作为最终模型。本发明专利技术提供的搜索方法能自监督地对超网络训练，该流程无需数据标注，利用交叉学习让不同结构学到相似的表达，缓解超网络上不同结构训练不公平甚至训练失败的问题，使超网络的训练更高效和鲁棒性更高。练更高效和鲁棒性更高。练更高效和鲁棒性更高。

【技术实现步骤摘要】
一种神经网络搜索方法及系统


[0001]本专利技术涉及神经网络搜索
，具体涉及一种神经网络搜索方法及系统。

技术介绍

[0002]神经网络结构搜索(NAS)旨在自动化设计神经网络结构，从而避免繁琐的人工设计。目前NAS搜索得到的神经网络已经在图像分类，目标检测，图像分割以及自然语言等任务上取得显著的成果。从手工设计离散模型空间和操作空间开始，NAS利用搜索技术探索预设的搜索领域并能找到对于单个或者多个目标(例如准确率，内存消耗等)的最佳结构，这些结构往往超过了人工设计的性能。
[0003]早期的NAS方法使用稠密的方法去进行神经网络的搜索，它们需要取样大量的网络结构并从头开始训练。庞大的计算成本使得它们不能应用在大型数据集上。最近的一些方法采用了权重共享的策略去减少计算成本，该策略的思想在于设计了一个包含了全部结构的超网络，采样的神经网络均是超网络的子网络。这样仅需进行一次对超网络的完整训练，而采样的子网络可继承和微调超网络的权重，计算成本大大降低。在这个过程中，大多数权重分配方法使用连续松弛来参数化搜索空间，但这样会导致在联合优本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种神经网络搜索方法，其特征在于，包括如下步骤：在待搜索的超网络上随机采样两个不重叠的模型，采样的两个模型在编码器和动量编码器各有一份，基于动量对比学习的方法对编码器进行训练；取出训练好的编码器并固定其网络权重，将编码器中所有批规范化层设置为训练模式，并在编码器结构之后加上一个随机初始化的全连接分类头部，并对分类头部进行训练；在验证集计算模型的分类预测准确率，将其作为超网络采样模型的性能指标；采用ActionSpace方法采样模型，在超网络中重新搜索并重复上述采样模型训练、分类头部训练及性能评价的步骤，并获取性能指标最好的模型作为最终的模型。2.根据权利要求1所述的神经网络搜索方法，其特征在于，所述基于动量对比学习的方法对编码器进行训练的过程，包括：使用与编码器相同的网络结构初始化动量编码器，在每一步训练迭代中，对批量的每张图片样本x进行四次随机数据增强，得到作为网络输入；分别将喂给编码器上随机采样的模型1和模型2，再经过共享的多层感知器得到特征向量再分别将喂给动量编码器上的模型1和模型2，得到将作为正样本对，将作为另一对正样本对，分别与负样本队列计算对比损失得到两个损失将两个损失相加，作为样本x的损失，对损失反向求导更新编码器，再对更新后的编码器的网络权重计算滑动平均来更新动量编码器；再对求平均并更新到负样本队列中。3.根据权利要求1所述的神经网络搜索方法，其特征在于，在验证集计算模型的分类预测准确率，将其作为超网络采样模型的性能指标的过程，包括：固定训练后分类头部网络的网络权重，将所有批规范化层的滑动平均和滑动方差置零并设置为训练模式，用训练图片喂给超网络上的取样模型，更新批规范化层的参数，再将批规范化层设置为验证模式，用验证图...

【专利技术属性】
技术研发人员：何子健，张吉祺，彭杰锋，王广润，梁小丹，
申请(专利权)人：暗物智能科技广州有限公司，
类型：发明
国别省市：