基于分层-反馈机制和TEG引导的可微神经架构搜索方法技术

本发明专利技术涉及神经网络架构搜索技术领域，公开了一种基于分层‑反馈机制和TEG引导的可微神经架构搜索方法，包括：分层搜索阶段，搜索网络深度逐步递增，并结合TEG指标进行架构选择，使用可微分架构搜索方法进行神经架构搜索，搜索步骤中包含多个搜索阶段，每个搜索阶段对应一个搜索网络，且随着搜索阶段的增加，对应的搜索网络的单元的数量随之增加，并逐渐接近评估步骤使用的评估网络中的单元的数量；步骤二，反馈搜索阶段：评估网络由最后一个搜索阶段的搜索网络扩充而来，将搜索网络与评估网络整合，并以循环的方式联合训练最后一个搜索阶段的搜索网络和评估网络。很大程度上提高了搜索效率，同时保持了较高的搜索模型的准确性。

【技术实现步骤摘要】

本专利技术涉及神经网络架构搜索，具体涉及一种基于分层-反馈机制和teg引导的可微神经架构搜索方法。

技术介绍

1、深度卷积神经网络(dcnn)的发展在计算机视觉任务的成功中起到了至关重要的作用。然而，手工设计新的网络架构不仅耗时耗力，还需要丰富的网络训练经验，难以扩展。神经架构搜索(neural architecture search,nas)近年来被用来替代人工设计，能够在给定的搜索空间中自动发现高效的网络架构，从而减少了人力和成本投入。

2、尽管nas在自动化方面具有显著优势，但仍面临大量计算时间和资源消耗的问题。大多数nas方法主要依赖于验证集，并进行基于精度的架构优化。因此，频繁地训练和评估采样架构成为阻碍搜索效率和解释能力的主要瓶颈。即使采用了多种有效的启发式方法进行信道近似或架构采样，超网络的训练收敛速度依然非常缓慢。近似代理推理技术，如截断训练和提前停止，虽然可以加速搜索过程，但通常会引入严重的搜索偏差。

3、可微分架构搜索(differentiable architecture search,darts)因其相对较低本文档来自技高网...

【技术保护点】

1.一种基于分层-反馈机制和TEG引导的可微神经架构搜索方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的基于分层-反馈机制和TEG引导的可微神经架构搜索方法，其特征在于，搜索步骤包括三个搜索阶段，三个搜索阶段对应的搜索网络中的单元数量分别为5、8、11；评估步骤使用的评估网络中的单元的数量为20。

3.根据权利要求1所述的基于分层-反馈机制和TEG引导的可微神经架构搜索方法，其特征在于，步骤一中，使用TEG指标引导优化当前搜索阶段的搜索网络参数ωS和架构权重α时，对应的双层优化问题为：

4.根据权利要求1所述的基于分层-反馈机制和TEG引导的...

【技术特征摘要】

1.一种基于分层-反馈机制和teg引导的可微神经架构搜索方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的基于分层-反馈机制和teg引导的可微神经架构搜索方法，其特征在于，搜索步骤包括三个搜索阶段，三个搜索阶段对应的搜索网络中的单元数量分别为5、8、11；评估步骤使用的评估网络中的单元的数量为20。

3.根据权利要求1所述的基于分...

【专利技术属性】
技术研发人员：张成，史继森，韩鹏，周昊，章权兵，程鸿，沈川，韦穗，
申请(专利权)人：安徽大学，
类型：发明
国别省市：