【技术实现步骤摘要】
本专利技术涉及机器学习,尤其涉及一种基于沙普利值的nas神经网络设计方法及系统。
技术介绍
1、在深度学习和神经网络领域,神经网络结构搜索(neural architecture search,nas)是一类自动化机器学习技术。其目标在于以全自动的方式,通过系统性地搜索、构建大量神经网络结构,并对其性能进行评估,解决高度复杂的神经网络设计问题,nas根据专家预定义的搜索空间,在庞大的神经网络集合中评估结构性能并找到表现最佳的网络结构,nas在搜索和构建大量结构,并进行训练和验证等任务时,面临着显著的时间成本和计算成本,现有的nas算法依赖人为干预来设计cell结构从而构建搜索空间,需要人类嵌入先验知识,这可能会带来偏差和限制,从而限制了对新颖和多样化架构的探索,且现有的基于cell的nas方法大多数都是通过线性堆叠cell的方式构建网络。这些cell虽然在内部具有残差连接,但是在整体结构上,cell之间仅仅通过线性连接相连,没有跨cell的信息通道。这种设计使得信息在不同cell之间的传递和融合受到了阻碍,从而降低了模型的性能和泛化能力
【技术保护点】
1.一种基于沙普利值的NAS神经网络设计方法,其特征在于,包括以下步骤:
2.根据权利要求1所述一种基于沙普利值的NAS神经网络设计方法,其特征在于,所述基于Cell单元,进行结构编码处理,构建Cell结构这一步骤,其具体包括:
3.根据权利要求2所述一种基于沙普利值的NAS神经网络设计方法,其特征在于,所述结构编码包括第一元素、第二元素和第三元素,其中:
4.根据权利要求3所述一种基于沙普利值的NAS神经网络设计方法,其特征在于,所述通过基于残差结构的无序沙普利值的性能贡献量化方法对Cell结构进行残差优化处理,得到最优Cell结
...【技术特征摘要】
1.一种基于沙普利值的nas神经网络设计方法,其特征在于,包括以下步骤:
2.根据权利要求1所述一种基于沙普利值的nas神经网络设计方法,其特征在于,所述基于cell单元,进行结构编码处理,构建cell结构这一步骤,其具体包括:
3.根据权利要求2所述一种基于沙普利值的nas神经网络设计方法,其特征在于,所述结构编码包括第一元素、第二元素和第三元素,其中:
4.根据权利要求3所述一种基于沙普利值的nas神经网络设计方法,其特征在于,所述通过基于残差结构的无序沙普利值的性能贡献量化方法对cell结构进行残差优化处理,得到最优cell结构这一步骤,其具体包括:
5.根据权利要求4所述一种...
【专利技术属性】
技术研发人员:朱文博,胡勇聪,黎海兵,张忠波,
申请(专利权)人:佛山科学技术学院,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。