一种搜索方法技术

本申请属于信息处理技术领域，特别是涉及一种搜索方法。目前比较成熟的方案大体上已有NAS(Neural Architecture Searching)方式，Google公司提供的自主优化平台AotuML等，但依然在需要耗费大量的计算资源。本申请提出一种基于约束的网络搜索方法，首先是得到约束方法；基于约束方法下的搜索方法；最后得出完整的带约束的深度网络自主搜索方法及其配套框架。在规定的网络复杂度之下实现尽可能高的精度；或在规定的精度以上实现尽可能小的网络复杂度设计；实现了约束机制在自主搜索中的应用。

A search method

【技术实现步骤摘要】
一种搜索方法
本申请属于信息处理
，特别是涉及一种搜索方法。
技术介绍
深度神经网络(DeepNeuralNetworks，以下简称DNN)是深度学习的基础，DNN可以理解为有很多隐藏层的神经网络，又被称为深度前馈网络(DFN)，多层感知机(Multi-Layerperceptron，MLP)。传统未经优化的深度神经网络参数量大，训练和测试耗费更多的计算资源和计算时间，不利于实际的研究；无法做到定向优化，只能依赖于人工进行反复尝试，这是容易出错以及耗费人力的低效率办法；优化的深度神经网络借助强化学习或者演化学习实现的网络优化，自身这个优化网络在初始化的时候就需要更多的资源实现，而且花费的计算资源是之前的几十倍，不利于实际应用；目前已有的一些优化方式很多是针对于单一网络的，但不具备通用性。搜索方式单一，没有一种更为优秀的搜索方式，缺少理论支持。现有的针对深度神经网络进行自主搜索优化的方式主要是依赖于强化学习下的大空间暴力搜索。目前比较成熟的方案大体上已有NAS(NeuralArchitectureSearching)方式，G本文档来自技高网...

【技术保护点】
1.一种搜索方法，其特征在于：所述方法包括如下步骤：/n步骤1：对深度神经网络进行训练，剔除冗余节点后进行网络蒸馏得到所有拥有约束的子网络；/n步骤2：初始化策略迭代模式下的任意一个同构通用结构网络，使得所述通用结构网络与所述子网络节点位置保持一致，但数值初始化不同；/n步骤3：按照约束条件进行一次epoch产生一次对应函数值和结构，使得iteration＝1，当iteration＝＝epoch时，进行策略更新；/n步骤4：在满足约束的条件下继续在回报函数最大化下寻求最好的策略，此时更新为iteration＝2；/n步骤5：重复步骤3和步骤4，直至约束收敛；/n步骤6：生成带约束的自主搜索网络...

【技术特征摘要】
1.一种搜索方法，其特征在于：所述方法包括如下步骤：
步骤1：对深度神经网络进行训练，剔除冗余节点后进行网络蒸馏得到所有拥有约束的子网络；
步骤2：初始化策略迭代模式下的任意一个同构通用结构网络，使得所述通用结构网络与所述子网络节点位置保持一致，但数值初始化不同；
步骤3：按照约束条件进行一次epoch产生一次对应函数值和结构，使得iteration＝1，当iteration＝＝epoch时，进行策略更新；
步骤4：在满足约束的条件下继续在回报函数最大化下寻求最好的策略，此时更新为iteration＝2；
步骤5：重复步骤3和步骤4，直至约束收敛；
步骤6：生成带约束的自主搜索网络。


2.如权利要求1所述的搜索方法，其特征在于：所述步骤1中深度神经网络为
N(D，d)＝Teacher(D)+Student(d)
将Student(d)收敛值设定在一个参数量不大于T(n)，准确度不小于的区间内；N(D，d)，为包含两个参数D和d的深度神经网络，Teacher(D)为最初选定的深度神经网络，为设定的需要满足的准确度阈值大小，T(n)代表该网络最初设定的参数量大小；
初始化Student(d)，并开始训练，直至满足T(n)和的收敛条件，此时停止训练，并保存Student(d)。


3.如权利要求2所述的搜索方法，其特征在于：所述网络蒸馏为通用网络剪枝方式，只保存关键节点的值，其他影响较小的节点或网络部分抛弃。<...

【专利技术属性】
技术研发人员：张昱航，叶可江，须成忠，
申请(专利权)人：中国科学院深圳先进技术研究院，
类型：发明
国别省市：广东;44