生成搜索空间的方法、装置、设备及存储介质制造方法及图纸

本申请公开了一种生成搜索空间的方法、装置、设备及存储介质，涉及深度学习、计算机视觉等人工智能领域。具体实现方案为：扩展初始的搜索空间；在初始搜索空间中搜索网络结构单元，根据搜索到的网络结构单元和目标模型的结构化信息生成初始模型结构，训练初始模型结构记录训练得到的备选模型的性能；根据备选模型的性能确定最优搜索空间，基于最优搜索空间能够搜索得到最优目标模型，提升目标模型应用于多个领域时的精度和效率；基于同样的硬件目标模型的精度和效率更高；在保证同样精度和效率的前提下，可以用更廉价的硬件实现，减少硬件成本。

【技术实现步骤摘要】
生成搜索空间的方法、装置、设备及存储介质
本申请涉及人工智能领域，具体为深度学习和计算机视觉，尤其涉及一种生成搜索空间的方法、装置、设备及存储介质。
技术介绍
最近几年，深度学习技术在很多方向上都取得了巨大的成功，深度学习技术中，人工神经网络结构的好坏对最终模型的效果有非常重要的影响。手工设计网络拓扑结构需要非常丰富的经验和众多尝试，并且众多参数会产生爆炸性的组合，常规的randomsearch几乎不可行，因此神经网络架构搜索技术(NeuralArchitectureSearch，简称NAS)成为研究热点。在NAS中，搜索空间非常重要，现有的NAS中的搜索空间是人工设计好的，给定少量可能的模型结构，搜索通道数、膨胀系数等，有很大的局限性，只能在限定的搜索空间内少量可能的模型结构中搜索最优的模型结构，最终找到的模型结构的性能较差，用于图像处理、自然语言处理、音/视频处理等数据处理时的精度和效率均较低。
技术实现思路
本申请提供了一种生成搜索空间的方法、装置、设备及存储介质。根据本申请的一方面，提供了一种生成搜索本文档来自技高网...

【技术保护点】
1.一种生成搜索空间的方法，包括：/n获取目标模型的结构化信息和初始搜索空间，所述初始搜索空间包括构成所述目标模型的网络结构单元的第一搜索空间，所述第一搜索空间包括多个搜索项以及每个所述搜索项对应的搜索范围；/n在所述初始搜索空间中，搜索网络结构单元，根据搜索到的网络结构单元和所述结构化信息，生成初始模型结构，并训练所述初始模型结构，记录训练后得到的备选模型的性能；/n根据所述备选模型的性能确定最优搜索空间，所述搜索空间用于搜索得到最优的目标模型，所述目标模型用于执行数据处理任务。/n

【技术特征摘要】
1.一种生成搜索空间的方法，包括：
获取目标模型的结构化信息和初始搜索空间，所述初始搜索空间包括构成所述目标模型的网络结构单元的第一搜索空间，所述第一搜索空间包括多个搜索项以及每个所述搜索项对应的搜索范围；
在所述初始搜索空间中，搜索网络结构单元，根据搜索到的网络结构单元和所述结构化信息，生成初始模型结构，并训练所述初始模型结构，记录训练后得到的备选模型的性能；
根据所述备选模型的性能确定最优搜索空间，所述搜索空间用于搜索得到最优的目标模型，所述目标模型用于执行数据处理任务。


2.根据权利要求1所述的方法，其中，在所述初始搜索空间中，搜索网络结构单元，根据搜索到的网络结构单元和所述结构化信息，生成初始模型结构，并训练所述初始模型结构，记录训练后得到的备选模型的性能，包括：
循环进行如下迭代处理，直至满足迭代停止条件：
在所述初始搜索空间中，基于当前的奖励反馈信息搜索网络结构单元；
根据搜索到的网络结构单元和所述结构化信息，生成初始模型结构；
训练所述初始模型结构，得到备选模型，并记录所述备选模型的性能，更新所述奖励反馈信息。


3.根据权利要求2所述的方法，其中，在所述初始搜索空间中，基于当前的奖励反馈信息搜索网络结构单元，包括：
基于所述当前的奖励反馈信息优化网络结构单元生成器；
在所述网络结构单元的搜索空间中，根据所述网络结构单元生成器，生成所述网络结构单元。


4.根据权利要求1所述的方法，其中，在所述初始搜索空间中，搜索网络结构单元，包括：
将所述初始搜索空间进行序列化编码；
根据网络结构单元生成器，生成网络结构单元编码；
对所述网络结构单元编码进行解码，得到所述网络结构单元。


5.根据权利要求2所述的方法，其中，所述迭代停止条件为：
所述奖励反馈信息满足预设收敛条件；
或，
所述迭代处理的执行次数大于或等于预设阈值。


6.根据权利要求2所述的方法，其中，所述初始搜索空间中包括每层的搜索空间，且各层的搜索空间均相同，
在所述初始搜索空间中搜索网络结构单元，包括：
在一层搜索空间中搜索网络结构单元。


7.根据权利要求6所述的方法，其中，所述结构化信息包括网络结构单元构成层结构的第一拓扑信息，以及所述层结构构成所述目标模型的第二拓扑信息，
所述根据搜索到的网络结构单元和所述结构化信息，生成初始模型结构，包括：
根据所述第一拓扑信息，利用所述网络结构单元生成层结构；
根据所述第二拓扑信息，利用所述层结构堆叠得到所述初始模型结构。


8.根据权利要求6所述的方法，其中，所述根据所述备选模型的性能确定最优搜索空间，包括：
根据所述备选模型的性能，确定该层优化后的搜索空间；
将所述该层优化后的搜索空间作为每层的搜索空间，构成所述最优搜索空间。


9.根据权利要求8所述的方法，其中，所述根据所述备选模型的性能，确定该层优化后的搜索空间，包括：
按照性能对所述备选模型排序，确定前k个备选模型；根据所述前k个备选模型对应的网络结构单元，确定该层优化后的搜索空间；
或者，
根据性能满足预设条件的备选模型对应的网络结构单元，确定该层优化后的搜索空间。


10.根据权利要求1-9中任一项所述的方法，其中，所述根据所述备选模型的性能确定最优搜索空间之后，还包括：
在所述最优搜索空间中进行神经网络模型搜索，得到所述目标模型。


11.根据权利要求10所述的方法，其中，所述在所述最优搜索空间中进行神经网络模型搜索，得到所述目标模型之后，还包括：
利用所述目标模型进行执行数据处理任务。


12.一种生成搜索空间的装置，包括：
初始搜索...

【专利技术属性】
技术研发人员：希滕，张刚，温圣召，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：北京;11