【技术实现步骤摘要】
生成搜索空间的方法、装置、设备及存储介质
本申请涉及人工智能领域，具体为深度学习和计算机视觉，尤其涉及一种生成搜索空间的方法、装置、设备及存储介质。
技术介绍
最近几年，深度学习技术在很多方向上都取得了巨大的成功，深度学习技术中，人工神经网络结构的好坏对最终模型的效果有非常重要的影响。手工设计网络拓扑结构需要非常丰富的经验和众多尝试，并且众多参数会产生爆炸性的组合，常规的randomsearch几乎不可行，因此神经网络架构搜索技术(NeuralArchitectureSearch，简称NAS)成为研究热点。在NAS中，搜索空间非常重要，现有的NAS中的搜索空间是人工设计好的，给定少量可能的模型结构，搜索通道数、膨胀系数等，有很大的局限性，只能在限定的搜索空间内少量可能的模型结构中搜索最优的模型结构，最终找到的模型结构的性能较差，用于图像处理、自然语言处理、音/视频处理等数据处理时的精度和效率均较低。
技术实现思路
本申请提供了一种生成搜索空间的方法、装置、设备及存储介质。根据本申请的一方面...
【技术保护点】
1.一种生成搜索空间的方法，包括：/n获取初始搜索空间，所述初始搜索空间包含目标模型各层的搜索空间，每层的搜索空间包含所有网络结构单元的选项；/n将每层的搜索空间中的所有所述选项以相同的连接权重叠加构成初始超网络；/n对所述初始超网络进行训练，更新所述初始超网络的模型参数和各层中所述选项对应的连接权重，得到训练后的超网络；/n根据所述训练后的超网络的各层中所述选项对应的连接权重，确定最优搜索空间，所述最优搜索空间用于搜索得到最优的目标模型，所述目标模型用于执行数据处理任务。/n
【技术特征摘要】
1.一种生成搜索空间的方法，包括：
获取初始搜索空间，所述初始搜索空间包含目标模型各层的搜索空间，每层的搜索空间包含所有网络结构单元的选项；
将每层的搜索空间中的所有所述选项以相同的连接权重叠加构成初始超网络；
对所述初始超网络进行训练，更新所述初始超网络的模型参数和各层中所述选项对应的连接权重，得到训练后的超网络；
根据所述训练后的超网络的各层中所述选项对应的连接权重，确定最优搜索空间，所述最优搜索空间用于搜索得到最优的目标模型，所述目标模型用于执行数据处理任务。
2.根据权利要求1所述的方法，其中，所述根据所述训练后的超网络的各层中所述选项对应的连接权重，确定最优搜索空间，包括：
所述最优搜索空间包括每层优化后的搜索空间，针对所述训练后的超网络的每一层，根据该层中各所述选项对应的连接权重由大到小的顺序对各所述选项进行排序，根据排序中的前k个所述选项，确定该层优化后的搜索空间。
3.根据权利要求1所述的方法，其中，所述对所述初始超网络进行训练，更新所述初始超网络的模型参数和各层中所述选项对应的连接权重，得到训练后的超网络，包括：
对所述初始超网络进行多次迭代训练，在每次迭代过程中更新所述初始超网络的模型参数和各层中所述选项对应的连接权重，直至满足迭代停止条件时，得到所述训练后的超网络。
4.根据权利要求3所述的方法，其中，所述迭代停止条件包括：
迭代训练的次数大于或者等于预设阈值；
或，
当前的超网络的性能满足收敛条件。
5.根据权利要求3所述的方法，其中，所述在每次迭代过程中更新所述初始超网络的模型参数和各层中所述选项对应的连接权重，包括：
在每次迭代过程中，交替更新所述初始超网络的模型参数，以及各层中所述选项对应的连接权重。
6.根据权利要求1-5中任一项所述的方法，其中，所述根据所述训练后的超网络的各层中所述选项对应的连接权重，确定最优搜索空间之后，还包括：
在所述最优搜索空间中进行神经网络模型搜索，得到所述目标模型。
7.根据权利要求6所述的方法，其中，所述在所述最优搜索空间中进行神经网络模型搜索，得到所述目标模型之后，还包括：
获取待处理数据，利用所述目标模型对所述待处理数据进行相应地数据处理。
8.根据权利要求7所述的方法，还包括：
获取待处理图像，将所述待处理图像输入所述目标模型，利用所述目标模型对所述待处理图像进行图像处理，得到图像处理结果。
9.一种生成搜索空间的装置，包括：
初始搜索空间模块，用于获取初始搜索空间，所述初始搜索空...
【专利技术属性】
技术研发人员：希滕，张刚，温圣召，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：北京;11
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。