深度学习网络确定方法、图像分类方法及设备技术

本申请提供一种深度学习网络确定方法、图像分类方法及设备。本申请的方法，通过根据待确定的目标深度学习网络的应用需求，确定搜索空间，搜索空间包含待搜索的深度学习网络结构；采用无训练的网络结构搜索方式，从搜索空间中搜索出多个优质网络结构，可以快速搜索出少量优质的网络结构；根据搜索空间确定的超网络，针对优质网络结构，训练优化超网络中优质网络结构的参数，并确定至少一个带有优化参数的优质网络结构，作为目标深度学习网络，在训练超网络时仅优化已经快速搜索到的优质网络结构，可以大大减少待训练的网络结构的数量，减少搜索代价，从而显著提升深度学习网络的搜索效率。索效率。索效率。

【技术实现步骤摘要】
深度学习网络确定方法、图像分类方法及设备


[0001]本申请涉及计算机技术，尤其涉及一种深度学习网络确定方法、图像分类方法及设备。

技术介绍

[0002]随着人工智能技术的发展，深度学习网络得到了广泛应用，并且在图像分类和识别、语音识别、自然语言处理等领域都具有优异的表现。深度学习网络的优异表现主要得益于网络结构的设计。以往，深度学习网络结构都是人工设计的，需要大量的经验和精力。
[0003]目前网络结构搜索（Neural Architecture Search，简称NAS）的方案，虽然可以自动化搜索所需网络结构，但是需要对搜索空间中数量巨大的网络结构全部进行训练，搜索的效率低。

技术实现思路

[0004]本申请提供一种深度学习网络确定方法、图像分类方法及设备，用以解决现有的网络结构搜索方法搜索效率低的问题。
[0005]第一方面，本申请提供一种深度学习网络确定方法，包括：根据待确定的目标深度学习网络的应用需求，确定搜索空间，所述搜索空间包含待搜索的深度学习网络结构；采用无训练的网络结构搜索方式，从所述搜索空间中本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种深度学习网络确定方法，其特征在于，包括：根据待确定的目标深度学习网络的应用需求，确定搜索空间，所述搜索空间包含待搜索的深度学习网络结构；采用无训练的网络结构搜索方式，从所述搜索空间中搜索出多个优质网络结构；根据所述搜索空间确定的超网络，针对所述优质网络结构，训练优化所述超网络中所述优质网络结构的参数，并确定至少一个带有优化参数的优质网络结构，作为目标深度学习网络。2.根据权利要求1所述的方法，其特征在于，所述采用无训练的网络结构搜索方式，从所述搜索空间中搜索出多个优质网络结构，包括：根据所述搜索空间构建所述超网络，初始化所述超网络的参数；将样本输入所述超网络进行预测，并根据所述样本的预测结果和标注信息，计算所述超网络中各个参数的梯度；根据所述超网络中所述候选网络结构的参数的梯度，计算候选网络结构的第一评价指标，并选择多个候选网络结构作为优质网络结构，所述候选网络结构包含至少一个待搜索的深度学习网络结构。3.根据权利要求2所述的方法，其特征在于，所述根据所述超网络中所述候选网络结构的参数的梯度，计算候选网络结构的第一评价指标，并选择多个候选网络结构作为优质网络结构，包括：根据给定的至少一个资源限制条件，分别确定满足不同所述资源限制条件的深度学习网络结构，作为候选网络结构；根据所述超网络中所述候选网络结构的参数的梯度，计算所述候选网络结构的第一评价指标；根据所述候选网络结构的第一评价指标，选择确定满足各所述资源限制条件的优质网络结构。4.根据权利要求2或3所述的方法，其特征在于，所述根据所述超网络中所述候选网络结构的参数的梯度，计算候选网络结构的第一评价指标之前，还包括：将所述待搜索的深度学习网络结构中非结构异构体的深度学习网络结构作为候选网络结构；对于所述待搜索的深度学习网络结构中的结构异构体，根据所述超网络中所述结构异构体的参数的梯度，计算所述结构异构体的第二评价指标，所述结构异构体为多个由相同网络层按照不同排列顺序构建的深度学习网络结构；根据所述结构异构体的第二评价指标，筛选出其中一个结构异构体作为候选网络结构。5.根据权利要求4所述的方法，其特征在于，所述根据所述超网络中所述结构异构体的参数的梯度，计算所述结构异构体的第二评价指标，包括：根据所述超网络中所述结构异构体的参数的梯度，获取所述结构异构体中各层网络结构的参数的梯度；根据所述结构异构体中各层网络结构的参数的梯度，计算各层网络结构的第一评价指标；
对所述各层网络结构的第一评价指标进行归一化处理，并将各层网络结构的第一评价指标的归一化处理结果求和，得到所述结构异构体的第二评价指标。6.根据权利要求1所述的方法，其特征在于，所述根据所述搜索空间确定的超网络，针对所述优质网络结构，训练优化所述超网络中所述优质网络结构的参数，并确定至少一个带有优化参数的优质网络结构，作为目标深度学习网络，包括：基于单次训练的网络结构搜索策略，使用训练集，迭代进行如下多轮训练：根据所述优质网络结构的尺寸，采样一个尺寸；在所述搜索空间确定的超网络中，采样具有当前采样尺寸的所述优质网络结构，使用从所述训练集中采样的批量训练数据，训练当前采样的优质网络结构，并更新所述超网络中对应的参数；直至满足停止条件时，得到带有优化参数的超网络；从所述带有优化参数的超网络中截取所述优质网络结构的优化参数，选择至少一个带有优化参数的优质网络结构，作为目标深度学习网络。7.根据权利要求1所述的方法，其特征在于，所述根据待确定的深度学习网络的应用需求，确定搜索空间，包括：向端侧设备提供任务选项和所述任务选项对应的搜索空间选项；接收端侧设备发送的深度学习网络确定请求，所述深度学习网络确定请求携带给定的目标任务和搜索空...

【专利技术属性】
技术研发人员：王海滨，戈策，陈鹤森，孙修宇，
申请(专利权)人：阿里巴巴中国有限公司，
类型：发明
国别省市：