【技术实现步骤摘要】
一种图像分类模型的训练方法和训练系统
[0001]本专利技术涉及自动化机器学习领域，具体来说涉及神经网络架构搜索领域，更具体地说，涉及一种图像分类模型的训练方法和训练系统。
技术介绍
[0002]随着机器学习技术的发展以及机器学习在行业中应用越来越广泛，对从事相关技术的工作人员提出了越来越复杂的要求，为了将人力从该过程中解放出来，自动化机器学习应运而生。自动化机器学习的目标就是使用自动化的数据驱动方式做出决策，主要包括特征工程、模型选择、算法设计以及模型评估，这样就降低了对特定领域的业务经验要求或算法调参经验等。神经网络架构搜索作为自动化机器学习中模型设计的范畴，目的旨在特定的搜索空间中自动化地搜索得到性能最优的神经网络架构。该技术已经在多个任务中如分类、检测、分割等得到超越人工设计的网络性能，成为未来网络设计的一种方式。
[0003]神经网络架构搜索可以描述为包括搜索空间、搜索策略和性能评估在内的任务流程。因此该技术需要在预定义好的搜索空间中通过特定的搜索策略选定出性能优异的网络架构。近年来，基于权重共享策略的搜索...
【技术保护点】
【技术特征摘要】
1.一种图像分类模型的训练方法，其特征在于，包括：A1、获取构建的超网络，超网络包括多个网络层和预测层，所述超网络的网络层包括多个候选操作和用于评价每个候选操作的重要性的基于自注意力机制的指示网络，每个候选操作为该层的一个候选的网络结构，所述网络层的输出为根据每个候选操作的重要性与所含的多个候选操作的输出确定的加权和；A2、利用训练集对所述超网络进行图像分类训练，其中包括对每个候选的网络结构和指示网络的训练；A3、将验证集的图像样本输入经步骤A2训练的超网络中以得到指示网络根据验证集评价的各网络层的每个候选操作的重要性；A4、根据验证集评价的各网络层的每个候选操作的重要性，从超网络的每个网络层选择一个重要性较高的候选操作与预测层构建目标网络；A5、利用训练集和/或验证集对目标网络进行图像分类训练，得到经训练的图像分类模型。2.根据权利要求1所述的方法，其特征在于，所述指示网络为视觉自注意力模型，所述视觉自注意力模型的输入添加预设的指示令牌，所述指示令牌用于与每个候选操作的输出计算注意力值以作为每个候选操作的重要性。3.根据权利要求2所述的方法，其特征在于，所述视觉自注意力模型包括依次连接的单头自注意力网络、第一残差与层归一化模块、前馈网络和第二残差与层归一化模块，其中，第一残差与层归一化模块对其连接的单头自注意力网络的输入与输出进行残差相加后执行层归一化处理，第二残差与层归一化模块对其连接的前馈网络的输入与输出进行残差相加后执行层归一化处理，其中，指示令牌和所有候选操作的输出对应的操作令牌进行拼接后输入视觉自注意力模型，经单头自注意力网络、第一残差与层归一化模块、前馈网络和第二残差与层归一化模块的处理，输出指示令牌与每个候选操作的输出的注意力值。4.根据权利要求3所述的方法，其特征在于，在步骤A2中，每个网络层中的每个候选操作的输出被展开为与指示令牌同维度的操作令牌，将指示令牌和所有的操作令牌拼接送入视觉自注意力模型，得到指示令牌与每个候选操作的操作令牌的注意力值以作为所述每个候选操作的重要性。5.根据权利要求4所述的方法，其特征在于，在步骤A2中，利用训练集对所述超网络进行图像分类训练包括：将训练集中的样本图像输入超网络，经超网络的多个网络层的处理，得到图像特征，超网络的预测层根据所述图...
【专利技术属性】
技术研发人员：孙自浩，胡瑜，
申请(专利权)人：中国科学院计算技术研究所，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。