预训练模型的生成方法、装置、电子设备以及存储介质制造方法及图纸

本公开提供了一种预训练模型的生成方法、装置、电子设备以及存储介质，涉及人工智能技术领域，尤其涉及计算机视觉和深度学习技术。具体实现方案为：根据预训练模型确定剪枝搜索空间；从剪枝搜索空间中确定候选模型结构集合，其中，候选模型结构集合包括多个候选模型结构；在确定候选模型结构集合中不存在目标模型结构的情况下，训练候选模型结构集合，直至满足预定条件，得到目标预训练模型。得到目标预训练模型。得到目标预训练模型。

【技术实现步骤摘要】
预训练模型的生成方法、装置、电子设备以及存储介质


[0001]本公开涉及人工智能
，尤其涉及计算机视觉和深度学习技术。具体地，涉及一种预训练模型的生成方法、装置、电子设备以及存储介质。

技术介绍

[0002]预训练模型可以指利用数目较多的训练数据对预设模型进行训练得到的与任务无关的模型。针对下游任务，可以利用与下游任务相关的少量的训练数据对预训练模型进行微调，得到用于处理下游任务的模型。例如，下游任务可以包括图像处理任务、音频处理任务或文本处理任务等。

技术实现思路

[0003]本公开提供了一种预训练模型的生成方法、装置、电子设备以及存储介质。
[0004]根据本公开的一方面，提供了一种预训练模型的生成方法，包括：根据预训练模型确定剪枝搜索空间；从上述剪枝搜索空间中确定候选模型结构集合，其中，上述候选模型结构集合包括多个候选模型结构；以及，在确定上述候选模型结构集合中不存在目标模型结构的情况下，训练候选模型结构集合，直至满足预定条件，得到目标预训练模型。
[0005]根据本公开的另一方面，提供了一种预训练模本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种预训练模型的生成方法，包括：根据预训练模型确定剪枝搜索空间；从所述剪枝搜索空间中确定候选模型结构集合，其中，所述候选模型结构集合包括多个候选模型结构；以及在确定所述候选模型结构集合中不存在目标模型结构的情况下，训练所述候选模型结构集合，直至满足预定条件，得到目标预训练模型。2.根据权利要求1所述的方法，还包括：利用与所述剪枝搜索空间对应的性能预测器处理所述候选模型结构集合，得到所述候选模型结构集合的性能指标集合；其中，所述在确定所述候选模型结构集合中不存在目标模型结构的情况下，训练所述候选模型结构集合，直至满足预定条件，得到目标预训练模型，包括：在根据所述性能指标集合和所述候选模型结构集合的剪枝信息集合，确定所述候选模型结构集合中不存在所述目标模型结构的情况下，根据所述性能指标集合和所述剪枝信息集合，从所述候选模型结构集合中确定候选模型结构子集合；以及训练所述候选模型结构子集合，直至满足所述预定条件，得到所述目标预训练模型。3.根据权利要求2所述的方法，还包括：从所述剪枝搜索空间中确定评估模型结构集合；以及利用所述评估模型结构集合，得到与所述剪枝搜索空间对应的性能预测器。4.根据权利要求3所述的方法，其中，所述利用所述评估模型结构集合，得到与所述剪枝搜索空间对应的性能预测器，包括：利用所述评估模型结构集合处理评测集，得到与所述剪枝搜索空间对应的性能指标集合；以及利用所述评估模型结构集合和所述性能指标集合，得到与所述剪枝搜索空间对应的性能预测器。5.根据权利要求4所述的方法，其中，所述利用所述评估模型结构集合和所述性能指标集合，得到与所述剪枝搜索空间对应的性能预测器，包括：确定所述评估模型结构集合的评估模型编码集合；以及利用所述评估编码集合和所述性能指标集合，得到与所述剪枝搜索空间对应的性能预测器。6.根据权利要求2～5中任一项所述的方法，其中，所述训练所述候选模型结构子集合，包括：基于重参数方法对所述候选模型结构子集合的模型参数进行调整。7.根据权利要求3～6中任一项所述的方法，其中，所述从所述剪枝搜索空间中确定评估模型结构集合，包括：确定所述剪枝搜索空间包括的多个模型结构中的每个模型结构的信息熵；以及根据所述剪枝搜索空间包括的多个模型结构中的每个模型结构的信息熵，从所述剪枝搜索空间中确定所述评估模型结构集合。8.根据权利要求3～6中任一项所述的方法，其中，所述从所述剪枝搜索空间中确定评估模型结构集合，包括：
根据所述剪枝搜索空间包括的多个模型结构，确定所述剪枝剪枝搜索空间的至少一个聚类中心；以及根据所述剪枝搜索空间的至少一个聚类中心，得到所述评估模型结构集合。9.根据权利要求2～8中任一项所述的方法，其中，所述预定条件包括性能评估条件和剪枝条件；所述剪枝条件包括剪枝率值条件或剪枝轮条件；剪枝信息包括剪枝率值或剪枝轮；其中，所述目标模型结构是多个候选模型结构中满足预定条件的候选模型结构，包括以下之一：所述目标模型结构是所述多个候选模型结构中性能指标满足所述性能评估条件且所述剪枝率值满足所述剪枝率值条件的候选模型结构；以及所述目标模型结构是所述多个候选模型结构中性能指标满足所述性能评估条件且所述剪枝轮满足所述剪枝轮条件的候选模型结构。10.一种预训练模型的生成装置，包括：第一确定模块，根据预训练模型确定剪枝搜索空间；第二确定模块，用于从所述剪枝搜索空间中确定候选模型结构集合，其中，所述候选模型结构集合包括多个候选模型结构；以及第一获得模块，用于在确定所述候选模型结构集合中不存在目标模型结构的情况下，训练所述...

【专利技术属性】
技术研发人员：希滕，张刚，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：