一种神经网络模型训练方法、装置、电子设备及存储介质制造方法及图纸

本申请实施例提供的神经网络模型训练方法、装置、电子设备及存储介质，应用于信息技术领域，通过根据预设的多组分割点将待训练的图像分类网络模型分割为多组子网络模型；针对各组子网络模型，通过预设损失函数分别计算对应的损失；针对各组子网络模型，根据计算得到的损失进行联合训练，得到多组待输出子网络模型；针对各组子网络模型，分别计算各待输出子网络模型对应的多项性能参数；根据各组子网络模型对应的多项性能参数，通过预设熵权模型，分别计算各组子网络模型对应的综合性能得分；选取各组子网络模型中综合性能得分最高的一组作为目标子网络模型。可以按照目标子网络模型进行图像分类网络模型的部署，从而提高神经网络部署的便利性。

【技术实现步骤摘要】
一种神经网络模型训练方法、装置、电子设备及存储介质
本申请涉及模型训练的
，特别是涉及一种神经网络模型训练方法、装置、电子设备及存储介质。
技术介绍
目前，人工智能已经可以代替人类完成认知、识别、分析、决策等功能的一项技术。通过人工智能可以实现：图像识别、语音识别、智能生活、自动驾驶等，从而为人们的生活提供极大的便利。然而，应用在人工智能领域的神经网络的结构往往过于庞大，对于计算资源和存储资源的要求很高，因此，目前大多数的基于深度神经网络的应用均需依赖于有着海量计算资源的云平台，从而给人工智能及其相关服务的发展带来了极大的局限性。
技术实现思路
本申请实施例的目的在于提供一种神经网络模型训练方法、装置、电子设备及存储介质，用以解决如何提高神经网络部署的便利性的问题。具体技术方案如下：本申请实施例的第一方面，首先提供了一种神经网络模型训练方法，所述方法包括：根据预设的多组分割点将待训练的图像分类网络模型分割为多组子网络模型，其中，每一组子网络模型均包括第一子网络模型、第二子网络模型和第三子网络模型；针对各组子网络模型，将样本图像输入所述第一子网络模型，并以所述第一子网络模型的输出作为所述第二子网络模型的输入，以所述第二子网络模型的输出作为所述第一子网络模型的输入，生成所述第三子网络模型输出的图像分类结果；针对各组子网络模型，通过预设损失函数分别计算所述第一子网络模型的输出对应的第一损失、所述第二子网络模型的输出对应的第二损失和所述第三子网络模型输出的图像分类结果对应的第三损失；针对各组子网络模型，分别通过对应的所述第一损失、所述第二损失和所述第三损失，对对应的所述第一子网络模型、所述第二子网络模型和所述第三子网络模型进行联合训练，得到第一待输出子网络模型、第二待输出子网络模型和第三待输出子网络模型；针对各组子网络模型，分别计算所述第一待输出子网络模型、所述第二待输出子网络模型和所述第三待输出子网络模型对应的多项性能参数；根据各组子网络模型对应的多项性能参数，通过预设熵权模型，分别计算各组子网络模型对应的综合性能得分；选取所述各组子网络模型中综合性能得分最高的一组作为目标子网络模型。本申请实施例的第二方面，还提供了一种神经网络模型训练装置，所述装置包括：模型分割模块，用于根据预设的多组分割点将待训练的图像分类网络模型分割为多组子网络模型，其中，每一组子网络模型均包括第一子网络模型、第二子网络模型和第三子网络模型；结果生成模块，用于针对各组子网络模型，将样本图像输入所述第一子网络模型，并以所述第一子网络模型的输出作为所述第二子网络模型的输入，以所述第二子网络模型的输出作为所述第一子网络模型的输入，生成所述第三子网络模型输出的图像分类结果；损失计算模块，用于针对各组子网络模型，通过预设损失函数分别计算所述第一子网络模型的输出对应的第一损失、所述第二子网络模型的输出对应的第二损失和所述第三子网络模型输出的图像分类结果对应的第三损失；联合训练模块，用于针对各组子网络模型，分别通过对应的所述第一损失、所述第二损失和所述第三损失，对对应的所述第一子网络模型、所述第二子网络模型和所述第三子网络模型进行联合训练，得到第一待输出子网络模型、第二待输出子网络模型和第三待输出子网络模型；参数计算模块，用于针对各组子网络模型，分别计算所述第一待输出子网络模型、所述第二待输出子网络模型和所述第三待输出子网络模型对应的多项性能参数；得分计算模块，用于根据各组子网络模型对应的多项性能参数，通过预设熵权模型，分别计算各组子网络模型对应的综合性能得分；模型选取模块，用于选取所述各组子网络模型中综合性能得分最高的一组作为目标子网络模型。本申请实施例还提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；存储器，用于存放计算机程序；处理器，用于执行存储器上所存放的程序时，实现上述任一神经网络模型训练方法。本申请实施例还提供了一种计算机可读存储介质，计算机可读存储介质内存储有计算机程序，计算机程序被处理器执行时实现上述任一神经网络模型训练方法。本申请实施例还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述任一神经网络模型训练方法。本申请实施例有益效果：本申请实施例提供的神经网络模型训练方法、装置、电子设备及存储介质，通过根据预设的多组分割点将待训练的图像分类网络模型分割为多组子网络模型，其中，每一组子网络模型均包括第一子网络模型、第二子网络模型和第三子网络模型；针对各组子网络模型，将样本图像输入所述第一子网络模型，并以所述第一子网络模型的输出作为所述第二子网络模型的输入，以所述第二子网络模型的输出作为所述第一子网络模型的输入，生成所述第三子网络模型输出的图像分类结果；针对各组子网络模型，通过预设损失函数分别计算所述第一子网络模型的输出对应的第一损失、所述第二子网络模型的输出对应的第二损失和所述第三子网络模型输出的图像分类结果对应的第三损失；针对各组子网络模型，分别通过对应的所述第一损失、所述第二损失和所述第三损失，对对应的所述第一子网络模型、所述第二子网络模型和所述第三子网络模型进行联合训练，得到第一待输出子网络模型、第二待输出子网络模型和第三待输出子网络模型；针对各组子网络模型，分别计算所述第一待输出子网络模型、所述第二待输出子网络模型和所述第三待输出子网络模型对应的多项性能参数；根据各组子网络模型对应的多项性能参数，通过预设熵权模型，分别计算各组子网络模型对应的综合性能得分；选取所述各组子网络模型中综合性能得分最高的一组作为目标子网络模型。可以通过目标子网络模型对应的子网络进行图像分类网络模型的部署，由于目标子网络模型中的每一子网络均只包括图像分类网络模型中的一部分，因此，可以将不同的子网络部署在不同的设备中，从而每一设备只需要负责一部分的计算任务，从而提高神经网络部署的便利性。当然，实施本申请的任一产品或方法并不一定需要同时达到以上所述的所有优点。附图说明为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的实施例。图1为本申请实施例的神经网络模型训练方法的一种流程示意图；图2为本申请实施例的一种候选网络结构选择算法；图3为本申请实施例的生成图像分类结果的一种流程示意图；图4为本申请实施例的神经网络模型训练方法的一种实例图；图5为本申请实施例的通过熵权topsis算法计算得到结果对比图；图6为本申请实施例的神经网络模型训练装置的一种结构示意图；图7为本申请实施例的电子设备的一种结构示意图。...

【技术保护点】
1.一种神经网络模型训练方法，其特征在于，所述方法包括：/n根据预设的多组分割点将待训练的图像分类网络模型分割为多组子网络模型，其中，每一组子网络模型均包括第一子网络模型、第二子网络模型和第三子网络模型；/n针对各组子网络模型，将样本图像输入所述第一子网络模型，并以所述第一子网络模型的输出作为所述第二子网络模型的输入，以所述第二子网络模型的输出作为所述第一子网络模型的输入，生成所述第三子网络模型输出的图像分类结果；/n针对各组子网络模型，通过预设损失函数分别计算所述第一子网络模型的输出对应的第一损失、所述第二子网络模型的输出对应的第二损失和所述第三子网络模型输出的图像分类结果对应的第三损失；/n针对各组子网络模型，分别通过对应的所述第一损失、所述第二损失和所述第三损失，对对应的所述第一子网络模型、所述第二子网络模型和所述第三子网络模型进行联合训练，得到第一待输出子网络模型、第二待输出子网络模型和第三待输出子网络模型；/n针对各组子网络模型，分别计算所述第一待输出子网络模型、所述第二待输出子网络模型和所述第三待输出子网络模型对应的多项性能参数；/n根据各组子网络模型对应的多项性能参数，通过预设熵权模型，分别计算各组子网络模型对应的综合性能得分；/n选取所述各组子网络模型中综合性能得分最高的一组作为目标子网络模型。/n...

【技术特征摘要】
1.一种神经网络模型训练方法，其特征在于，所述方法包括：
根据预设的多组分割点将待训练的图像分类网络模型分割为多组子网络模型，其中，每一组子网络模型均包括第一子网络模型、第二子网络模型和第三子网络模型；
针对各组子网络模型，将样本图像输入所述第一子网络模型，并以所述第一子网络模型的输出作为所述第二子网络模型的输入，以所述第二子网络模型的输出作为所述第一子网络模型的输入，生成所述第三子网络模型输出的图像分类结果；
针对各组子网络模型，通过预设损失函数分别计算所述第一子网络模型的输出对应的第一损失、所述第二子网络模型的输出对应的第二损失和所述第三子网络模型输出的图像分类结果对应的第三损失；
针对各组子网络模型，分别通过对应的所述第一损失、所述第二损失和所述第三损失，对对应的所述第一子网络模型、所述第二子网络模型和所述第三子网络模型进行联合训练，得到第一待输出子网络模型、第二待输出子网络模型和第三待输出子网络模型；
针对各组子网络模型，分别计算所述第一待输出子网络模型、所述第二待输出子网络模型和所述第三待输出子网络模型对应的多项性能参数；
根据各组子网络模型对应的多项性能参数，通过预设熵权模型，分别计算各组子网络模型对应的综合性能得分；
选取所述各组子网络模型中综合性能得分最高的一组作为目标子网络模型。


2.根据权利要求1所述的方法，其特征在于，所述针对各组子网络模型，分别计算所述第一待输出子网络模型、所述第二待输出子网络模型和所述第三待输出子网络模型对应的多项性能参数，包括：
针对各组子网络模型，分别计算所述第一待输出子网络模型、所述第二待输出子网络模型和所述第三待输出子网络模型对应的模型准确率、端到端时延和数据退出率。


3.根据权利要求2所述的方法，其特征在于，所述针对各组子网络模型，将样本图像输入所述第一子网络模型，并以所述第一子网络模型的输出作为所述第二子网络模型的输入，以所述第二子网络模型的输出作为所述第一子网络模型的输入，生成所述第三子网络模型输出的图像分类结果，包括：
针对各组子网络模型，将样本图像输入所述第一子网络模型，得到所述第一子网络模型的输出；
根据所述第一子网络模型的输出，通过预设熵值法计算对应的第一可信度；
当所述第一可信度大于预设阈值时，将所述第一子网络模型的输出输入到所述第二子网络模型，得到所述第二子网络模型的输出；
根据所述第二子网络模型的输出，通过预设熵值法计算对应的第二可信度；
当所述第二可信度大于所述预设阈值时，将所述第二子网络模型的输出输入到所述第三子网络模型，得到所述第三子网络模型输出的图像分类结果。


4.根据权利要求3所述的方法，其特征在于，所述预设阈值为通过预设公式：
entropy(y)＝∑c∈cyclogyc，计算得到的数值，
其中，entropy()表示熵值法，y是各子模型模型的输出对应的各个标签的预测概率向量，C是分类任务中的所有标签集合。


5.根据权利要求1所述的方法，其特征在于，所述针对各组子网络模型，通过预设损失函数分别计算所述第一子网络模型的输出对应的第一损失、所述第二子网络模型的输出对应的第二损失和所述第三子网络模型输出的图像分类结果对应的第三损失，包括：
针对各组子网络模型，通过预设损失函数：
youtput_n＝ycut_n(x；ω；b)；






其中，n表示第n个分割点，x为输入数据，ω和b分别表示从输入到当前分割点...

【专利技术属性】
技术研发人员：高志鹏，苗东，芮兰兰，莫梓嘉，赵晨，林怡静，谭清，付伟，
申请(专利权)人：北京邮电大学，北京驱云科技有限公司，
类型：发明
国别省市：北京;11