用于提升深度学习网络预测性能的方法、装置及存储介质制造方法及图纸

本申请涉及一种用于提升深度学习网络预测性能的方法、装置及储存介质，属于人工智能及计算机技术领域，该方法包括：利用预先设置的训练集对第一神经网络模型进行m轮次迭代训练；利用预先设置的验证集对训练得到的神经网络模型进行验证；基于训练得到的神经网络模型所应用的场景确定出对应的性能指标；从m轮次迭代训练得到的神经网络模型中选择确定出的性能指标达到融合标准的多个神经网络模型；获取选择的多个神经网络模型的网络参数，将多个神经网络模型的网络参数融合；将融合后的网络参数赋给第二神经网络模型得到具有融合后的网络参数的神经网络模型；不仅未增加训练模型的时间，还可以提高网络预测效率，也可以满足应用场景的不同需求。

【技术实现步骤摘要】
用于提升深度学习网络预测性能的方法、装置及存储介质
本申请涉及一种用于提升深度学习网络预测性能的方法、装置及存储介质，属于人工智能及计算机

技术介绍
深度学习是指多层神经网络上运用各种机器学习(MachineLearning)算法解决图像、文本等各种问题的算法集合。深度学习的核心是特征学习，旨在通过分层网络获取分层次的特征信息。为了提高神经网络模型的预测准确性，可通过对多种情况下的神经网络模型进行融合处理。模型融合包括单模型融合和多模型融合。单模型融合包括多层特征融合和网络快照融合，多层特征融合是将不同层具有互补信息的特征进行一定的融合；网络快照融合是利用网络解空间中的各个局部最优解进行模型融合。多模型融合包括基于同一神经网络模型不同初始化网络参数的多模型融合、基于同一神经网络模型不同训练轮数的多模型融合、基于不同损失函数的多模型融合、基于不同网络结构的多模型融合等。然而，无论是单模型融合还是多模型融合，虽然通过在模型层面的融合能够提升网络的最终预测能力，但是在开发过程中要训练多种情况下的神经网络模型且在预测时要计算多种情况下的神经网络模型的结果，会增加网络模型的训练时间，还会降低网络预测的效率。
技术实现思路
本申请提供了一种用于提升深度学习网络预测性能的方法、装置及存储介质，可以解决通过单模型融合或者多模型融合来提升深度学习网络预测性能时训练时间较长和预测时间较长的问题。本申请提供如下技术方案：第一方面，提供了一种用于提升深度学习网络预测性能的方法，所述方法包括：利用预先设置的训练集对第一神经网络模型进行m轮次迭代训练，所述m为正整数；利用预先设置的验证集对训练得到的神经网络模型进行验证，获取每轮训练得到的神经网络模型的多项性能指标；基于所述训练得到的神经网络模型所应用的场景确定出对应的性能指标；从所述m轮次迭代训练得到的神经网络模型中选择确定出的性能指标达到融合标准的多个神经网络模型；获取选择的多个神经网络模型的网络参数；将所述多个神经网络模型的网络参数融合，得到融合后的网络参数；将所述融合后的网络参数赋给所述第二神经网络模型，得到具有所述融合后的网络参数的神经网络模型，所述第二神经网络模型的网络结构与所述第一神经网络模型的网络结构相同。可选地，所述将所述多个神经网络模型的网络参数融合，得到融合后的网络参数，包括：所述根据加权平均法将所述多个神经网络模型的网络参数融合，得到所述融合后的网络参数，包括：设定所述验证集的基础性能指标；确定每个选择的神经网络模型的性能指标与所述基础性能指标之间差值，得到性能指标差值；确定各个性能指标差值之间的和，得到性能指标差值和；对于每个选择的神经网络模型，确定所述选择的神经网络模型对应的性能指标差值与所述性能指标差值和之间的商，得到所述选择的神经网络模型在进行网络参数融合时对应的权重值；将每个所述选择的神经网络模型的网络参数与对应的权重值的乘积相加，得到所述融合后的网络参数。可选地，所述从所述m轮次迭代训练得到的神经网络模型中选择确定出的性能指标达到融合标准的多个神经网络模型，包括：将m次迭代轮次按照迭代顺序划分得到k个迭代轮次区间，所述k为小于或等于所述m的正整数；在所述k个迭代轮次区间的每个迭代轮次区间中，确定验证集性能指标最高的神经网络模型，得到k个神经网络模型。可选地，所述m次迭代轮次是经所述验证集验证的训练后的神经网络模型的性能指标与最高性能指标的差值小于或等于预设差值的迭代轮次，所述最高性能指标是指经所述验证集验证的各个训练后的神经网络模型的性能指标中的最大值。可选地，所述具有所述融合后的网络参数的神经网络模型用于对开车时是否在打电话进行网络预测；所述训练集和所述验证集包括图片数据和每个图片数据的标注信息。可选地，所述基于所述训练得到的神经网络模型所应用的场景确定出对应的性能指标，包括：所述训练得到的神经网络模型所应用的场景为分类识别场景时，确定所述性能指标为准确率；或者，所述训练得到的神经网络模型所应用的场景为检测识别场景时，所述性能指标为精确率或召回率。第二方面，提供了一种用于提升深度学习网络预测性能的装置，所述装置包括：迭代训练模块，用于利用预先设置的训练集对第一神经网络模型进行m轮次迭代训练，所述m为正整数；网络验证模块，用于利用预先设置的验证集对训练得到的神经网络模型进行验证，获取每轮训练得到的神经网络模型的多个性能指标；指标确定模块，用于基于所述训练得到的神经网络模型所应用的场景确定出对应的性能指标；模型选择模块，用于从所述m轮次迭代训练得到的神经网络模型中选择确定出的性能指标达到融合标准的多个神经网络模型；参数融合模块，用于获取选择的多个神经网络模型的网络参数，将所述多个神经网络模型的网络参数融合，得到融合后的网络参数；参数配置模块，用于将所述融合后的网络参数赋给第二神经网络模型，得到具有所述融合后的网络参数的神经网络模型，所述第二神经网络模型的网络结构与所述第一神经网络模型的网络结构相同。第三方面，提供一种用于提升深度学习网络预测性能的装置，所述装置包括处理器和存储器；所述存储器中存储有程序，所述程序由所述处理器加载并执行以实现第一方面所述的用于提升深度学习网络预测性能的方法。第四方面，提供一种计算机可读存储介质，所述存储介质中存储有程序，所述程序由所述处理器加载并执行以实现第一方面所述的用于提升深度学习网络预测性能的方法。本申请的有益效果在于：利用预先设置的训练集对第一神经网络模型进行m轮次迭代训练，m为正整数；利用预先设置的验证集对训练得到的神经网络模型进行验证，获取每轮训练得到的神经网络模型的多项性能指标；基于训练得到的神经网络模型所应用的场景确定出对应的性能指标；从m轮次迭代训练得到的神经网络模型中选择确定出的性能指标达到融合标准的多个神经网络模型；将选择的多个神经网络模型的网络参数融合，得到融合后的网络参数；将融合后的网络参数赋给第一神经网络模型，得到具有融合后的网络参数的神经网络模型；可以解决通过单模型融合或者多模型融合来提升深度学习网络预测性能时需要训练多种情况下的神经网络模型，导致神经网络模型的训练时间较长的问题；由于本实施例中只需要训练一种情况下用于网络预测的神经网络模型，对不同迭代训练后的神经网络模型的网络参数进行融合，就可以提高神经网络模型的网络预测性能，因此，可以保证在提升深度学习网络预测性能时未增加神经网络模型的训练时间，从而加快神经网络模型的开发周期。另外，由于在网络参数融合后，网络参数的数量不变，且神经网络模型的数量仍为一个，因此，在实际应用时只需预测一次即可；可以解决传统模型融合时需要针对各个待融合的神经网络模型进行预测，然后再将不同预测结果进行融合，预测时间相当于单次预测时间的几倍的问题，因此，网络参数融合方法可以保证在提升深度学习网络预测性能时不增加网络预测的时间。另外，通过基于训练得到的神经网络模型所应用的场景确定出对应的性能指标，根据该性能指标选择达到融合标准的多个神经网络模型的网络参数进行融合；可以解决神经网络模型基于同一性能指标来进行网络参数融合时，得到的融合后的网络参数无法适应多种应用场景的问题；由于可以根据应用的场景确定对应的性能指标，从而根据该性能指标选择出适应该场景本文档来自技高网...

【技术保护点】
1.一种用于提升深度学习网络预测性能的方法，其特征在于，所述方法包括：利用预先设置的训练集对第一神经网络模型进行m轮次迭代训练，所述m为正整数；利用预先设置的验证集对训练得到的神经网络模型进行验证，获取每轮训练得到的神经网络模型的多项性能指标；基于所述训练得到的神经网络模型所应用的场景确定出对应的性能指标；从所述m轮次迭代训练得到的神经网络模型中选择确定出的性能指标达到融合标准的多个神经网络模型；获取选择的多个神经网络模型的网络参数，将所述多个神经网络模型的网络参数融合，得到融合后的网络参数；将所述融合后的网络参数赋给第二神经网络模型，得到具有所述融合后的网络参数的神经网络模型，所述第二神经网络模型的网络结构与所述第一神经网络模型的网络结构相同。

【技术特征摘要】
1.一种用于提升深度学习网络预测性能的方法，其特征在于，所述方法包括：利用预先设置的训练集对第一神经网络模型进行m轮次迭代训练，所述m为正整数；利用预先设置的验证集对训练得到的神经网络模型进行验证，获取每轮训练得到的神经网络模型的多项性能指标；基于所述训练得到的神经网络模型所应用的场景确定出对应的性能指标；从所述m轮次迭代训练得到的神经网络模型中选择确定出的性能指标达到融合标准的多个神经网络模型；获取选择的多个神经网络模型的网络参数，将所述多个神经网络模型的网络参数融合，得到融合后的网络参数；将所述融合后的网络参数赋给第二神经网络模型，得到具有所述融合后的网络参数的神经网络模型，所述第二神经网络模型的网络结构与所述第一神经网络模型的网络结构相同。2.根据权利要求1所述的方法，其特征在于，所述将所述多个神经网络模型的网络参数融合，得到融合后的网络参数，包括：根据加权平均法将所述多个神经网络模型的网络参数融合，得到所述融合后的网络参数。3.根据权利要求2所述的方法，其特征在于，所述根据加权平均法将所述多个神经网络模型的网络参数融合，得到所述融合后的网络参数，包括：设定所述验证集的基础性能指标；确定每个选择的神经网络模型的性能指标与所述基础性能指标之间差值，得到性能指标差值；确定各个性能指标差值之间的和，得到性能指标差值和；对于每个选择的神经网络模型，确定所述选择的神经网络模型对应的性能指标差值与所述性能指标差值和之间的商，得到所述选择的神经网络模型在进行网络参数融合时对应的权重值；将每个所述选择的神经网络模型的网络参数与对应的权重值的乘积相加，得到所述融合后的网络参数。4.根据权利要求1至3任一所述的方法，其特征在于，所述从所述m轮次迭代训练得到的神经网络模型中选择确定出的性能指标达到融合标准的多个神经网络模型，包括：将m次迭代轮次按照迭代顺序划分得到k个迭代轮次区间，所述k为小于或等于所述m的正整数；在所述k个迭代轮次区间的每个迭代轮次区间中，确定验证集的性能指标最高的神经网络模型，得到k个神经网络模型。5.根据权利要求4所述的方法，其特征在于，所述m次迭代轮次是经所...

【专利技术属性】
技术研发人员：刘通，牛群遥，朱林，孙茂芬，章勇，曹李军，吴仁良，杨浩，
申请(专利权)人：苏州科达科技股份有限公司，
类型：发明
国别省市：江苏,32