一种深度学习模型训练的性能结果优化方法及系统技术方案

本发明专利技术公开了一种深度学习模型训练的性能结果优化方法及系统，方法包括：响应于深度学习模型训练结束，获取深度学习模型训练的性能结果指标以及获取深度学习模型训练的调试参数；对调试参数进行搜索并从搜索结果中获取调试参数对应的性能结果指标，将当前搜索对应的性能结果指标与上次搜索对应的性能结果指标进行比较，其中，上次搜索对应的性能结果指标包括深度学习模型训练的性能结果指标；响应于比较结果符合预设条件，停止对调试参数的搜索并确定调试参数的最终参数；基于确定的各个最终参数重新进行深度学习模型训练以得到优化后的性能结果。通过本发明专利技术的方案，缩短了性能评测周期，提高了性能评测效率。提高了性能评测效率。提高了性能评测效率。

【技术实现步骤摘要】
一种深度学习模型训练的性能结果优化方法及系统


[0001]本专利技术涉及深度学习
，尤其涉及一种深度学习模型训练的性能结果优化方法及系统。

技术介绍

[0002]随着深度学习模型逐渐从研究发展到应用部署阶段，各种针对深度学习应用模型的AI软硬件框架层出不穷，在应用部署过程中伴随着大量深度学习模型与数据集的处理，针对各AI应用软件框架与AI硬件架构的性能评测正在成为业界重点关注的对象，AI性能评测工具随之产生，用于公平有效的评估各软硬件平台对于深度学习模型的基准性能指标(如Samples/s/FLOPS等)。
[0003]目前的AI性能评测工具主要用于对深度学习模型训练/推理执行过程中的关键性能指标进行实时监控，同时在执行最后阶段进行汇总与计算，以便全面评估深度学习模型执行过程中的各项关键性能指标与总体性能。
[0004]现有的AI性能评测工具有tf_cnn_benchmark，能够用于多种深度学习模型的训练和基准评测，用户只需定义好与训练相关的超参数(如learning_rate、batch_size、weight_decay)及其它配置参数(如num_threade、workers)，该框架便可进行模型训练迭代和性能评测，训练过程中输出与软硬件性能相关的评测结果数值，如Samples/s(每秒处理的样本个数，用来衡量模型训练软件的性能)、FLOPS(floating point of per second，每秒浮点运算次数，用来衡量硬件的性能)等。
[0005]现有的AI性能评测工具一般只针对用户定义好超参数以及配置参数后基于固定参数进行评估测试，每次评测结果仅输出一组性能数据，用户在评测过程中如果该轮评测结果效果不理想，需要重新人工调试参数来进行新一轮的评测，且人工调参费时费力，导致的结果是评测周期长、效率低。

技术实现思路

[0006]有鉴于此，本专利技术提出了深度学习模型训练的性能结果优化方法及系统，在对深度学习模型进行基性能评测过程中，可以根据上一轮评测结果自动进行与性能相关的参数分析并进行参数调优，从而可保证评测过程中深度学习模型能够发挥出最优化的性能结果，解决了现有的性能评测工具在评测过程中如果该轮评测结果效果不理想，需要重新人工调试参数来进行新一轮的评测，从而导致评测周期长、效率低的问题。
[0007]基于上述目的，本专利技术实施例的一方面提供了一种深度学习模型训练的性能结果优化方法，具体包括如下步骤：
[0008]响应于深度学习模型训练结束，获取所述深度学习模型训练的性能结果指标以及获取所述深度学习模型训练的调试参数；
[0009]对所述调试参数进行搜索并从搜索结果中获取所述调试参数对应的性能结果指标，将当前搜索对应的性能结果指标与上次搜索对应的性能结果指标进行比较，其中，所述
上次搜索对应的性能结果指标包括所述深度学习模型训练的性能结果指标；
[0010]响应于比较结果符合预设条件，停止对所述调试参数的搜索并确定所述调试参数的最终参数；
[0011]基于确定的各个所述最终参数重新进行所述深度学习模型训练以得到优化后的性能结果。
[0012]在一些实施方式中，获取所述深度学习模型训练的性能结果指标，包括：
[0013]获取所述深度学习模型训练的epoch数、每秒处理样本数、平均GPU内存占用率以及平均GPU使用率；
[0014]获取所述深度学习模型训练的调试参数，包括：
[0015]获取所述深度学习模型训练的学习率、批尺寸以及并行线程数。
[0016]在一些实施方式中，获取所述深度学习模型训练的每秒处理样本数、平均GPU内存占用率以及平均GPU使用率，包括：
[0017]获取所述深度模型训练的样本数以及训练时间，并基于所述样本数与所述训练时间得到所述每秒处理样本数；
[0018]间隔预设周期获取GPU内存占用率以及GPU使用率，基于获取次数分别对所述GPU内存占用率以及所述GPU使用率进行计算得到所述平均GPU内存占用率以及所述平均GPU使用率。
[0019]在一些实施方式中，对所述调试参数进行搜索并从搜索结果中获取所述调试参数对应的性能结果指标，将当前搜索对应的性能结果指标与上次搜索对应的性能结果指标进行比较，包括：
[0020]对所述学习率进行搜索，从搜索结果中获取当前搜索的epoch数，并将所述当前搜索的epoch数与上次搜索的epoch数进行比较；
[0021]对所述批尺寸进行搜索，从搜索结果中获取当前批尺寸搜索的每秒处理样本数，并将所述当前批尺寸搜索的每秒处理样本数与上次批尺寸搜索的每秒处理样本数进行比较；
[0022]对所述并行线程数进行搜索，从搜索结果中获取当前线程数搜索的每秒处理样本数，并将所述当前线程数搜索的每秒处理样本数与上次线程数搜索的每秒处理样本数进行比较。
[0023]在一些实施方式中，对所述调试参数进行搜索，包括：
[0024]调整所述调试参数，基于调整后的调试参数对所述深度学习模型进行训练。
[0025]在一些实施方式中，对所述学习率进行搜索，包括：调整所述学习率，基于调整后的学习率对所述深度学习模型进行训练。
[0026]在一些实施方式中，对所述批尺寸进行搜索，包括：调整所述批尺寸，基于调整后的批尺寸对所述深度学习模型进行训练。
[0027]在一些实施方式中，对所述并行线程数进行搜索，包括：调整所述并行线程数，基于调整后的并行线程数对所述深度学习模型进行训练。
[0028]在一些实施方式中，方法进一步包括：
[0029]响应于比较结果不符合预设条件，返回对所述调试参数进行搜索步骤以得到所述调试参数的最终参数。
[0030]本专利技术实施例的又一方面，还提供了一种深度学习模型训练的性能结果优化系统，包括：
[0031]获取模块，所述获取模块配置为响应于深度学习模型训练结束，获取所述深度学习模型训练的性能结果指标以及获取所述深度学习模型训练的调试参数；
[0032]搜索模块，所述搜索模块配置为对所述调试参数进行搜索并从搜索结果中获取所述调试参数对应的性能结果指标，将当前搜索对应的性能结果指标与上次搜索对应的性能结果指标进行比较，其中，所述上次搜索对应的性能结果指标包括所述深度学习模型训练的性能结果指标；
[0033]确定模块，所述确定模块配置为响应于比较结果符合预设条件，停止对所述调试参数的搜索并确定所述调试参数的最终参数；
[0034]训练模块，所述训练模块配置为基于确定的各个所述最终参数重新进行所述深度学习模型训练以得到优化后的性能结果。
[0035]本专利技术具有以下有益技术效果：通过对每个调试参数进行搜索，得到每个调试参数的最终参数，并基于各个调试参数的最终参数对深度学习模型进行训练得到最佳的性能训练结果，缩短了性能评测周期，提高了性能评测效率。
附图说明
[0036]为了更清楚地说明本专利技术实施例或现有技术中的技术方案本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种深度学习模型训练的性能结果优化方法，其特征在于，包括：响应于深度学习模型训练结束，获取所述深度学习模型训练的性能结果指标以及获取所述深度学习模型训练的调试参数；对所述调试参数进行搜索并从搜索结果中获取所述调试参数对应的性能结果指标，将当前搜索对应的性能结果指标与上次搜索对应的性能结果指标进行比较，其中，所述上次搜索对应的性能结果指标包括所述深度学习模型训练的性能结果指标；响应于比较结果符合预设条件，停止对所述调试参数的搜索并确定所述调试参数的最终参数；基于确定的各个所述最终参数重新进行所述深度学习模型训练以得到优化后的性能结果。2.根据权利要求1所述的方法，其特征在于，获取所述深度学习模型训练的性能结果指标，包括：获取所述深度学习模型训练的epoch数、每秒处理样本数、平均GPU内存占用率以及平均GPU使用率；获取所述深度学习模型训练的调试参数，包括：获取所述深度学习模型训练的学习率、批尺寸以及并行线程数。3.根据权利要求2所述的方法，其特征在于，获取所述深度学习模型训练的每秒处理样本数、平均GPU内存占用率以及平均GPU使用率，包括：获取所述深度模型训练的样本数以及训练时间，并基于所述样本数与所述训练时间得到所述每秒处理样本数；间隔预设周期获取GPU内存占用率以及GPU使用率，基于获取次数分别对所述GPU内存占用率以及所述GPU使用率进行计算得到所述平均GPU内存占用率以及所述平均GPU使用率。4.根据权利要求2所述的方法，其特征在于，对所述调试参数进行搜索并从搜索结果中获取所述调试参数对应的性能结果指标，将当前搜索对应的性能结果指标与上次搜索对应的性能结果指标进行比较，包括：对所述学习率进行搜索，从搜索结果中获取当前搜索的epoch数，并将所述当前搜索的epoch数与上次搜索的epoch数进行比较；对所述批尺寸进行搜索，从搜索结果中获取当前批尺寸搜索的每秒处理样本数，...

【专利技术属性】
技术研发人员：刘姝，
申请(专利权)人：郑州云海信息技术有限公司，
类型：发明
国别省市：