神经网络模型的优化方法、数据处理方法及装置制造方法及图纸

本公开提供了一种神经网络模型的优化方法、数据处理方法及装置，所述神经网络模型包括多个算子，所述优化方法包括：对多种候选算法中每种候选算法对应的参数搜索空间进行预处理，得到所述每种候选算法的限缩参数搜索空间；基于每种候选算法的所述限缩参数搜索空间进行搜索，得到所述每种候选算法对应的参数值；基于所述多个算子中的每个算子所支持的候选算法以及所述所支持的候选算法的参数值进行搜索，得到优化后的所述神经网络模型。神经网络模型的优化方法通过为每种候选算法确定限缩参数搜索空间，并在限缩参数搜索空间内确定参数的参数值，然后基于候选算法的参数值来进行搜索，以提高神经网络模型的优化效率。以提高神经网络模型的优化效率。以提高神经网络模型的优化效率。

【技术实现步骤摘要】
神经网络模型的优化方法、数据处理方法及装置


[0001]本公开涉及图像处理
，具体而言，涉及一种神经网络模型的优化方法、数据处理方法及装置。

技术介绍

[0002]随着神经网络在各个领域的广泛应用，推动了一系列智能产品的落地，如图像识别，图像修复，语音识别等；而随着神经网络模型的不断发展，用于神经网络中的算法越来越多样，神经网络模型的结构也越来越复杂，神经网络存在开发效率低、成本高的问题。

技术实现思路

[0003]本公开实施例至少提供一种神经网络模型的优化方法、数据处理方法及装置。
[0004]第一方面，本公开实施例提供了一种神经网络模型的优化方法，所述神经网络模型包括多个算子，所述方法包括：对多种候选算法中每种候选算法对应的参数搜索空间进行预处理，得到所述每种候选算法的限缩参数搜索空间；基于每种候选算法的所述限缩参数搜索空间进行搜索，得到所述每种候选算法对应的参数值；基于所述多个算子中的每个算子所支持的候选算法以及所述所支持的候选算法的参数值进行搜索，得到优化后的所述神经网络模型。
[0005]这样，通过为多种候选数据格式中的每种候选数据格式选取目标算法，并根据多个算子中每个算子支持的至少一种数据格式对应的目标算法，来确定各个算子对应的搜索路径，然后基于多个算子中每个算子对应的搜索路径进行搜索，得到神经网络模型，从而通过为每种数据格式来确定目标算法缩小搜索空间，然后在搜索空间内进行搜索，以提高神经网络模型的优化效率。
[0006]一种可选实施方式中，所述对多种候选算法中每种候选算法对应的参数搜索空间进行预处理，得到所述每种候选算法的限缩参数搜索空间，包括：确定与所述多种候选算法中每种候选算法对应的多个参数组；其中，所述多个参数组中，同一参数的取值不同；基于多种任务场景对所述多个参数组进行性能仿真，得到所述多个参数组中每个参数组的性能仿真结果；基于所述每种候选算法的多个参数组分别对应的性能仿真结果，确定所述每种候选算法的限缩参数搜索空间。
[0007]这样，通过为每种候选算法确定多个参数组，然后基于多种任务场景对每种候选算法的多个参数组进行性能仿真，并基于性能仿真结果，为每种候选算法确定限缩参数搜索空间，以使得限缩参数搜索空间较之原参数搜索空间减小，且搜索空间的最优解处于限缩参数搜索空间内，进而使得得到的各个候选算法的参数值能够使得对应的候选算法具有更好的性能，以提升优化后的神经网络模型的性能。
[0008]一种可选实施方式中，所述基于所述每种候选算法的多个参数组分别对应的性能仿真结果，确定所述每种候选算法的限缩参数搜索空间，包括：基于与所述每种候选算法的多个参数组分别对应的性能仿真结果，从所述多个参数组中确定至少一个目标参数组；基
于所述至少一个目标参数组中包含的各个参数的取值，确定所述每种候选算法的限缩参数搜索空间。
[0009]这样，实现了基于各个参数组分别对应的性能仿真结果，确定对应候选算法的限缩参数搜索空间。
[0010]一种可选实施方式中，所述候选算法包括公有参数和至少一个私有参数，所述参数搜索空间为所述至少一个私有参数的搜索空间。
[0011]一种可选实施方式中，所述基于所述多个算子中的每个算子所支持的候选算法以及所述所支持的候选算法的参数值进行搜索，得到优化后的所述神经网络模型，包括：从多种候选数据格式中每种候选数据格式对应的至少一种候选算法中，选取所述每种候选数据格式对应的目标算法；根据多个算子中每个算子支持的至少一种数据格式对应的目标算法，确定所述每个算子对应的搜索路径；其中，所述多种候选数据格式包括所述至少一种数据格式；基于所述多个算子中每个算子对应的搜索路径、以及所述每个算子的搜索路径中目标算法对应的参数值进行搜索，得到优化后的所述神经网络模型。
[0012]这样，通过为多种候选数据格式中的每种候选数据格式选取目标算法，并根据多个算子中每个算子支持的至少一种数据格式对应的目标算法，来确定各个算子对应的搜索路径，然后基于多个算子中每个算子对应的搜索路径和每个算子支持的候选算法的参数值进行搜索，得到神经网络模型，从而通过为每种数据格式来确定目标算法以进一步的缩小算法选择上的搜索空间，然后在该搜索空间内进行搜索，以达到对神经网络模型进行进一步更高效、更低成本的优化的目的。
[0013]一种可选实施方式中，所述从多种候选数据格式中每种候选数据格式对应的至少一种候选算法中，选取所述每种候选数据格式对应的目标算法，包括：确定每种候选数据格式对应的至少一种候选算法在基于所述每种候选数据格式的数据执行计算任务时的第一耗时；根据所述每种候选数据格式对应的至少一种候选算法中每种候选算法的第一耗时，从所述每种候选数据格式对应的至少一种候选算法，选取与所述每种候选数据格式对应的目标算法。
[0014]这样，通过候选算法在基于候选数据格式的数据执行计算任务时的第一耗时，为每一种候选数据格式确定对应的目标算法，从而基于每种候选数据格式、以及每种候选数据格式对应的目标算法来构成搜索路径，以缩小每个算子对应的搜索空间，达到提高神经网络模型的优化效率的目的。
[0015]一种可选实施方式中，还包括：针对所述多种候选数据格式中每种候选数据格式，从所述多种候选格式中选取所述每种候选数据格式对应的目标转换数据格式；所述根据多个算子中每个算子支持的至少一种数据格式对应的目标算法，确定所述每个算子对应的搜索路径，包括：根据所述每个算子支持的至少一种数据格式中每种数据格式对应的目标算法、以及所述每种数据格式对应的目标转换数据格式，确定所述每个算子对应的搜索路径。
[0016]这样，通过为多种候选数据格式中的每种候选数据格式选取目标算法和目标转换数据格式，并根据多个算子中每个算子支持的至少一种数据格式对应的目标算法和目标转换数据格式，来确定各个算子对应的搜索路径，在上述实施方式的基础上，能够进一步的缩小搜索空间，达到进一步提高神经网络模型的优化效率的目的。
[0017]一种可选实施方式中，所述从所述多种候选格式中选取所述每种候选数据格式对
应的目标转换数据格式，包括：针对所述多种候选数据格式中的第一候选数据格式，确定除所述第一候选数据格式外的至少一个第二候选数据格式转换为所述第一数据格式的第二耗时；基于所述第二耗时，从所述至少一个第二候选数据格式中选取所述第一候选数据格式对应的目标转换数据格式。
[0018]这样，针对每种第一候选数据格式，根据各第二候选数据格式转换为第一候选数据格式的第二耗时，将候选数据格式之间转换需要耗时更少的路径筛选出来，从而进一步减小各个算子的搜索空间，以达到进一步提高神经网络模型的优化效率的目的。
[0019]一种可选实施方式中，所述基于所述第二耗时，从所述至少一个第二候选数据格式中选取所述第一候选数据格式对应的目标转换数据格式，包括：基于所述第一候选数据格式对应的目标算法的第一耗时和所述至少一个第二候选数据格式中每个第二候选数据格式的第二耗时，从所述至少一个第二候选数据格式中选取本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种神经网络模型的优化方法，其特征在于，所述神经网络模型包括多个算子，所述方法包括：对多种候选算法中每种候选算法对应的参数搜索空间进行预处理，得到所述每种候选算法的限缩参数搜索空间；基于每种候选算法的所述限缩参数搜索空间进行搜索，得到所述每种候选算法对应的参数值；基于所述多个算子中的每个算子所支持的候选算法以及所述所支持的候选算法的参数值进行搜索，得到优化后的所述神经网络模型。2.根据权利要求1所述的优化方法，其特征在于，所述对多种候选算法中每种候选算法对应的参数搜索空间进行预处理，得到所述每种候选算法的限缩参数搜索空间，包括：确定与所述多种候选算法中每种候选算法对应的多个参数组；其中，所述多个参数组中，同一参数的取值不同；基于多种任务场景对所述多个参数组进行性能仿真，得到所述多个参数组中每个参数组的性能仿真结果；基于所述每种候选算法的多个参数组分别对应的性能仿真结果，确定所述每种候选算法的限缩参数搜索空间。3.根据权利要求2所述的优化方法，其特征在于，所述基于所述每种候选算法的多个参数组分别对应的性能仿真结果，确定所述每种候选算法的限缩参数搜索空间，包括：基于与所述每种候选算法的多个参数组分别对应的性能仿真结果，从所述多个参数组中确定至少一个目标参数组；基于所述至少一个目标参数组中包含的各个参数的取值，确定所述每种候选算法的限缩参数搜索空间。4.根据权利要求1-3任一项所述的优化方法，其特征在于，所述候选算法包括公有参数和至少一个私有参数，所述参数搜索空间为所述至少一个私有参数的搜索空间。5.根据权利要求1-4任一项所述的优化方法，其特征在于，所述基于所述多个算子中的每个算子所支持的候选算法以及所述所支持的候选算法的参数值进行搜索，得到优化后的所述神经网络模型，包括：从多种候选数据格式中每种候选数据格式对应的至少一种候选算法中，选取所述每种候选数据格式对应的目标算法；根据多个算子中每个算子支持的至少一种数据格式对应的目标算法，确定所述每个算子对应的搜索路径；其中，所述多种候选数据格式包括所述至少一种数据格式；基于所述多个算子中每个算子对应的搜索路径、以及所述每个算子的搜索路径中目标算法对应的参数值进行搜索，得到优化后的所述神经网络模型。6.根据权利要求5所述的优化方法，其特征在于，所述从多种候选数据格式中每种候选数据格式对应的至少一种候选算法中，选取所述每种候选数据格式对应的目标算法，包括：确定每种候选数据格式对应的至少一种候选算法在基于所述每种候选数据格式的数据执行计算任务时的第一耗时；根据所述每种候选数据格式对应的至少一种候选算法中每种候选算法的第一耗时，从
所述每种候选数据格式对应的至少一种候选算法，选取与所述每种候选数据格式对应的目标算法。7.根据权利要求5或6所述的优化方法，其特征在于，还包括：针对所述多种候选数据格式中每种候选数据格式，从所述多种候选格式中选取所述每种候选数据格式对应的目标转换数据格式；所述根据多个算子中每个算子支持的至少一种数据格式对应的目标算法，确定所述每个算子对应的搜索路径，包括：根据所述每个算子支持的至少一种数据格式中每种数据格式对应的目标算法、以及所述每种数据格式对应的目标转换数据格式，确定所述每个算子对应的搜索路径。8.根据权利要求7所述的优化方法，其特征在于，所述从所述多种候选格式中选取所述每种候选数据格式对应的目标转换数据格式，包括：针对所述多种候选数据格式中的第一候选数据格式，确定除所述第一候选数据格式外的至少一个第二候选数据格式转换为所述第一数据格式的第二耗时；基于所述第二耗时，从所述至少一个第二候选数据格式中选取所述第一候选数据格式对应的目标转换数据格式。9.根据权利要求8所述的优化方法，其特征在于，所述基...

【专利技术属性】
技术研发人员：梁杰鑫，
申请(专利权)人：上海商汤智能科技有限公司，
类型：发明
国别省市：