神经网络优化方法及其装置制造方法及图纸

本申请公开了一种神经网络优化方法及其装置，属于人工智能AI技术领域。该方法包括：接收待优化神经网络的模型文件；基于待优化神经网络的模型文件，获取目标神经网络架构的搜索空间，搜索空间包括目标神经网络架构中各神经元的各属性的取值范围；基于搜索空间，获得目标神经网络架构；基于待优化神经网络的模型文件对目标神经网络架构进行训练，得到目标神经网络的模型文件；向用户提供目标神经网络的模型文件。本申请能够有效提高优化后的神经网络的性能。的性能。的性能。

【技术实现步骤摘要】
神经网络优化方法及其装置


[0001]本申请涉及人工智能(artificial intelligence,AI)
，特别涉及一种神经网络优化方法及其装置。

技术介绍

[0002]随着神经网络的普及，神经网络应用到了越来越多的领域。在用户使用神经网络之前，通常需要使用神经网络开发平台(如自动机器学习(auto machine learning，AutoML)平台)为其设计和训练神经网络。并且，用户在使用已有神经网络时，还会出现对该已有神经网络的性能不满意的情况，此时用户还可以使用神经网络开发平台对该已有神经网络进行优化，以得到性能更好的神经网络。
[0003]相关技术中，神经网络开发平台可以通过对已有神经网络执行图优化和算子融合等优化操作，以得到能够实现已有神经网络的功能，且性能更好的神经网络。
[0004]但是，优化操作对神经网络的性能提升空间有限，导致神经网络的性能提升效果较差。

技术实现思路

[0005]本申请提供了一种神经网络优化方法及其装置，本申请能够有效提高优化后的神经网络的性能。本申请提供的技术本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种神经网络优化方法，其特征在于，所述方法包括：接收待优化神经网络的模型文件；基于所述待优化神经网络的模型文件，获取目标神经网络架构的搜索空间，所述搜索空间包括所述目标神经网络架构中各神经元的各属性的取值范围；基于所述搜索空间，获得所述目标神经网络架构；基于所述待优化神经网络的模型文件对所述目标神经网络架构进行训练，得到目标神经网络的模型文件；向用户提供所述目标神经网络的模型文件。2.根据权利要求1所述的方法，其特征在于，所述方法还包括：接收所述用户输入的目标信息，所述目标信息包括以下信息中的一种或多种：运行所述目标神经网络的硬件的信息，及指示所述用户对所述目标神经网络的性能要求的信息；所述基于所述待优化神经网络的模型文件，获取目标神经网络架构的搜索空间，包括：基于所述待优化神经网络的模型文件和所述目标信息，获取所述目标神经网络架构的搜索空间。3.根据权利要求1或2所述的方法，其特征在于，所述基于所述搜索空间，获得所述目标神经网络架构，包括：基于所述搜索空间，获取用于反映所述用户对所述目标神经网络的性能要求的指定信息；基于所述指定信息，在知识库中进行检索；当所述知识库中存在满足所述指定信息的已有神经网络架构时，将所述已有神经网络架构确定为所述目标神经网络架构。4.根据权利要求3所述的方法，其特征在于，所述指定信息包括多类评价指标值，所述基于所述搜索空间，获取用于反映所述用户对所述目标神经网络的性能要求的指定信息，包括：基于所述搜索空间，得到至少一个备选神经网络架构；对每个备选神经网络架构进行训练和推理，得到每个备选神经网络架构的所述多类评价指标值。5.根据权利要求4所述的方法，其特征在于，所述基于所述指定信息，在知识库中进行检索，包括：基于每个备选神经网络架构的所述多类评价指标值，在所述知识库中进行检索；当所述知识库中任一神经网络架构满足任一备选神经网络架构的所述多类评价指标值时，确定所述知识库中存在满足所述指定信息的已有神经网络架构。6.根据权利要求3至5任一所述的方法，其特征在于，所述基于所述搜索空间，获得所述目标神经网络架构，还包括：当所述知识库中不存在满足所述指定信息的已有神经网络架构时，采用架构搜索策略搜索得到所述目标神经网络架构。7.根据权利要求6所述的方法，其特征在于，所述方法还包括：将搜索所述目标神经网络架构的过程中产生的中间数据存储在所述知识库中，所述中间数据包括以下一项或多项：所述目标神经网络架构的搜索空间、基于所述搜索空间得到
的备选神经网络架构、与硬件相关的第一类评价指标值、与硬件无关的第二类评价指标值、用于运行所述目标神经网络的硬件的信息。8.根据权利要求1至7任一所述的方法，其特征在于，所述基于所述待优化神经网络的模型文件对所述目标神经网络架构进行训练，得到目标神经网络的模型文件，包括：基于所述待优化神经网络的模型文件，采用模型克隆方法对所述目标神经网络架构进行训练，得到所述目标神经网络的模型文件。9.根据权利要求1至8任一所述的方法，其特征在于，所述基于所述待优化神经网络的模型文件，获取目标神经网络架构的搜索空间，包括：将所述待优化神经网络的模型文件输入经过预训练的人工智能模型，得到所述人工智能模型输出的所述目标神经网络架构的搜索空间。10.根据权利要求1至9任一所述的方法，其特征在于，在所述基于所述待优化神经网络的模型文件对所述目标神经网络架构进行训练，得到目标神经网络的模型文件之后，所述方法还包括：采用优化策略对所述目标神经网络进行速度优化，所述优化策略包括：图优化策略和算子优化策略；所述向用户提供所述目标神经网络的模型文件，包括：向所述用户提供速度优化后的目标神经网络的模型文件。11.根据权利要求1至9任一所述的方法，其特征在于，在所述向用户提供所述目标神经网络的模型文件之后，所述方法还包括：接收所述用户发送的速度优化请求；基于所述速度优化请求，采用优化策略对所述目标神经网络进行速度优化，所述优化策略包括：图优化策略和算子优化策略；向所述用户提供速度优化后的目标神经网络的模型文件。12.一种神经网络优化装置，其特征在于，所述装置包括：交互模块，用于接收待优化神经网络的模型文件；架构确定模块，用...

【专利技术属性】
技术研发人员：周卫民，麦宇庭，李亿，郭益君，邓彬彬，戴宗宏，
申请(专利权)人：华为云计算技术有限公司，
类型：发明
国别省市：