神经网络的优化方法、装置、计算机设备及存储介质制造方法及图纸

本申请公开了一种神经网络的优化方法、装置、计算机设备及存储介质，涉及人工智能技术领域。该方法包括：获取第一超网络；对第一超网络进行采样，得到多个子网络；利用目标预测任务对应的测试样本集对每个子网络的网络性能进行测试，得到每个子网络的第一网络性能参数；基于每个子网络的第一网络性能参数，对第一超网络的网络结构参数进行迭代优化，直至满足第一优化条件，得到优化后的第一超网络，作为第二超网络。如此，基于多个子网络的网络性能参数，对第一超网络对应的网络结构参数进行迭代优化，进而能够提升搜索空间设计的有效性以及搜索出的网络结构的性能，从而提高基于第二超网络训练的目标模型针对目标预测任务的预测性能。预测性能。预测性能。

【技术实现步骤摘要】
神经网络的优化方法、装置、计算机设备及存储介质


[0001]本申请涉及人工智能
，尤其涉及一种神经网络的优化方法、装置、计算机设备及存储介质。

技术介绍

[0002]人工智能(artificial intelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。随着人工智能技术的快速发展，神经网络(例如，深度神经网络)近年来在图像、视频以及语音等多种媒体信号的处理与分析中取得了很大的成就。
[0003]但是，一个性能优良的神经网络往往拥有精妙的网络结构，往往需要具有高超技能和丰富经验的人类专家花费大量精力进行构建。在相关技术中，为了更好地构建神经网络，一般通过神经网络结构搜索(Neural Architecture Search，NAS)的方法来自动化地搜索神经网络结构，从而得到性能更为优异的神经网络结构。但是，通过该方法搜索到的神经网络结构的性能仍然有待提升，因此，如何实现对神经网络结构的进一步优化已成为当前亟待解决的问题。

技术实现思路

[0004]本申请提出了一种神经网络的优化方法、装置、计算机设备及存储介质，以进一步优化神经网络的性能。
[0005]第一方面，本申请实施例提供了一种神经网络的优化方法，所述方法包括：获取第一超网络；对所述第一超网络进行采样，得到多个子网络；利用目标预测任务对应的测试样本集对每个所述子网络的网络性能进行测试，得到每个所述子网络的第一网络性能参数；基于每个所述子网络的第一网络性能参数，对所述第一超网络的网络结构参数进行迭代优化，直至满足第一优化条件，得到优化后的所述第一超网络，作为第二超网络，所述第二超网络用于通过训练样本集进行迭代训练后，得到所述目标预测任务对应的目标模型。
[0006]第二方面，本申请实施例提供了一种神经网络的优化装置，所述装置包括：超网络获取模块、第一采样模块、性能测试模块和超网络优化模块。超网络获取模块，用于获取第一超网络；第一采样模块，用于对所述第一超网络进行采样，得到多个子网络；性能测试模块，用于利用目标预测任务对应的测试样本集对每个所述子网络的网络性能进行测试，得到每个所述子网络的第一网络性能参数；超网络优化模块，用于基于每个所述子网络的第一网络性能参数，对所述第一超网络的网络结构参数进行迭代优化，直至满足第一优化条件，得到优化后的所述第一超网络，作为第二超网络，所述第二超网络用于通过训练样本集进行迭代训练后，得到所述目标预测任务对应的目标模型。
[0007]第三方面，本申请实施例提供了一种计算机设备，包括：一个或多个处理器；存储器；一个或多个程序，其中所述一个或多个程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序配置用于执行上述的方法。
[0008]第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有程序代码，所述程序代码可被处理器调用执行上述的方法。
[0009]本申请提供的方案中，获取第一超网络；对第一超网络进行采样，得到多个子网络；利用目标预测任务对应的测试样本集对每个子网络的网络性能进行测试，得到每个子网络的第一网络性能参数；基于每个子网络的第一网络性能参数，对第一超网络的网络结构参数进行迭代优化，直至满足第一优化条件，得到优化后的第一超网络，作为第二超网络，其中，第二超网络用于通过训练样本集进行迭代训练后，得到目标预测任务对应的目标模型。如此，在进行神经网络架构搜索前，基于针对第一超网络采样的多个子网络的网络性能，先对第一超网络对应的初始搜索空间进行迭代优化，得到最优的搜索空间，即得到网络结构参数更加优化的第二超网络，进而能够提升搜索空间设计的有效性以及搜索出的网络结构的性能，进而可以提高基于第二超网络训练的目标模型针对目标预测任务的预测性能。
附图说明
[0010]为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0011]图1示出了本申请一实施例提供的神经网络的优化方法的流程示意图。
[0012]图2示出了本申请一实施例提供的第一超网络的网络架构示意图。
[0013]图3示出了图1中步骤S120在一种实施方式中的子步骤的流程示意图。
[0014]图4示出了图1中步骤S140在一种实施方式中之后的步骤S150至步骤S170的流程示意图。
[0015]图5示出了本申请一实施例提供的渐进式收缩训练的流程示意图。
[0016]图6示出了本申请一实施例提供的神经网络的优化方法的流程示意图。
[0017]图7示出了图6中步骤S230在一种实施方式中的子步骤的流程示意图。
[0018]图8示出了图6中步骤S250在一种实施方式中的子步骤的流程示意图。
[0019]图9是根据本申请一实施例提供的一种神经网络的优化装置的框图。
[0020]图10是本申请实施例的用于执行根据本申请实施例的神经网络的优化方法的计算机设备的框图。
[0021]图11是本申请实施例的用于保存或者携带实现根据本申请实施例的神经网络的优化方法的程序代码的存储单元。
具体实施方式
[0022]为了使本
的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
[0023]需要说明的是，在本申请的说明书、权利要求书及上述附图中描述的一些流程中，
包含了按照特定顺序出现的多个操作，这些操作可以不按照其在本文中出现的顺序来执行或并行执行。操作的序号如S110、S120等，仅仅是用于区分各个不同的操作，序号本身不代表任何的执行顺序。另外，这些流程可以包括更多或更少的操作，并且这些操作可以按顺序执行或并行执行。以及，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或子模块的过程、方法、系统、产品或服务器不必限于清楚地列出的那些步骤或子模块，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或子模块。
[0024]专利技术人提出一种神经网络的优化方法、装置、计算机设备及存储介质，对第一超网络进行采样，得到多个子网络，在基于多个子网络的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种神经网络的优化方法，其特征在于，所述方法包括：获取第一超网络；对所述第一超网络进行采样，得到多个子网络；利用目标预测任务对应的测试样本集对每个所述子网络的网络性能进行测试，得到每个所述子网络的第一网络性能参数；基于每个所述子网络的第一网络性能参数，对所述第一超网络的网络结构参数进行迭代优化，直至满足第一优化条件，得到优化后的所述第一超网络，作为第二超网络，所述第二超网络用于通过训练样本集进行迭代训练后，得到所述目标预测任务对应的目标模型。2.根据权利要求1所述的方法，其特征在于，所述第一网络性能参数至少包括针对所述目标预测任务的任务预测的错误率，所述测试样本集中的每个测试样本携带有目标标签信息，所述利用目标预测任务对应的测试样本集对每个所述子网络的网络性能进行测试，得到每个所述子网络的第一网络性能参数，包括：将所述测试样本集中的每个所述测试样本输入至每个所述子网络，得到每个所述子网络输出的针对每个所述测试样本的预测标签信息；基于每个所述子网络输出的针对每个所述测试样本的预测标签信息以及每个所述测试样本携带的所述目标标签信息，确定每个所述子网络的标签预测的错误率。3.根据权利要求1所述的方法，其特征在于，所述第一网络性能参数至少包括针对所述目标预测任务的任务预测的错误率，所述基于每个所述子网络的第一网络性能参数，对所述第一超网络的网络结构参数进行迭代优化，直至满足第一优化条件，得到优化后的所述第一超网络，作为第二超网络，包括：根据每个所述子网络针对所述目标预测任务的任务预测的错误率以及每个所述子网络的网络结构参数的参数值，生成所述错误率与所述参数值之间的目标映射关系，每个所述子网络的网络结构参数的参数值为每个所述子网络对应的子搜索空间中网络结构参数的最大值；根据所述目标映射关系，对所述第一超网络的网络结构参数的参数值进行迭代优化，直至达到预设迭代次数，得到优化后的所述第一超网络，作为所述第二超网络，所述第二超网络针对所述目标预测任务的任务预测的错误率小于所述第一超网络针对所述目标预测任务的任务预测的错误率，所述第一超网络的网络结构参数的参数值为所述第一超网络对应的搜索空间中的网络结构参数的最大值。4.根据权利要求3所述方法，其特征在于，所述目标映射关系中的所述错误率与所述参数值呈正相关；所述根据所述目标映射关系，对所述第一超网络的网络结构参数的参数值进行迭代优化，直至达到预设迭代次数，得到优化后的所述第一超网络，作为所述第二超网络，包括：基于所述目标映射关系，确定第一参数调整值；基于所述第一参数调整值，对所述第一超网络的网络结构参数的参数值进行迭代调整，直至达到所述预设迭代次数，得到调整后的所述第一超网络，作为所述第二超网络，所述第二...

【专利技术属性】
技术研发人员：李梦圆，
申请(专利权)人：OPPO广东移动通信有限公司，
类型：发明
国别省市：