模型超参数取值方法及装置、处理核、设备、芯片和介质制造方法及图纸

本公开提供了一种基于类脑仿真系统的模型超参数取值方法，类脑仿真系统包括至少一个簇的众核系统，众核系统中的簇包含一个或多个处理核，该方法包括：通过各簇的处理核从神经网络模型的模型超参数的取值集合中获取模型超参数的至少一个取值批次；将神经网络模型的样本数据广播至各簇处理核，以使各簇处理核根据样本数据及模型超参数的至少一个取值批次，对神经网络模型进行类脑仿真运行，得到各簇的至少一个取值批次的计算结果；根据各簇的至少一个取值批次的计算结果，确定与样本数据对应的模型超参数的目标取值。本公开还提供了一种模型超参数取值装置、处理核、设备、芯片和介质。根据本公开的方案可以快速高效确定出模型超参数的目标取值。超参数的目标取值。超参数的目标取值。

【技术实现步骤摘要】
模型超参数取值方法及装置、处理核、设备、芯片和介质


[0001]本公开涉及处理器
，特别涉及一种模型超参数取值方法及装置、处理核、设备、芯片和介质。

技术介绍

[0002]对于神经网络模型，模型超参数(Hyperparameter)的配置优劣会影响神经网络模型的性能。在使用神经网络模型进行给定问题的处理时，通常无法预先获知超参数的合适取值。而通过经验或通过反复试验的方法来探寻超参数的合适取值，花费时间长且效率低下。

技术实现思路

[0003]本公开提供一种模型超参数取值方法及装置、处理核、设备、芯片和介质。
[0004]第一方面，本公开提供了一种基于类脑仿真系统的模型超参数取值方法，所述类脑仿真系统包括至少一个簇的众核系统，所述众核系统中的簇包含一个或多个处理核，所述方法包括：通过各簇的处理核从神经网络模型的模型超参数的取值集合中，获取所述模型超参数的至少一个取值批次，每个取值批次包括所述模型超参数的至少两组不同取值；将所述神经网络模型的样本数据广播至各簇的处理核，以使各簇的处理核根据所述样本数据及所述模型超参数的至少一个取值批次，对所述神经网络模型进行类脑仿真运行，得到各簇的所述至少一个取值批次的计算结果；根据各簇的所述至少一个取值批次的计算结果，确定与所述样本数据对应的模型超参数的目标取值。
[0005]第二方面，本公开提供了一种基于类脑仿真系统的模型超参数取值装置，所述类脑仿真系统是包括至少一个簇的众核系统，所述众核系统中的簇包含一个或多个处理核，所述装置包括：批次确定模块，用于通过各簇的处理核从神经网络模型的模型超参数的取值集合中，获取所述模型超参数的至少一个取值批次，每个取值批次包括所述模型超参数的至少两组不同取值；仿真运行模块，用于将所述神经网络模型的样本数据广播至各簇的处理核，以使各簇的处理核根据所述样本数据及所述模型超参数的至少一个取值批次，对所述神经网络模型进行类脑仿真运行，得到各簇的所述至少一个取值批次的计算结果；参数取值模块，用于根据各簇的所述至少一个取值批次的计算结果，确定与所述样本数据对应的模型超参数的目标取值。
[0006]第三方面，本公开提供了一种处理核，该处理核用于加载神经网络模型完成深度学习处理，其中，神经网络模型的模型超参数的取值，是根据上述的模型超参数取值方法得到的超参数值。
[0007]第四方面，本公开提供了一种电子设备，该电子设备包括：多个处理核；以及，片上网络，被配置为交互多个处理核间的数据和外部数据；其中，一个或多个处理核中存储有一个或多个指令，一个或多个指令被一个或多个处理核执行，以使一个或多个处理核能够执行上述的模型超参数取值方法。
[0008]第五方面，本公开提供了一种类脑计算芯片，所述类脑计算芯片包括众核系统，所述众核系统包括至少一个簇，每个簇包含上述的处理核。
[0009]第六方面，本公开提供了一种计算机可读介质，其上存储有计算机程序，其中，计算机程序在被处理核执行时实现上述的模型超参数取值方法。
[0010]本公开所提供的模型超参数取值方法及装置、处理核、设备、芯片和介质，基于类脑仿真系统中包含一个或多个处理核的簇，可以并行的在进行神经网络模型的超参数进行类脑仿真运行时，对于输入并广播至每个各簇的处理核中对应的超参数实例的样本数据，所经历的是模型超参数的不同取值和相同的计算逻辑，通过该类脑仿真运行，可以得到模型超参数的不同取值分别对应的计算结果，即仿真一次可以得到众核系统中各簇的模型超参数的不同取值分别对应的计算结果，仿真运行过程耗时少且效率高；可以缩短确定模型超参数的目标取值所花费的时长，提高模型超参数的目标取值的获取效率。
[0011]应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
[0012]附图用来提供对本公开的进一步理解，并且构成说明书的一部分，与本公开的实施例一起用于解释本公开，并不构成对本公开的限制。通过参考附图对详细示例实施例进行描述，以上和其他特征和优点对本领域技术人员将变得更加显而易见，在附图中：
[0013]图1为本公开实施例提供的模型超参数取值方法的流程图；
[0014]图2为本公开实施例提供的对神经网络模型进行仿真运行的具体流程示意图；
[0015]图3为本公开实施例提供的单次类脑仿真运行的具体流程示意图；
[0016]图4为本公开实施例提供的确定模型超参数的目标取值的具体流程示意图；
[0017]图5为本公开实施例提供的模型超参数取值方法的流程图；
[0018]图6为本公开实施例提供的模型超参数取值方法的流程图；
[0019]图7为本公开实施例提供的模型超参数取值装置的组成框图；
[0020]图8为本公开实施例提供的仿真运行模块的具体组成框图；
[0021]图9为本公开实施例提供的参数取值模块的具体组成框图；
[0022]图10为本公开实施例提供的电子设备的组成框图。
具体实施方式
[0023]为使本领域的技术人员更好地理解本公开的技术方案，以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
[0024]在不冲突的情况下，本公开各实施例及实施例中的各特征可相互组合。
[0025]如本文所使用的，术语“和/或”包括一个或多个相关列举条目的任何和所有组合。
[0026]本文所使用的术语仅用于描述特定实施例，且不意欲限制本公开。如本文所使用的，单数形式“一个”和“该”也意欲包括复数形式，除非上下文另外清楚指出。还将理解的
是，当本说明书中使用术语“包括”和/或“由
……
制成”时，指定存在特征、整体、步骤、操作、元件和/或组件，但不排除存在或添加一个或多个其它特征、整体、步骤、操作、元件、组件和/或其群组。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电性的连接，不管是直接的还是间接的。
[0027]除非另外限定，否则本文所用的所有术语(包括技术和科学术语)的含义与本领域普通技术人员通常理解的含义相同。还将理解，诸如那些在常用字典中限定的那些术语应当被解释为具有与其在相关技术以及本公开的背景下的含义一致的含义，且将不解释为具有理想化或过度形式上的含义，除非本文明确如此限定。
[0028]在机器学习领域，神经网络(Neural Network，NN)是通过模仿生物神经网络的结构进行数据处理的计算系统，神经网络由大量的神经元广泛的相互连接而生成，具有强大的非线性和自适应数据处理能力。对神经网络进行数学建模，以神经元的数学模型来描述神经网络，即得本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于类脑仿真系统的模型超参数取值方法，其特征在于，所述类脑仿真系统包括至少一个簇的众核系统，所述众核系统中的簇包含一个或多个处理核，所述方法包括：通过各簇的处理核从神经网络模型的模型超参数的取值集合中，获取所述模型超参数的至少一个取值批次，每个取值批次包括所述模型超参数的至少两组不同取值；将所述神经网络模型的样本数据广播至各簇的处理核，以使各簇的处理核根据所述样本数据及所述模型超参数的至少一个取值批次，对所述神经网络模型进行类脑仿真运行，得到各簇的所述至少一个取值批次的计算结果；根据各簇的所述至少一个取值批次的计算结果，确定与所述样本数据对应的模型超参数的目标取值。2.根据权利要求1所述的方法，其中，所述根据所述神经网络模型的样本数据及所述模型超参数的至少一个取值批次，对所述神经网络模型进行类脑仿真运行，得到各簇的所述至少一个取值批次的计算结果，包括：针对所述模型超参数的任一取值批次，使用所述神经网络模型，对所述取值批次的各组取值和所述样本数据进行单次类脑仿真运行，得到各簇的与所述取值批次的各组取值分别对应的计算结果。3.根据权利要求2所述的方法，其中，所述使用所述神经网络模型，对所述取值批次的各组取值和所述样本数据进行单次类脑仿真运行，得到各簇的与所述取值批次的各组取值分别对应的计算结果，包括：通过图编程模型对所述取值批次的各组取值进行编译，得到所述取值批次的计算图；根据所述取值批次的取值组数，对所述样本数据进行复制，得到所述取值组数的样本数据；使用所述神经网络模型，对所述计算图和所述取值组数的样本数据进行单次类脑仿真运行，得到各簇的与所述取值批次的各组取值分别对应的计算结果。4.根据权利要求1所述的方法，其中，所述根据各簇的所述至少一个取值批次的计算结果，确定与所述样本数据对应的模型超参数的目标取值，包括：根据各簇的所述计算结果，确定各簇中所述模型超参数的各组取值对于所述样本数据的模型效果评估指标；将模型效果评估指标最优的模型超参数的取值，作为所述模型超参数的目标取值。5.根据权利要求1所述的方法，其中，所述样本数据为所述神经网络模型的样本数据集合中的任一个样本数据；所述方法还包括：确定与所述样本数据集合中的多个样本数据分别对...

【专利技术属性】
技术研发人员：吴臻志，祝夭龙，
申请(专利权)人：北京灵汐科技有限公司，
类型：发明
国别省市：