一种面向智能制造业的自进化神经网络模型的构建方法技术

本发明专利技术公开一种面向智能制造业的自进化神经网络模型的构建方法。该方法包括：利用数据维度计算模块调整各种子网络架构的输入层和全连接层之间传递的数据维度，进行网络模型的初步定型；将历史数据并行传送到内部的种子网络架构进行预训练，各种子网络架构同时独立运行，通过预训练，演算出当前各种子网络架构下合适的网络参数，获得对应的局部最优参数集；子进化单元根据对应的局部最优参数集通过网络层数和特征数的增减演算适合的子网络层数和特征数，生成对应的最优子网络模型；对各最优子网络模型正式训练，并根据设定的性能指标排序，得到全局最优网络和权重模型。本发明专利技术能够自适应数据维度的变化并且能够自动进化为最合适的网络架构模型。为最合适的网络架构模型。为最合适的网络架构模型。

【技术实现步骤摘要】
一种面向智能制造业的自进化神经网络模型的构建方法


[0001]本专利技术涉及智能制造
，更具体地，涉及一种面向智能制造业的自进化神经网络模型的构建方法。

技术介绍

[0002]由于计算机硬件的飞速发展，以深度学习为代表的人工智能得到广泛的应用和发展。各行各业都在积极拥抱人工智能算法，但由于各行业的数据类型或者说数据的维度大相径庭，所以在图像处理领域的广泛应用的模型如LeNet，AlexNet和ResNet等并不能很好的发挥作用。例如，当输入数据的维度发生变化的时候，AI工程师需要重新调整神经网络参数包括卷积层间的数据维度、激活函数、损失函数、优化函数和优化步长等，或者用不同的网络架构来分别测试手头的数据，最终通过效果比较来选择适合自己行业和自己手头的数据的网络架构和参数，这种方式费时费力。并且如果数据的维度稍微发生了变化，例如工厂的生产线添加了一台或几台设备，那么原来的网络架构就不再适用，输入层和全连接层需要更改，所采用的网络参数如激活函数、损失函数、优化函数和优化步长等，也要重新选择和调试，所消耗的时间完全依赖于资深专业人士的经验，导致效率低下。
[0003]总之，目前单一的一种神经网络模型不适用于不同种类和不同维度的数据，在实际应用中，当数据种类和维度发生变化时，往往需要资深的专业人士重新选择网络架构、更改数据维度和调试神经网络参数，很费时间，从而严重阻碍了人工智能技术在智能制造领域中的应用和发展。

技术实现思路

[0004]本专利技术的目的是克服上述现有技术的缺陷，提供一种面向智能制造业的自进化神经网络模型的构建方法。
[0005]根据本专利技术的第一方面，提供一种面向智能制造业的自进化神经网络模型的构建方法，该自进化神经网络模型包括数据维度计算模块、多个种子网络架构、多个预训练单元、多个子进化单元，该方法包括以下步骤：
[0006]利用数据维度计算模块自动调整各种子网络架构的输入层和全连接层之间传递的数据维度，进行网络模型的初步定型；
[0007]将历史数据并行传送到内部的种子网络架构进行预训练，各种子网络架构同时独立运行，通过循环反复预训练，演算出当前各种子网络架构下合适的网络参数，获得对应的局部最优参数集；
[0008]子进化单元根据对应的局部最优参数集通过网络层数和特征数的增减演算出适合的子网络层数和特征数，从而生成对应的最优子网络模型；
[0009]对各最优子网络模型进行正式训练，并根据设定的性能指标排序，进而得到全局最优网络和权重模型。
[0010]根据本专利技术的第二方面，提供一种生产数据处理方法。该方法包括：对于生产场景
的数据，根据数据库中的数据集自动测算数据维度，并以此维度输入上述自进化神经网络模型的构建方法获得的全局最优网络模型，输出数据分类结果或预测结果。
[0011]与现有技术相比，本专利技术的优点在于，提供一种具有自我学习和进化能力的自进化神经网络模型，当读入历史数据进行训练时，首先通过内部的维度计算模块测算出数据维度，赋值给输入层和全连接层，进行网络模型的初步定型，此时多个种子网络架构也同时完成初步定型，并开始预训练，训练一定的次数后，可求得各自的局部最优网络参数集，子进化单元根据各自的网络参数集进行自进化，通过增减子网络架构上的层数和特征值，演算出各自框架下的最优子网络模型，最后进行正式的训练，通过精度对比，选出最优的子网络模型作为此自适应网络的最优网络和权重模型供生产现场使用。当数据维度或种类发生变化时，该方法能够通过维度计算模块测算出数据维度，并重新完成网络模型的初步定型，筛选出最适合的子网络架构，用它自动演算出最优网络参数，从而进化为最适合的网络模型。此过程无需人工干预，大大降低了对技术经验的依赖和人们的劳动强度，提高了生产效率和人工智能技术的易用性和普适性。
[0012]通过以下参照附图对本专利技术的示例性实施例的详细描述，本专利技术的其它特征及其优点将会变得清楚。
附图说明
[0013]被结合在说明书中并构成说明书的一部分的附图示出了本专利技术的实施例，并且连同其说明一起用于解释本专利技术的原理。
[0014]图1是根据本专利技术一个实施例的自进化神经网络模型的构建过程示意图；
[0015]图2是根据本专利技术一个实施例的自进化神经网络模型构建方法的流程图；
[0016]图3是根据本专利技术一个实施例的自进化神经网络模型的架构示意图。
具体实施方式
[0017]现在将参照附图来详细描述本专利技术的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本专利技术的范围。
[0018]以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本专利技术及其应用或使用的任何限制。
[0019]对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。
[0020]在这里示出和讨论的所有例子中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它例子可以具有不同的值。
[0021]应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
[0022]结合图1所示，本专利技术提供的具有自我适应和进化能力的自进化神经网络主要包括数据维度计算模块、多个种子网络架构(或称子网络)、多个预训练单元、多种网络参数和多个子进化单元。种子网络架构就好像是种树时，树的种子，它决定了树的种类，例如分为LeNet，AlexNet、ResNet和UNet。网络参数就好像是生长因子，包括激活函数、损失函数、优
化函数和优化步长。子进化单元就好像是树的生长过程，它进化的结果决定了树的高低和粗细，子进化单元进化的过程是神经网络的层数和特征数增减的过程。在现有技术中，只存在网络参数的自适应，还没有数据维度的自适应，也没有种子网络架构的自动筛选和子进化单元的自进化。简言之，自进化神经网络模型的构建方法包括：当读入历史数据进行训练时，首先通过内部的维度计算模块测算出数据维度，赋值给输入层和全连接层，进行网络模型的初步定型，此时多个种子网络架构也同时完成初步定型，并开始预训练，训练一定的次数后，可求得各自的局部最优网络参数集，子进化单元根据各自的网络参数集进行自进化，通过增减子网络架构上的层数和特征值，演算出各自框架下的最优子网络模型，最后进行正式的训练，通过根据设定的性能指标对比，选出最优的子网络模型作为此自进化网络的最优网络和权重模型供生产现场使用。当数据维度或种类发生变化时，本专利技术能够通过维度计算模块测算出数据维度，并重新完成网络模型的初步定型，筛选出最适合的子网络架构，用它自动演算出最优网络参数，从而进化为最适合的网络模型。此过程无需人工干预，显著降低了对技术经验的依赖和人们的劳动强度，从而提高了生产效率和人工智能技术的易用性及普适性。
[0023]具体地，结合图本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种面向智能制造业的自进化神经网络模型的构建方法，该自进化神经网络模型包括数据维度计算模块、多个种子网络架构、多个预训练单元、多个子进化单元，该方法包括以下步骤：利用数据维度计算模块自动调整各种子网络架构的输入层和全连接层之间传递的数据维度，进行网络模型的初步定型；将历史数据并行传送到内部的种子网络架构进行预训练，各种子网络架构同时独立运行，通过循环反复预训练，演算出当前各种子网络架构下合适的网络参数，获得对应的局部最优参数集；子进化单元根据对应的局部最优参数集通过网络层数和特征数的增减演算出适合的子网络层数和特征数，从而生成对应的最优子网络模型；对各最优子网络模型进行正式训练，并根据设定的性能指标排序，进而得到全局最优网络和权重模型。2.根据权利要求1所述的方法，其特征在于，所述局部最优参数集包括激活函数、损失函数、优化函数和优化步长。3.根据权利要求1所述的方法，其特征在于，所述多个种子网络架构包括LeNet、AlexNet和ResNet的全部或部分组合。4.根据权利要求3所述的方法，其特征在于，所述自进化神经网络模型的构建过程表示为：y＝max{max[L
n1
(f
a
，f
l
，f
o
...

【专利技术属性】
技术研发人员：渠元菊，楚湘华，王阳鹏，侯增涛，
申请(专利权)人：深圳大学，
类型：发明
国别省市：