基于计算图子图的AI模型自动生成的方法技术

本发明专利技术提供基于计算图子图的AI模型自动生成的方法，在计算图进化的AI模型中自动生成方法中，针对机器学习模型体系，根据计算图模型的子图结构，提取有效的子图模型，实现在一次独立计算模型过程中，同时计算每个图模型中节点的性能，实现一次计算即可计算多个不同的模型性能的特性。同时结合重复模型去除等功能，有利于加速模型设计的速度，降低机器学习模型设计计算的整体时间，同时又不会出现模型采样少，多样性下降的情况，从而实现机器学习模型自动化设计的效率和成功率的提升。

A method of AI model automatic generation based on subgraph of calculation graph

【技术实现步骤摘要】
基于计算图子图的AI模型自动生成的方法
本专利技术涉及AI模型(AI模型即人工智能模型)相关
，具体涉及一种基于计算图子图的AI模型自动生成的方法——采用子图提取的方法提升基于计算图进化的AI模型自动生成效率。
技术介绍
AI模型自动生成是前沿的研究领域。自动模型生成可以根据数据的分布生成更加简单高效的神经网络模型。AI模型自动生成的搜索空间为fn×2n(n-1)/2，其中f是不同神经元算子个数，n为神经网络最大深度。可以看到在生成过程中，随着支持的神经网络算子的增加和网络模型的加深，问题的复杂度可能会变成趋近于无穷搜索空间的问题，从而导致无法求解。目前主要的搜索方法有强化学习(即增强学习)、蒙特卡洛树搜索(随机抽样或统计实验方法)等方法。但是这些方法都需要先积累一定的统计信息，生成一个对模型设计有效的先验概率以后才可能在有限周期内，搜索到较好的神经网络模型结构。在传统算法拟合选出网络后，只能完整运行来寻找进一步的搜索方向。但是在深度学习领域，一次训练的实际时间会是数十分钟，甚至数十小时。而很多时候，当搜索朝向最优解逼近的时候，网络差异也在变小，而类似网络的训练结果会很相近，这样就导致整个模型搜索过程非常的长。目前深度学习的一次完整训练在数小时到数周不等，而自动神经网络设计需要大量的训练为基础才能找到最优解，随着网络的加深，在现有计算力的情况下，几乎会变成一个无解的问题。在网络模型搜索和设计过程中，模型性能的计算的过程耗时严重，往往占了整个AI模型设计的绝大部份时间。为了缩短模型自动生成时间，减少模型的数量会导致模型采样数量不足，进化算法过程中样本的多样性降低，导致整个进化算法搜索效率低下，搜索出的模型性能不佳等问题。如何有效的缩短AI模型整体时间流程，而又不降低模型设计的数量，不降低模型在整个空间的采样率，成为需要AI模型设计领域亟待解决的问题。
技术实现思路
本专利技术的目的是：针对上述现有技术的不足，在计算图进化的AI模型中自动生成方法中，针对机器学习模型体系，根据计算图模型的子图结构，提取有效的子图模型，实现在一次独立计算模型过程中，同时计算每个图模型中节点的性能，实现一次计算即可计算多个不同的模型性能的特性。同时结合重复模型去除等功能，有利于加速模型设计的速度，降低机器学习模型设计计算的整体时间，同时又不会出现模型采样少，多样性下降的情况，从而实现机器学习模型自动化设计的效率和成功率的提升。本专利技术的目的可通过以下的技术方案来实现：基于计算图子图的AI模型自动生成的方法，其特征在于包括以下步骤：步骤(1)：根据用户预设的数据，进行数据准备，设置模型设计平台生产参数，开始模型自动设计；步骤(2)：利用遗传算法算子生成第一代计算图模型；步骤(3)：判断上一步产生的所有计算图新模型相互之间是否有重复的计算图模型，如果判断有重复的模型，则去除重复的模型；步骤(4)：根据步骤(3)保留下的模型，计算除了每个模型中除起始节点的以外的每个节点的性能，计算图模型最后一个节点的性能为该模型性能。步骤(5)：根据步骤(4)已计算性能的模型，分别提取每一个模型中有效子图模型——这里所述提取有效子图模型的方法为：根据原有模型的计算图，提取包含起始节点且节点数量至少为2个的子图，构建新的子图模型；对于所构建的子图模型，判定其为“有效子图模型”的方法为：对于从原模型中提取的子图模型，子图模型中需包含原模型从起始节点与最终节点之间所有连通的节点和边；判断所有提取的有效子图模型相互之间和产生的模型之间是否有重复；如果判断没有与之重复的模型，则保存为新的计算图模型——所保存的新的计算图模型采用继承的方法(继承原模型的性能)，无需计算模型性能即可获得新的有效子图模型的性能；步骤(6)：根据步骤(3)和步骤(5)中所保留的计算图的性能(比如其准确率)和复杂度，计算每一个计算图模型的适应度；步骤(7)：根据模型适应度，去除无效用模型，剩余模型作为备选模型，并保留作为下一代种子；步骤(8)：根据步骤(7)保留的下一代种子，挑出若干数量最优模型；步骤(9)：根据步骤(8)选择出的作为下一代种子的备选模型使用遗传算法算子产生一个计算图新模型；步骤(10)：判断步骤(9)产生的计算图新模型是否为已经生成过的计算图模型，如否，则继续进入步骤(11)；如是，返回步骤(9)；步骤(11)：将步骤(10)的保留的计算图模型保存为新一代计算图模型；步骤(12)：判断是否步骤(11)的新一代计算图模型的数量满足步骤(1)中预设的数据，如是，进入下一步；如否，返回步骤(9)；步骤(13)：计算得到所有步骤(11)中所保存的所有新一代计算图模型中除了每个模型中除起始节点的以外的每个节点的性能，计算图模型最后一个节点的性能为该模型性能；步骤(14)：根据步骤(13)已计算性能的模型，分别提取每一个模型中的有效子图模型——这里所述提取有效子图模型的方法为：根据原有模型的计算图，提取包含起始节点的且节点数量至少为2个的子图，构建新的子图模型；判断对于所构建的子图模型，判定其是否为“有效子图模型”的方法为：对于从原模型中提取的子图模型，子图模型中需包含原模型从起始节点与最终节点之间所有连通的节点和边；判断所有提取的有效子图模型相互之间和产生的模型之间是否有重复；如果判断没有与之重复的模型，则保存为新的计算图模型——所保存的新的计算图模型采用继承的方法(继承原模型的性能)，无需计算模型性能即可获得新的有效子图模型的性能；步骤(15)：a、对生命周期超过三代的模型，则再进行寻找最优解或者靠近最优解的次优解的超参搜索，所述生命周期超过三代的定义同遗传算法中“代”数的定义，自该模型结构第一次出现在本流程中开始算为第一代，超参搜索后保留下来的模型进入步骤(16),并根据超参搜索后计算的计算图性能结合模型复杂度计算新的计算图模型的适应度；b、对生命周期没有超过三代的模型，根据计算图结构计算模型性能，根据计算图性能和复杂度计算每一个计算图模型的适应度，然后进入步骤(16)；步骤(16)：判断计算图新模型是否满足步骤(1)中预设的进化结束条件，如满足，进入步骤(17)；如不满足，返回步骤(8)；步骤(17)：进化计算结果汇总，根据模型复杂度和准确率进行综合评分，选择出最优模型。所述步骤(1)中用户预设的数据，包括了数据的统计分布、数据维度间相关系数和/或数据各维度和标签之间的统计相关性。所述步骤(1)中设置的模型设计平台生产参数包括了计算资源、作业运行时间、作业目标和/或遗传学算法参数。所述作业目标包含了计算图模型的适应度阀值：包括了被认为满足进化结束条件的适应度阀值，和被认为是无效用模型的适应度阀值。所述步骤(2)、(9)所述遗传算法算子包括了随机算子、交叉算子和/或变异算子所述随机算子为随机选取神经元个数、随机选取神经元种类和/或随机决定神经元连接关系。本文档来自技高网...

【技术保护点】
1.基于计算图子图的AI模型自动生成的方法，其特征在于包括以下步骤：/n步骤(1)：根据用户预设的数据，进行数据准备，设置模型设计平台生产参数，开始模型自动设计；/n步骤(2)：利用遗传算法算子生成第一代计算图模型；/n步骤(3)：判断上一步产生的所有计算图新模型相互之间是否有重复的计算图模型，如果判断有重复的模型，则去除重复的模型；/n步骤(4)：根据步骤(3)保留下的模型，计算除了每个模型中除起始节点的以外的每个节点的性能，计算图模型最后一个节点的性能为该模型性能。/n步骤(5)：根据步骤(4)已计算性能的模型，分别提取每一个模型中有效子图模型——这里所述提取有效子图模型的方法为：根据原有模型的计算图，提取包含起始节点且节点数量至少为2个的子图，构建新的子图模型；对于所构建的子图模型，判定其为“有效子图模型”的方法为：对于从原模型中提取的子图模型，子图模型中需包含原模型从起始节点与最终节点之间所有连通的节点和边；/n判断所有提取的有效子图模型相互之间和产生的模型之间是否有重复；如果判断没有与之重复的模型，则保存为新的计算图模型——所保存的新的计算图模型采用继承的方法，无需计算模型性能即可获得新的有效子图模型的性能；/n步骤(6)：根据步骤(3)和步骤(5)中所保留的计算图的性能和复杂度，计算每一个计算图模型的适应度；/n步骤(7)：根据模型适应度，去除无效用模型，剩余模型作为备选模型，并保留作为下一代种子；/n步骤(8)：根据步骤(7)保留的下一代种子，挑出若干数量最优模型；/n步骤(9)：根据步骤(8)选择出的作为下一代种子的备选模型使用遗传算法算子产生一个计算图新模型；/n步骤(10)：判断步骤(9)产生的计算图新模型是否为已经生成过的计算图模型，如否，则继续进入步骤(11)；如是，返回步骤(9)；/n步骤(11)：将步骤(10)的保留的计算图模型保存为新一代计算图模型；/n步骤(12)：判断是否步骤(11)的新一代计算图模型的数量满足步骤(1)中预设的数据，如是，进入下一步；如否，返回步骤(9)；/n步骤(13)：计算得到步骤(11)中所保存的所有新一代计算图模型中除了每个模型中除起始节点的以外的每个节点的性能，计算图模型最后一个节点的性能为该模型性能；/n步骤(14)：根据步骤(13)已计算性能的模型，分别提取每一个模型中的有效子图模型——这里所述提取有效子图模型的方法为：根据原有模型的计算图，提取包含起始节点的且节点数量至少为2个的子图，构建新的子图模型；判断对于所构建的子图模型，判定其为“有效子图模型”的方法为：对于从原模型中提取的子图模型，子图模型中需包含原模型从起始节点与最终节点之间所有连通的节点和边；/n判断所有提取的有效子图模型相互之间和产生的模型之间是否有重复；如果判断没有与之重复的模型，则保存为新的计算图模型——所保存的新的计算图模型采用继承的方法，无需计算模型性能即可获得新的有效子图模型的性能；/n步骤(15)：/na、对生命周期超过三代的模型，则再进行寻找最优解或者靠近最优解的次优解的超参搜索，所述生命周期超过三代的定义同遗传算法中“代”数的定义，自该模型结构第一次出现在本流程中开始算为第一代，超参搜索后保留下来的模型进入步骤(16),并根据超参搜索后计算的计算图性能结合模型复杂度计算新的计算图模型的适应度；/nb、对生命周期没有超过三代的模型，根据计算图结构计算模型性能，根据计算图性能和复杂度计算每一个计算图模型的适应度，然后进入步骤(16)；/n步骤(16)：判断计算图新模型是否满足步骤(1)中预设的进化结束条件，如满足，进入步骤(17)；如不满足，返回步骤(8)；/n步骤(17)：进化计算结果汇总，根据模型复杂度和准确率进行综合评分，选择出最优模型。/n...

【技术特征摘要】
1.基于计算图子图的AI模型自动生成的方法，其特征在于包括以下步骤：
步骤(1)：根据用户预设的数据，进行数据准备，设置模型设计平台生产参数，开始模型自动设计；
步骤(2)：利用遗传算法算子生成第一代计算图模型；
步骤(3)：判断上一步产生的所有计算图新模型相互之间是否有重复的计算图模型，如果判断有重复的模型，则去除重复的模型；
步骤(4)：根据步骤(3)保留下的模型，计算除了每个模型中除起始节点的以外的每个节点的性能，计算图模型最后一个节点的性能为该模型性能。
步骤(5)：根据步骤(4)已计算性能的模型，分别提取每一个模型中有效子图模型——这里所述提取有效子图模型的方法为：根据原有模型的计算图，提取包含起始节点且节点数量至少为2个的子图，构建新的子图模型；对于所构建的子图模型，判定其为“有效子图模型”的方法为：对于从原模型中提取的子图模型，子图模型中需包含原模型从起始节点与最终节点之间所有连通的节点和边；
判断所有提取的有效子图模型相互之间和产生的模型之间是否有重复；如果判断没有与之重复的模型，则保存为新的计算图模型——所保存的新的计算图模型采用继承的方法，无需计算模型性能即可获得新的有效子图模型的性能；
步骤(6)：根据步骤(3)和步骤(5)中所保留的计算图的性能和复杂度，计算每一个计算图模型的适应度；
步骤(7)：根据模型适应度，去除无效用模型，剩余模型作为备选模型，并保留作为下一代种子；
步骤(8)：根据步骤(7)保留的下一代种子，挑出若干数量最优模型；
步骤(9)：根据步骤(8)选择出的作为下一代种子的备选模型使用遗传算法算子产生一个计算图新模型；
步骤(10)：判断步骤(9)产生的计算图新模型是否为已经生成过的计算图模型，如否，则继续进入步骤(11)；如是，返回步骤(9)；
步骤(11)：将步骤(10)的保留的计算图模型保存为新一代计算图模型；
步骤(12)：判断是否步骤(11)的新一代计算图模型的数量满足步骤(1)中预设的数据，如是，进入下一步；如否，返回步骤(9)；
步骤(13)：计算得到步骤(11)中所保存的所有新一代计算图模型中除了每个模型中除起始节点的以外的每个节点的性能，计算图模型最后一个节点的性能为该模型性能；
步骤(14)：根据步骤(13)已计算性能的模型，分别提取每一个模型中的有效子图模型——这里所述提取有效子图模型的方法为：根据原有模型的计算图，提取包含起始节点的且节点数量至少为2个的子图，构建新的子图模型；判断对于所构建的子图模型，判定其为“有效子图模型”的方法为：对于从原模型中提取的子图模型，子图模型中需包含原模型从起始节点与最...

【专利技术属性】
技术研发人员：钱广锐，宋煜，傅志文，吴开源，
申请(专利权)人：探智立方北京科技有限公司，
类型：发明
国别省市：北京;11