一种通用神经网络蒸馏公式方法技术

本发明专利技术公开一种通用神经网络蒸馏公式方法，步骤如下：1)输入数据数据增强，利用增强数据集训练基线网络模型；2)特征递归消除模块对训练好的模型针对输入特征进行重要性分析，丢掉不重要的特征，直到不能丢弃任意特征；3)特征递归解耦消除模块交替地对训练好的模型针对输入特征进行耦合性分析和重要性分析，不断对输入特征进行解耦和丢弃，直到不能解耦和丢弃任意特征；4)将k

【技术实现步骤摘要】
一种通用神经网络蒸馏公式方法


[0001]本专利技术属于人工智能、机器学习、神经网络、深度学习领域。该算法具备较强的通用性，可以在物理、化学、材料、矿物、地质等自然科学甚至社会科学领域发挥重要作用。

技术介绍

[0002]归纳是科学研究一种重要的范式，人类利用归纳发现了非常多简洁的低维公式，比如开普勒发现行星三大定律，这些公式可以给后人以启发(开普勒的工作辅助了牛顿发现万有引力定律)。然而随着研究的推进，低维公式被总结殆尽，然而在面临高维、非线性的问题时，人类难以发现数据间的模式。
[0003]神经网络非常善于捕捉高维数据间的模式，并泛化到整个数据集上。近年来神经网络在越来越多的科学领域获得了非常好的应用，比如Dong Chen将NLP领域的双向Transformer网络应用在分子性质预测任务上，辅之以用代数图提取分子的描述子特征，在分子预测任务上获得了SOTA的结果(参见文献：Chen D,Gao K,Nguyen D D,et al.Algebraic graph
‑
assisted bidirectional t本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种通用神经网络蒸馏公式方法，其特征在于，包括如下步骤：步骤一：对输入数据进行数据增强，包括特征维度扩充和数据扩充；利用增强数据训练基线baseline网络模型，并使用K折bagging集成学习模型集成；步骤二：递归特征消除RFE，将训练好的模型针对输入特征进行重要性分析，丢掉不重要属性后重新训练模型，若模型精度降低程度不超过阈值则接受丢弃步骤，否则降低丢弃数量；重复丢弃特征步骤，直到不能丢弃任意特征；步骤三：递归特征解耦和消除RFDE，对训练好的模型交替进行耦合性分析和重要性分析，不断对特征进行解耦和丢弃，直到不能解耦和丢弃任意特征；步骤四：将k分支神经网络分解成k个子问题，每个网络分支用于构建子问题数据集，并使用符号回归方法搜索每个子问题的符号模型；将每个子问题符号模型进行Stacking集成，得到最终整个问题的符号模型；神经网络公式转换器NNFC输出：公式、子问题符号模型、RFD和RFDE模块的网络蒸馏路径。2.根据权利要求1所示的一种通用神经网络蒸馏公式方法，其特征在于：在步骤一中，具体如下：1.1：对输入的每个特征x
i
(1≤i≤n)经如下函数进行特征维度扩充，包括f1(x)＝x2，f2(x)＝log(|x|+1)，f3(x)＝1/(x+1)，f4(x)＝(|x|+1)2；最终将输入特征数量扩充4倍；扩充后对输入输出进行标准化操作x
′
i
＝(x
i
‑
μ
i
)/σ
i
，其中μ
i
，σ
i
代表输入特征x
i
的均值和标准差，x
′
i
是标准化后的特征；1.2：在训练过程中，对输入向量施加均值为0，标准差为0.01的随机加性高斯噪声；对标签施加均值为0，标准差为0.005的随机加性高斯噪声；1.3：训练过程中使用k折Bagging方法进行训练，把训练集分成k折，用k
‑
1折训练，1折验证，最后对k个网络使用平均的方式进行集成得到基线模型，k＝5。3.根据权利要求1所示的一种通用神经网络蒸馏公式方法，其特征在于：在步骤二中，具体如下：2.1：计算神经网络输出关于输入梯度向量绝对值在整个数据集上的期望其中代表神经网络，是神经网络输入特征，θ是神经网络参数，代表训练集中输入向量分布；重要性向量的某个分量越大，说明分量越重要；2.2：根据重要性分析结果，丢弃不重要特征重新训练网络，如果模型精度降低程度小于阈值，则接受该丢弃步骤；否则降低丢弃特征比例。4.根据权利要求1所示的一种通用神经网络蒸馏公式方法，其特征在于：在步骤三中，具体如下：3.1：将RFE模块的输出神经网络模型作为输入送入特征解耦和消除模块RFDE；让模型针对输入特征进行耦合性分析，求模型输出关于输入的Hessian矩阵绝对值，并在整个数据集上求期望，如下所示；
其中代表神经网络，是神经网络输入特征，θ是神经网络参数，代表训练集中输入向量分布，代表输出先关于x1分量求偏导，再关于x2分量求偏导；对于已经分了k组的耦合度矩阵，耦合度矩阵写成分块对角矩阵形式；其中∑1,∑2...，∑
k
是每一组输入参数对应的耦合度矩阵；求出∑1,∑2...，∑
k
中耦合度最低元素(m,n)，(m,n)属于∑
i
且m≠n；下一步需要将第i组分成两组，各自包含m...

【专利技术属性】
技术研发人员：白相志，汪虹宇，
申请(专利权)人：北京航空航天大学，
类型：发明
国别省市：