用于训练神经网络的方法技术

本发明专利技术涉及用于训练人工神经网络的一种方法，其中，所述方法包括以下步骤：提供待训练的神经网络，训练后，该神经网络待基于第一激活函数(1)操作运行(S10)；基于至少一个第二激活函数(2)执行神经网络的初始训练，其中，至少一个第二激活函数(2)不同于第一激活函数(1)(S11)；在过渡阶段，执行进一步的训练步骤，其中，使用第一激活函数(1)和至少一个第二激活函数(2)的组合训练神经网络，其中，训练函数的组合随时间变化，以便在过渡阶段开始时第二激活函数(2)的加权朝向在过渡阶段结束时第一激活函数(1)的加权变化(S12)；以及基于第一激活函数(1)执行最后的训练步骤(S13)。函数(1)执行最后的训练步骤(S13)。函数(1)执行最后的训练步骤(S13)。

【技术实现步骤摘要】
用于训练神经网络的方法


[0001]本专利技术一般涉及人工神经网络领域。更具体地说，本专利技术涉及使用多个不同激活函数训练卷积神经网络的一种方法。

技术介绍

[0002]深度学习和神经网络是目前最先进的机器学习解决方案，用于许多不同输入领域的各项任务，包括视觉、音频和时间序列数据的处理。激活函数通常用于将非线性引入神经网络。
[0003]目前，最流行的激活函数是ReLU(修正线性单元)激活，它被定义为y＝max(0、x)，即把输入负值剪切为零。还有其他的ReLU(修正线性单元)演变形式，例如ReLU6将数值最大限度地剪切为6。
[0004]大多数现代GPU(图形处理单元)/TPU(张量处理单元)/CPU(中央处理单元)芯片都提供硬件支持，以有效计算不同的流行激活函数。然而，在嵌入式系统中，支持激活函数的数量非常有限(通常只支持ReLU(修正线性单元)或其演变形式)。另一方面，与使用最近提出的最先进激活函数(如GELU(高斯误差线性单元)激活函数、ELU(指数线性单元)激活函数、Swish激活函数(搜索激活函数)、Mish激活函数本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.用于训练人工神经网络的方法，其中，所述方法包括以下步骤：
‑
提供待训练的神经网络，在训练后该神经网络待基于第一激活函数(1)进行操作(S10)；
‑
基于至少一个第二激活函数(2)执行神经网络的初始训练，其中，至少一个第二激活函数(2)不同于第一激活函数(1)(S11)；
‑
在过渡阶段，执行进一步的训练步骤，其中，使用第一激活函数(1)和至少一个第二激活函数(2)的组合训练神经网络，其中，训练函数的组合随时间变化，以使过渡阶段开始时至少一个第二激活函数(2)的加权朝向在过渡阶段结束时第一激活函数(1)的加权变化(S12)；
‑
基于第一激活函数(1)执行最后的训练步骤(S13)。2.根据权利要求1所述的方法，其中，所述组合是第一激活函数(1)和至少一个第二激活函数(2)的线性组合，其中，所述线性组合能够借助调谐因子(α)加以改变。3.根据权利要求2所述的方法，其中，提供第一激活函数(1)和第二激活函数(2)的线性组合的总激活函数f
act,overall
构造如下：f
act,overall
＝α
·
f
act,1
+(1
‑
α)
·
f
act,2
其中，α：调谐因子，其中，α∈[0、1]；f
act,1
：第一激活函数；f
act,2
：第二激活函数；4.根据权利要求2或3所述的方法，其中，调度器(3)在调谐阶段调整适配调谐因子(α)，使得第一激活函数(1)在过渡阶段内的加权逐渐提高。5.根据上述权利要求中任一权利要求所述的方法，其中，调谐因子(α)在过渡阶段线性地或非线性地改变。6.根据权利要求1所述的方法，其中，所述组合是第一激活函数(1)或至少一个第二激活函数(2)的随机选择。7.根据权利要求6所述的方法，其中，随机地选择第一激活函数(1)或至少一个第二激活函数(2)的概率能够借助调谐因子加以改变。8...

【专利技术属性】
技术研发人员：A，
申请(专利权)人：大陆智行德国有限公司，
类型：发明
国别省市：