一种数据处理方法及其装置制造方法及图纸

本申请公开了一种数据处理方法，涉及人工智能领域，应用于神经网络中的激活单元，激活单元包括多个处理分支，方法包括：通过多个处理分支中的每个处理分支，根据对应的激活函数对输入数据进行激活处理，以得到多个处理结果；对多个处理结果进行融合，以得到目标处理结果。本申请基于对多个激活函数进行融合获得非线性增强的激活函数，从而增加激活函数的非线性，进而可以提高网络的精度。进而可以提高网络的精度。进而可以提高网络的精度。

【技术实现步骤摘要】
一种数据处理方法及其装置


[0001]本申请涉及人工智能领域，尤其涉及一种数据处理方法及其装置。

技术介绍

[0002]神经网络，也称为人工神经网络，包括一类机器学习模型，这些机器学习模型包括一组连接的节点，也可以称为神经元或感知器。神经网络可以被组织成一层或多层。神经网络中的每个节点可以包括用于执行激活操作的激活单元，激活单元可以包括激活函数。给定一组输入，激活函数可以限定节点的输出。神经网络的输入可以经由激活函数传播通过节点的各个层，以计算神经网络的输出。
[0003]然而，随着层数的增加，神经网络的速度会越来越慢，并且在具有大算力的机器上，深层网络由于其并行度差，速度劣势将会很大。在神经网络中，卷积运算、自注意力层和全连接层的计算均为线性运算，在堆叠这些层的同时需要在其后增加非线性的激活函数层。现有技术中，神经网络(尤其是浅层神经网络)往往由于非线性激活函数少，导致网络的精度较差。

技术实现思路

[0004]本申请提供了一种数据处理方法以及相关装置，可以提高网络的精度。
[0005]第一方面，本申请提供了一本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法，其特征在于，应用于神经网络中的激活单元，所述激活单元包括多个处理分支，每个所述处理分支对应于一个激活函数，所述方法包括：通过所述多个处理分支中的每个处理分支，根据对应的激活函数对输入数据进行激活处理，以得到多个处理结果；对所述多个处理结果进行融合，以得到目标处理结果。2.根据权利要求1所述的方法，其特征在于，所述多个处理分支中的至少两个处理分支所对应的激活函数不同。3.根据权利要求1或2所述的方法，其特征在于，所述多个处理分支中的至少一个处理分支对应于目标参数；所述通过多个处理分支中的每个处理分支，根据对应的激活函数对输入数据进行激活处理，以得到多个处理结果，包括：通过所述至少一个处理分支中的每个处理分支，通过对应的激活函数对所述输入数据和所述目标参数的计算结果进行激活处理，以得到所述至少一个处理分支的处理结果。4.根据权利要求3所述的方法，其特征在于，所述目标参数包括第一参数，所述计算结果为所述输入数据和所述第一参数的加和结果。5.根据权利要求4所述的方法，其特征在于，所述多个处理分支中的至少两个处理分支对应的第一参数不同；或者，在进行模型训练时，所述多个处理分支中的至少一个处理分支对应的第一参数被更新。6.根据权利要求3至5任一所述的方法，其特征在于，所述目标参数包括第三参数，所述计算结果包括所述输入数据和所述第三参数的乘积结果；或者，所述计算结果包括第一参数和第三参数，所述计算结果包括所述乘积结果和所述第一参数的加和结果。7.根据权利要求6所述的方法，其特征在于，所述多个处理分支中的至少两个处理分支对应的第三参数不同；或者，在进行模型训练时，所述多个处理分支中的至少一个处理分支对应的第三参数被更新。8.根据权利要求1至7任一所述的方法，其特征在于，所述多个处理分支中的至少一个处理分支对应于一个第二参数；所述对所述多个处理结果进行融合，以得到目标处理结果，包括：将所述至少一个处理分支中的每个所述处理分支对应的第二参数作为权重，对所述多个处理结果进行加权求和，以得到目标处理结果。9.根据权利要求8所述的方法，其特征在于，所述多个处理分支中的至少两个处理分支对应的第二参数不同；或者，在进行模型训练时，所述多个处理分支中的至少一个处理分支对应的第二参数被更新。10.根据权利要求1至9任一所述的方法，其特征在于，所述激活函数为RELU函数，所述多个处理分支中的每个处理分支对应于一个第一参数和第二参数；所述通过多个处理分支中的每个处理分支，根据对应的激活函数对输入数据进行激活
处理，以得到多个处理结果，包括：通过所述多个处理分支中的每个处理分支，通过对应的激活函数对所述输入数据和所述第一参数的加和结果进行激活处理，以得到多个处理结果；对所述多个处理结果进行融合，以得到目标处理结果，包括：将所述多个处理分支中的每个所述处理分支对应的第二参数作为权重，对所述多个处理结果进行加权求和，以得到目标处理结果。11.根据权利要求1至9任一所述的方法，其特征在于，所述方法还包括：进行所述神经网络的训练，得到更新后的神经网络；所述神经网络还包括第一网络层和第二网络层，所述第一网络层用于根据第一权重对输入的数据进行处理，所述第二网络层用于根据第二权重对输入的数据进行处理，所述第一网络层和第二网络层为卷积层或全连接层，所述第一网络层连接在所述第二网络层之前；所述更新后的神经网络包括更新后的第一网络层和更新后的第二网络层；根据所述更新后的第一网络层和所述更新后的第二网络层，得到第三网络层；所述第三网络层用于根据第三权重对输入的数据进行处理；所述第三权重为将更新后的所述第一权重与更新后的所述第二权重进行融合得到的；所述第三网络层用于替换所述更新后的神经网络中的所述更新后的第一网络层和所述更新后的第二网络层。12.一种数据处理方法，其特征在于，应用于神经网络中的激活单元，所述激活单元包括多个处理分支，每个所述处理分支对应于一个激活函数，所述方法包括：根据所述激活单元的输入数据，从所述多个处理分支中确定目标处理分支；根据所述目标处理分支，通过对应的激活函数对所述输入数据进行激活处理，以得到目标处理结果。13.根据权利要求12所述的方法，其特征在于，所述多个处理分支中不同的处理分支对应不同的数值范围；所述根据所述激活单元的输入数据，从所述多个处理分支中确定目标处理分支，包括：根据所述激活单元的输入数据，从所述多个处理分支中确定对应的数值范围包含所述输入数据的处理分支为所述目标处理分支。14.根据权利要求12或13所述的方法，其特征在于，所述多个处理分支中的至少两个处理分支所对应的激活函数不同。15.根据权利要求12至14任一所述的方法，其特征在于，所述多个处理分支中的至少一个处理分支对应于目标参数；所述根据所述目标处理分支，通过对应的激活函数对所述输入数据进行激活处理，包括：根据所述目标处理分支，通过对应的激活函数对所述输入数据和所述目标参数的计算结果进行激活处理。16.根据权利要求15所述的方法，其特征在于，所述目标参数包括第一参数，所述计算结果为所述输入数据和所述第一参数的加和结果。17.根据权利要求16所述的方法，其特征在于，所述多个处理分支中的至少两个处理分支对应的第一参数不同；或者，在进行模型训练时，所述多个处理分支中的至少一个处理分支对应的第一参数被更
新。18.根据权利要求12至17任一所述的方法，其特征在于，所述目标参数包括第三参数，所述计算结果包括所述输入数据和所述第三参数的乘积结果；或者，所述计算结果包括第一参数和第三参数，所述计算结果包括所述乘积结果和所述第一参数的加和结果。19.根据权利要求18所述的方法，其特征在于，所述多个处理分支中的至少两个处理分支对应的第三参数不同；或者，在进行模型训练时，所述多个处理分支中的至少一个处理分支对应的第三参数被更新。20.根据权利要求12至19任一所述的方法，其特征在于，所述多个处理分支中的至少一个处理分支对应于一个第二参数；所述根据所述目标处理分支，通过对应的激活函数对所述输入数据进行激活处理，以得到目标处理结果，包括：根据所述目标处理分支，通过对应的激活函数对所述输入数据进行激活处理，以得到激活处理的处理结果；将所述目标处理分支对应的第二参数作为权重，与所述处理结果进行融合，以得到目标处理结果。21.根据权利要求2...

【专利技术属性】
技术研发人员：陈汉亭，王云鹤，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：