神经网络处理方法、神经网络及自然语言处理方法技术

本公开提出了一种神经网络处理方法、终端设备及存储介质。所述神经网络具有堆叠的L个子结构，并且该方法包括：第一子结构基于前一层输出的特征表示，计算得到第一子结构输出的特征表示；第二子结构基于第一子结构输出的特征表示，计算得到第二子结构输出的特征表示；对第一和第二子结构输出的特征表示一并进行归一化处理；以及基于归一化处理的结果进行当前推理的后续计算。本公开通过在临近子结构之间使用多层归一化，允许更大参数量参与统计，保证了统计有效性。因此在保持模型性能不变的情况下，可以适当减小隐层维度。同时，由于保证了临近子结构参数分布的一致性，可以避免由于临近子结构之间参数发生大规模变化而导致的梯度饱和问题。

【技术实现步骤摘要】

本公开涉及人工智能领域，尤其涉及一种神经网络处理方法、神经网络及自然语言处理方法。

技术介绍

1、层归一化(layer normalization)是机器学习中常见的归一化方法，尤其在自然语言处理(natural language processing，nlp)中有广泛应用。比如transformer中使用使用了层归一化。

2、虽然现有的层归一化操作有助于提高神经网络的训练稳定性和性能，但在神经网络的训练中，仍然面临着例如梯度饱和等问题。

技术实现思路

1、根据本公开实施例的第一方面，提出了一种神经网络处理方法，其中，所述神经网络具有堆叠的l个子结构，所述l个子结构的结构相同，所述l是不小于2的整数，所述方法包括：第一子结构基于所述第一子结构的前一层输出的特征表示，计算得到第一子结构输出的特征表示；第二子结构基于所述第一子结构输出的特征表示，计算得到第二子结构输出的特征表示，其中，所述第二子结构与所述第一子结构相邻且位于所述第一子结构之后；对所述第一子结构输出的特征表示和所述第二子结构输出的特征表本文档来自技高网...

【技术保护点】

1.一种神经网络处理方法，其中，所述神经网络具有堆叠的L个子结构，所述L个子结构的结构相同，所述L是不小于2的整数，所述方法包括：

2.根据权利要求1所述的方法，其中，对所述第一子结构输出的特征表示和所述第二子结构输出的特征表示进行归一化处理包括：

3.根据权利要求1所述的方法，其中，对所述第一子结构输出的特征表示和所述第二子结构输出的特征表示一并进行归一化处理包括：

4.根据权利要求3所述的方法，其中，第三子结构与所述第二子结构相邻且位于所述第二子结构之后，其中基于所述归一化处理的结果进行所述神经网络当前推理的后续计算包括：>

5.根据权利...

【技术特征摘要】

1.一种神经网络处理方法，其中，所述神经网络具有堆叠的l个子结构，所述l个子结构的结构相同，所述l是不小于2的整数，所述方法包括：

2.根据权利要求1所述的方法，其中，对所述第一子结构输出的特征表示和所述第二子结构输出的特征表示进行归一化处理包括：

3.根据权利要求1所述的方法，其中，对所述第一子结构输出的特征表示和所述第二子结构输出的特征表示一并进行归一化处理包括：

4.根据权利要求3所述的方法，其中，第三子结构与所述第二子结构相邻且位于所述第二子结构之后，其中基于所述归一化处理的结果进行所述神经网络当前推理的后续计算包括：

5.根据权利要求3所述的方法，其中，第三子结构与所述第二子结构相邻且位于所述第二子结构之后，第四子结构与所述第三子结构相邻且位于所述第三子结构之后，其中，

6.根据权利要求1所述的方法，其中，第三子结构与所述第二子结构相邻且位于所述第二子结构之后，并且所述方法还包括：

7.根据权利要求1所述的方法，其中，所述l个子结构各自包括n个隐藏层，并且对所述第一子结构输出的特征表示和所述第二子结构输出的特征表示进行归一化处理包括：

8.根据权利要求7所述的方法，其中，第二子结构基于所述第一子结构输出的特征表示...

【专利技术属性】
技术研发人员：安旭，
申请(专利权)人：武汉星纪魅族科技有限公司，
类型：发明
国别省市：