用于非线性归一化的神经网络层制造技术

用于非线性归一化的神经网络层。计算机实现的机器学习系统(60)，其中机器学习系统(60)被配置为通过经由机器学习系统(60)的多个层(L，61)转发输入信号(x)来基于输入信号(x)提供输出信号(y)，其中多个层(L，61)中的至少一个层(61)被配置为接收基于输入信号(x)的层输入(l)，并且提供层输出(o)，基于该层输出(o)确定输出信号(y)，其中层(61)的特征在于层(61)被配置为借助于层输入(l)的非线性归一化来确定层输出(l)。定层输出(l)。定层输出(l)。

【技术实现步骤摘要】
用于非线性归一化的神经网络层


[0001]本专利技术涉及计算机实现的机器学习系统、用于训练机器学习系统的计算机实现的方法、用于在机器学习系统上执行推断的计算机实现的方法、计算机程序和机器可读存储介质。
现有技术
[0002]Ioffe和Szegedy的“Batch Normalization：Accelerating Deep Network Training by Reducing Internal Covariate Shift”(2015，https：//arxiv.org/abs/1502.03167)公开了批量规范(Batch Norm，BN)，这是一种在神经网络训练期间归一化小批量的方法。
[0003]Wu和He的“Group Normalization”(2018，https：//arxiv.org/abs/1803.08494)公开了组归一化(GN)作为BN的简单替代。GN将通道划分成组，并在每个组内计算归一化的均值和方差。
[0004]Ba等人的“Layer Normalization”(2016，https：//arxiv.org/abs/1607.06450)公开了一种称为层归一化(LN)的方法，这是BN的转置应用。
[0005]Ulyanov等人的“Instance Normalization：The Missing Ingredient for Fast Stylization”(2016，https：//arxiv，org/abs/1607.08022)公开了一种称为实例归一化(IN)的归一化方法。
[0006]
技术介绍

[0007]深度神经网络用作各种
中许多技术应用的骨干。尤其是当自动分析诸如自动化制造机器或机器人之类的机器的环境或内部状态时。已经提出了用于深度神经网络的不同归一化层。这样的归一化技术的主要益处之一是使训练稳定化，因为信号的前向流动和梯度的后向流动被归一化，并且消失/爆炸梯度问题被减轻。
[0008]这是通过线性映射来自这样的归一化层的输入的值的子集来实现的，使得映射之后子集的值具有预定义的均值(通常为0)和预定义的方差(通常为1)。
[0009]然而，专利技术人发现已知归一化方法的线性性质限制了归一化的有效性。专利技术人发现情况就是这样，因为已知的归一化技术使用中心趋势(均值)和离散度(方差/标准偏差)的非鲁棒估计器，这可能受到异常值的严重影响。
[0010]因此，本专利技术提出了一种非线性归一化方法，该方法在内部使用不受单个异常值强烈影响的更鲁棒的百分位数估计器。有利地，所提出的方法可以更好地处理引入归一化层输入值的偏斜、重尾分布或者归一化层输入值的多模态分布的域移位。因此，所提出的方法允许采用所提出的归一化技术的机器学习系统的性能增加。

技术实现思路

[0011]在第一方面，本专利技术涉及一种计算机实现的机器学习系统，其中所述机器学习系统被配置为通过经由机器学习系统的多个层转发输入信号来基于输入信号提供输出信号，
其中多个层中的至少一个层被配置为接收基于输入信号的层输入，并且提供基于其确定输出信号的层输出，其中该层的特征在于该层被配置为借助于层输入的非线性归一化来确定层输出。
[0012]优选地，机器学习系统可以是神经网络，其中该层是神经网络的归一化层。然而，该层可以用于包括层(即接受输入并提供输出的封装模块)的任何机器学习系统中。例如，机器学习系统可以包括一堆支持向量机(SVM)，其中每个SVM被认为是一层，并且上面提到的层可以被插入在堆叠的SVM之间。
[0013]到机器学习系统的输入信号通过机器学习系统的各层转发，以便确定输出信号。这可以理解为输入信号被提供给机器学习系统的第一层，其中第一层取决于输入信号确定层输出。然后，层输出可以被转发到另一层或多个层，其中从第一层确定的层输出用作到另一层或多个层的输入。以这种方式，机器学习系统中的每一层可以被理解为接收基于输入信号确定的层输入，并提供层输出。然后，机器学习系统的最终层的层输出可以作为输出信号被提供。
[0014]该层的特征在于它执行非线性归一化操作的事实。这尤其可以理解为层接受任意形状(例如，向量、矩阵或张量)的层输入，并归一化输入的每个元素，从而确定与层输入相同形状的层输出。然而，与层输入中的元素值相比，层输出中的元素值是归一化的。
[0015]输入信号尤其可以表征传感器信号和/或技术系统的内部状态。例如，机器学习系统可以用作被配置为借助于传感器感知其环境的元素的自主或至少部分自动化系统的一部分。替代地或附加地，输入信号可以表征关于技术系统的内部信息，例如温度、电流或电压、线速度或角速度和/或穿过管道或喷嘴的流体或气体的量。因此，输入信号可以表征传感器数据。也就是说，输入信号可以是来自传感器的传感器信号，或者可以包括来自相同类型的传感器和/或不同类型的传感器的多个传感器信号。一个或多个传感器可以是例如相机、LiDAR传感器、雷达传感器、超声传感器、热感相机、麦克风、压电传感器。
[0016]机器学习系统被配置为推断输入信号中编码的信息。机器学习系统可以例如分析输入信号，例如执行输入信号的分类和/或基于输入信号执行回归分析。替代地或附加地，机器学习系统可以被配置为确定所供应的输入信号相对于训练输入信号数据集的可能性(例如，机器学习系统可以是归一化流程)。机器学习系统还可以被配置为生成数据。例如，输出信号可以表征基于用作输入信号的另一图像生成的图像。输出信号还可以表征音频信号，例如表征作为输入信号提供的图像场景的听觉描述的音频信号。
[0017]有利地，该层能够执行非线性归一化。也就是说，层输出的元素值是借助于非线性函数基于层输入的元素而获得的。这是有利的，因为层输入的元素值通常遵循多模态和/或偏斜和/或重尾分布。专利技术人发现，尤其是对于被损坏的输入信号，所提出的方法能够实现更好的性能，尤其是对于在诸如CIFAR
‑
10C之类的标准基准中被称为常见损坏的损坏。
[0018]优选地，为了确定层输出，层被配置为归一化层输入的至少一组值，其中该组包括层输入的所有值或层输入的值的子集。
[0019]尤其可以将层输入拆分成组，如在组归一化中所做的那样。特别地，层输入可以是至少包括批量轴、通道轴和空间轴的张量。张量然后可以被拆分成组，其中每个组包括沿着批量轴的一个元素的元素、沿着通道轴的多个元素以及空间轴的所有元素。优选地，每个组包括相同量的元素。
[0020]然而，非线性归一化对于组的实际大小和量是不可知的。也就是说，层输入可以作为整体被归一化。这可以被认为是仅使用单个组。然而，优选地，层输入被拆分成多个组，其中每个组基于相应组的元素值被单独归一化。层输入应该被拆分成的组的实际量可以被认为是机器学习系统的超参数。为了简单起见，使用层输入的所有元素进行归一化也将被认为是对一组元素执行归一化，尽管仅有单个组要被处理。
[0021]作者发现，与仅使用单个组相比，将层输入拆分成多个组导致机本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种计算机实现的机器学习系统(60)，其中所述机器学习系统(60)被配置为通过经由机器学习系统(60)的多个层(L，61)转发输入信号(x)来基于输入信号(x)提供输出信号(y)，其中所述多个层(L，61)中的至少一个层(61)被配置为接收基于输入信号(x)的层输入(l)，并且提供层输出(o)，基于所述层输出(o)确定输出信号(y)，其中所述层(61)的特征在于层(61)被配置为借助于层输入(l)的非线性归一化来确定层输出(l)。2.根据权利要求1所述的机器学习系统(60)，其中为了确定层输出，所述层被配置为归一化层输入(l)的至少一组值，其中所述组包括层输入(l)的所有值或者层输入(l)的值的子集。3.根据权利要求2所述的机器学习系统(60)，其中所述非线性归一化的特征在于，将来自所述组的值的经验百分位数映射到预定义概率分布的百分位数。4.根据权利要求3所述的机器学习系统(60)，其中所述预定义概率分布是标准正态分布。5.根据权利要求3或4所述的机器学习系统(60)，其中确定层输出(o)包括以下步骤：
·
接收层输入(l)的一组值；
·
对接收到的值进行排序；
·
计算排序值的每个位置的百分位数值；
·
借助于预定义...

【专利技术属性】
技术研发人员：J，
申请(专利权)人：罗伯特，
类型：发明
国别省市：