鲁棒且可更好训练的人工神经网络制造技术

人工神经网络KNN（1）具有处理层（21

【技术实现步骤摘要】
【国外来华专利技术】鲁棒且可更好训练的人工神经网络


[0001]本专利技术涉及人工神经网络，特别是用于确定物理测量数据的分类、回归和/或语义分割。

技术介绍

[0002]对于车辆在道路交通中的至少部分自动驾驶而言，需要观察该车辆的环境并识别该环境中包含的对象，并且必要时确定这些对象相对于自己车辆的位置。然后可以在此基础上决定这些对象的存在和/或已识别的运动是否使得需要改变自己车辆的行为。
[0003]例如，由于用相机对车辆环境的光学成像会受到大量影响因素的影响，因此同一风景的两个成像不会完全相同。因此，为了识别对象典型地使用具有理想大小的泛化能力的人工神经网络KNN。这些KNN被训练为使得它们根据成本函数将学习输入数据很好地映射为学习输出数据。然后预计KNN也将在不是该训练主题的状况下正确识别对象。
[0004]在具有很多层的深度网络的情况下，有问题的是无法控制由该网络处理的数据的数值以多大数量级移动。例如，在该网络的第一层中可能存在0到1范围内的数字，而在更深层中可以达到数量级为1000的数值。于是输入变量的微小变化可能引起输出变量的巨大变化。这可能导致该网络“不学习”，即识别命中率没有明显超过随机猜测的命中率。
[0005]（S. Ioffe, C. Szegedy,
ꢀ“
Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift”, arXiv: 1502.03167v3 [cs.LG] (2015)）公开了将针对每个已处理的小批量训练数据在KNN中产生的数据的数值标准化为统一的数量级。
[0006]（D.
ꢀ‑
A. Clevert，T. Unterthirner，S. Hochreiter，“Fast and Accurate Deep Network Learning by Exponential Linear Units (ELUs)”，arXiv:1511.07289 [cs.LG] (2016)）公开了使用可以缓解上述问题的新型激活函数来激活神经元。

技术实现思路

[0007]在本专利技术的范围中，开发了一种人工神经网络。该网络包括大量串联的处理层。每个处理层都被构造为根据KNN的可训练参数将输入变量处理为输出变量。在此，特别是可以将每一层的输出变量作为输入变量引入至少下一层。
[0008]在至少一个处理层中和/或在至少两个处理层之间连接了新型的标准化器。
[0009]该标准化器包括翻译元件。该翻译元件被构造为使用预给定变换将引入标准化器的输入变量翻译为一个或多个输入向量。在此，每个输入变量恰好进入一个输入向量中。因此，产生整体上具有与输入变量中输送给标准化器的信息一样多信息（即例如，一样多数值）的单个输入向量或输入向量集合。
[0010]所述标准化器还包括标准化元件。该标准化元件被构造为基于标准化函数将输入向量标准化为一个或多个输出向量。在本专利技术的含义下，向量的标准化特别是理解为允许该向量的分量数量及该向量在多维空间中的方向不变但能够改变该向量在所述多维空间
中解释的范数的算术运算。所述范数可以例如对应于向量在多维空间中的长度。特别地，可以将标准化函数设计为，使其能够将具有非常不同范数的向量映射为具有相似或相同范数的向量。
[0011]所述标准化函数具有至少两个不同的机制，并根据所述输入向量在点处和/或在区域中的范数在这些机制之间切换，所述点和/或所述区域的位置取决于预给定参数ρ。这意味着范数位于所述点或所述区域左侧（即稍小）的输入向量由所述标准化函数处理的方式不同于范数位于所述点或所述区域右侧（即稍大）的输入向量。特别地，一个机制可以例如包括，在形成所述输出向量时输入向量的范数比根据另一机制规定的绝对和/或相对更弱地改变。机制之一例如还可以包括根本不改变输入向量，而是将所述输入向量不变地接受为输出向量。
[0012]所述标准化器还包括回译元件。所述回译元件被构造为使用预给定变换的逆将输出向量翻译为输出变量。这些输出变量与输送给标准化器的输入变量具有相同的维度。由此，标准化器可以在KNN的两个处理步骤之间的任何地方使用。因此，在通过KNN的进一步处理中，所述标准化器的输出变量可以代替先前在KNN中已经处理过并作为输入变量输送到标准化器的那些变量。
[0013]已经认识到，可以恰好通过根据输入向量的范数和预给定参数ρ切换所述机制来改善所述标准化函数的数值稳定性。特别是将抵消标准化函数放大在输入变量的机械处理时不可避免的舍入误差以及物理测量数据中始终包含的噪声的趋势。
[0014]舍入误差和噪声会在KNN内的理想情况下实际上应该存在零的地方产生小的非零数值。与此相比，代表物理测量数据中包含的有用信号或从中得出的结论的数值明显更大。如果现在在KNN中的两个处理步骤之间将代表已经存在的中间结果的数值组合成向量并将这些向量标准化，则这会导致一方面有用信号与其处理产物之间的原始存在的距离以及另一方面噪声或舍入误差会部分或甚至完全拉平。
[0015]通过在机制之间切换，现在例如可以设定：范数未达到一定最小度量的所有输入向量都在其范数方面不会更改或仅稍微更改。例如，如果同时将具有较大范数的输入向量映射为具有相同或相似范数的输出向量，则与追溯到噪声或舍入误差的输出向量之间仍然存在足够大的范数距离。
[0016]这又降低了对输送给标准化器的输入变量的统计要求。原则上没有必要访问以下输入变量，这些输入变量可以追溯到输送给KNN的不同输入变量样本。取而代之的是，如果仅将所述中间结果的与输送给KNN的唯一输入变量样本有关的数值输送给标准化器，则保留在KNN的所述中间结果中包含的主要结论。
[0017]因此，可以以相同程度或以更大程度实现迄今为止可借助于“批量标准化”实现的优点，而无需为此使标准化与在KNN训练期间处理的小批量训练数据有关。因此，标准化的效果特别是不再取决于在训练期间选择的小批量的尺寸。
[0018]这又使得可以完全自由地选择小批量的大小，例如从训练KNN时的数据吞吐量的角度来看。为了获得最大吞吐量，特别有利的是选择小批量的尺寸，使得小批量恰好适合可用的工作存储器（例如所使用的图形处理器的视频RAM，GPU）并且可以被并行处理。这在该网络的最大性能（例如分类准确度）的含义下并不总是与对于“批量标准化”也是最佳的小批量尺寸相同。相反，更小或更大的小批量尺寸可能有利于“批量标准化”，其中于是最佳
“
批量标准化”（以及因此在任务的含义下的最佳准确度）典型地优先于训练期间的最佳数据吞吐量是有疑问的。此外，“批量标准化”对于小批量尺寸的效果非常差，因为小批量的统计于是只能非常不充分地近似于整个训练数据的统计。
[0019]此外，与“批量标准化”的批量尺寸不同，由标准化元件使用的参数ρ是连续参数，而不是离散参数。因此，该参数ρ明显更易于优化。例如，该参数可本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种人工神经网络KNN（1），具有大量串联的处理层（21
‑
23），每个处理层都被构造为根据所述KNN（1）的可训练参数（20）将输入变量（21a
‑
23a）处理为输出变量（21b
‑
23b），其中在至少一个处理层（21
‑
23）中和/或在至少两个处理层（21
‑
23）之间连接至少一个标准化器（3），其中所述标准化器（3）
•
包括翻译元件（3a），所述翻译元件被构造为使用预给定变换（3a'）将引入所述标准化器（3）的输入变量（31）翻译为一个或多个输入向量（32），其中每个输入变量（31）恰好进入一个输入向量（32）中；
•
包括标准化元件（3b），所述标准化元件被构造为基于标准化函数（33）将所述一个或多个输入向量（32）标准化为一个或多个输出向量（34），其中所述标准化函数（33）具有至少两个不同的机制（33a，33b），并根据所述输入向量（32）在点处和/或在区域中的范数（32a）在所述机制（33a，33b）之间切换，所述点和/或所述区域的位置取决于预给定参数ρ；
•
包括回译元件（3c），所述回译元件被构造为使用所述预给定变换（3a'）的逆（3a''）将所述输出向量（34）翻译为输出变量（35），所述输出变量与输送给所述标准化器（3）的输入变量（31）具有相同的维度。2.根据权利要求1所述的KNN（1），其中至少一个标准化函数（33）被构造为使范数（32a）小于参数ρ的输入向量（32）保持不变，并且将范数（32a）大于参数ρ的输入向量（32）在保持方向的条件下标准化为统一的范数（32a）。3.根据权利要求1至2中任一项所述的KNN（1），其中至少一个标准化函数（33）在不同机制（33a，33b）之间的切换由Softplus函数控制，当所述输入向量（32）的范数（32a）等于参数ρ时，Softplus函数的自变量具有过零点。4.根据权利要求1至3中任一项所述的KNN（1），其中至少一个预给定变换（3a'）包括从输入变量（31）的张量（31'）中将所有特征信息（31c）组合为一个或多个输入向量（32），在所述张量中组合了f个特征图（31a），每个特征图向n个不同的位置（31c）分配特征信息（31b）。5.根据权利要求4所述的KNN（1），其中对于f个特征图（31a）中的每一个特征图，至少一个预给定变换（3a'）包括将包含在该特征图（31a）中的关于所有位置（31b）的特征信息（31c）组合在分配给该特征图（31a）的输入向量（32）中。6.根据权利要求4至5中任一项所述的KNN（1），其中对于n个位置（31b）中的每一个位置，至少一个预给定变换（3a'）包括将通过所有特征图（31a）分配给该位置（31b）的特征信息（31c）组合在分配给该位置（31b）的输入向量（32）中。7.根据权利要求4至6中任一项所述的KNN（1），其中至少一个预给定变换（3a'）包括将来自所述张量（31）的所有特征信息（31c）组合在唯一的输入向量（32）中。8.根据权利要求4至7中任一项所述的KNN（1），其中至少一个预给定变换（3a'）包括将所有特征信息（31c）分别减去对所有特征信息（31c）形成的算术平均值。9.根据权利要求4至8中任一项所述的KNN（1），其中至少一个预给定变换（3a'）包括将f个特征图（31a）的每个特征图中分别包含的特征信息（31c）分别减去所述特征信息（31c）的对该特征图（31a）形成的算术平均值（31c）。10.根据权利要求4至9中任一项所述的KNN（1），其中至少一个预给定变换（3a'）包括将通过所有特征图（31a）分配给n个位置（31b）中每一个位置的特征信息（31c）分别减去属于该位置（31b）的特征信息（31c）的对所有特征图（31a）形成的算术平均值。
11.根据权利要求1至10中任一项所述的KNN（1），其中至少一个标准化器（3）获得处理层（21
‑
23）的输入变量（21a
‑
23a）的加权和作为输入变量（31），并且该标准化器（3）的输出变量（35）被引入非线性激活函数中以形成所述处理层（21
‑
23）的输出变量（21b
‑
23b）。12.根据权利要求1至11中任一项所述的KNN（1），其中至少一个标准化器（3）获得第一处理层（21
‑
23）的输出变量（21b
‑
23b）作为输入变量（31），所述输出变量是通过应用非线性激活函数形成的，并且其中该标准化器（3）的输出变量（35）作为输入变量（21a
‑
23a）被引入进一步的处理层（21
‑
23）中，所述进一步的处理层将所述输入变量（21a
‑
23a）根据所述可训练参数（20）加权地求和。13.根据权利要求1至12中任一项所述的KNN（1），被构造为分类器和/...

【专利技术属性】
技术研发人员：F，
申请(专利权)人：罗伯特，
类型：发明
国别省市：