【技术实现步骤摘要】
用于训练神经网络的方法
本专利技术涉及一种用于训练具有卷积层的神经网络并确定卷积正则化值的方法。
技术介绍
为了控制至少部分自动化的系统，例如作为移动平台的示例的自驾驶车辆或机器人，开发了深度学习方法，在所述深度学习方法中经常使用神经网络。神经网络已在诸如语音识别、机器翻译、图像分类、图像分割的各种实际任务中、在玩视频游戏中、在玩棋盘游戏中或在预测蛋白质结合中表现出卓越的性能。这样的至少部分自动化的系统的重要组成部分是其感知与其环境相关的复杂状况的能力，从而许多上述示例都可以适配于该任务。安全和有效地运行这样的至少部分自动化的系统的前提是例如对移动平台的环境进行解释以用于例如决策过程，如所述移动平台的轨迹规划和轨迹控制。越来越多地使用诸如神经网络的机器学习方法来解决这样的任务。机器学习方法的任务是借助于训练数据来学习尽可能好地检测所述训练数据的函数。在此使用成本函数来评估所学习的函数的质量。在训练这样的机器学习方法时已证明有利的是，对权重进行正则化。这意味着将其他正则化项加性添加到所述成本函数中。
技术实现思路
...
【技术保护点】
1.用于使用大量训练行程来训练神经网络的方法，其中所述神经网络具有至少一个卷积层，并且在至少一个训练行程中借助于所述卷积层执行至少一个卷积，所述方法具有以下步骤：/n从所述神经网络的前一层的输出提供多个输入特征图（S1）；/n借助于多个卷积核和所述多个输入特征图形成所述卷积层的至少一个输出特征图（S2），其中向由所述输入特征图之一和所述至少一个输出特征图中的每一个输出特征图构成的每种组合分配一个卷积核，并且所述卷积核中的每一个具有多个卷积权重；/n为由所述输入特征图和所述输出特征图构成的所有组合确定多个卷积核范数（S3），其中根据所述卷积核的卷积权重的绝对数值形成卷积核范数...
【技术特征摘要】
20190702 DE 102019209644.11.用于使用大量训练行程来训练神经网络的方法，其中所述神经网络具有至少一个卷积层，并且在至少一个训练行程中借助于所述卷积层执行至少一个卷积，所述方法具有以下步骤：
从所述神经网络的前一层的输出提供多个输入特征图（S1）；
借助于多个卷积核和所述多个输入特征图形成所述卷积层的至少一个输出特征图（S2），其中向由所述输入特征图之一和所述至少一个输出特征图中的每一个输出特征图构成的每种组合分配一个卷积核，并且所述卷积核中的每一个具有多个卷积权重；
为由所述输入特征图和所述输出特征图构成的所有组合确定多个卷积核范数（S3），其中根据所述卷积核的卷积权重的绝对数值形成卷积核范数；
为所有输出特征图确定多个输入范数（S4），其中根据所有输入特征图的卷积核范数形成输入范数，并且所述卷积核范数的定义不同于所述输入范数的定义；
根据所有输出特征图的输入范数来确定卷积范数（S5），以便确定用于其他训练行程的卷积正则化值。
2.根据权利要求1所述的方法，其中，通过将所述卷积范数乘以用于计算所述输出图的所有卷积核的频率来确定所述卷积正则化值。
3.根据权利要求2所述的方法，其中，为了确定用于计算所述至少一个输出图的卷积核的频率，将所述输入特征图的空间大小与所述卷积核的空间大小进行比较。
4.根据权利要求2至3中任一项所述的方法，其中，通过为所述神经网络的每一层确定卷积正则化值以及向用于训练所述神经网络的成本函数添加所有层的卷积正则化值的总和，来为所述神经网络确定总卷积正则化值。
5.根据前述权利要求中任一项所述的方法，其中，在至少一个训练步骤之后，借助于将所述卷积正则化值应用于所述成本函数的确定来适配所述神经网络的至少...
【专利技术属性】
技术研发人员：K·格劳，
申请(专利权)人：罗伯特·博世有限公司，
类型：发明
国别省市：德国;DE
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。