用于配置神经网络的方法技术

一种用于配置神经网络（11）的方法，所述方法具有如下步骤：‑将图像数据（1）输送给在训练硬件（10）上被实施的神经网络（11）；‑将所述图像数据（1）输送给在推理硬件（20）上被实施的神经网络（21）；‑确定所述训练硬件（10）的输出数据（12）与所述推理硬件（20）的输出数据（22）之间的偏差；并且‑确定所述神经网络（11）的噪声参数（R），使得在将所述图像数据（1）输送给在所述训练硬件（10）上被实施的神经网络（11）之后并且在将所述图像数据（1）输送给在所述推理硬件（20）上被实施的神经网络（21）之后，所述推理硬件（20）的输出数据（22）与所述训练硬件（10）的输出数据（12）位相同。

【技术实现步骤摘要】
用于配置神经网络的方法
本专利技术涉及一种用于配置神经网络的方法。本专利技术还涉及一种用于训练神经网络的方法，该神经网络具有噪声参数，这些噪声参数是根据所提出的方法来被确定的。本专利技术还涉及一种计算机程序。本专利技术还涉及一种机器可读存储介质。
技术介绍
当前的DNN（英文deepneuralnetwork（深度神经网络））推理硬件主要是芯片面积与性能之间的折衷。因为浮点计算机装置比数字信号处理器（DSP）更昂贵，所以在大多数情况下使用DSP来进行DNN计算。在这种情况下的常见做法是对DNN进行脱机训练，其中为推理硬件提供定点值DNN。因为在硬件方面常常进行折衷以便节省芯片面积和运行成本，所以常常发生：对于推理硬件的用户来说无法理解的算术运算被执行。在此，在对用于推理硬件的DNN进行常规训练的情况下例如可能发生过饱和或欠饱和效应。这一点的原因例如可能在于只能通过框架（Framework）来访问推理硬件的功能性，但是如果该推理硬件具有随机元素，则原因也可能在于该推理硬件本身。在此，存在与贝叶斯深度神经网络（DeepBaysianNeuralNetwork）的相似之处，所述贝叶斯深度神经网络试图对所使用的数据的不确定性一并进行建模。
技术实现思路
本专利技术的任务是：提供一种经改善的用于配置神经网络的方法。按照第一方面，该任务利用一种用于配置神经网络的方法来被解决，该方法具有如下步骤：-将图像数据输送给在训练硬件上被实施的神经网络；-将这些图像数据输送给在推理硬件上被实施的神经网络；-确定训练硬件的输出数据与推理硬件的输出数据之间的偏差；并且-确定神经网络的噪声参数，使得在将这些图像数据输送给在训练硬件上被实施的神经网络之后并且在将这些图像数据输送给在推理硬件上被实施的神经网络之后，推理硬件的输出数据与训练硬件的输出数据位相同。以这种方式，噪声参数被确定为使得在训练硬件上的结果与在推理硬件上的结果位相同。结果是，由此可以在确定噪声参数之后为了在推理硬件上实施的目的而立即在训练硬件上对神经网络进行训练。在此，考虑有浮点功能的训练硬件与有定点功能的推理硬件之间的误差。由此，使在训练硬件上的神经网络的输出响应尽可能接近在推理硬件上的神经网络的输出响应。由此，不需要关注推理硬件的通常无法重现的修约误差，由此可以将研发花费集中于对神经网络的改进。结果是，以这种方式可以节省很多时间来详细研究推理硬件的运行特性。按照本专利技术，通过噪声分布来对本身未知的误差进行建模。按照第二方面，该任务利用一种用于对在训练硬件上被实施的神经网络进行训练的方法来被解决，该神经网络具有噪声参数，这些噪声参数是根据所提出的用于配置该神经网络的方法来被确定的。按照第三方面，该任务利用一种计算机程序来被解决，该计算机程序具有指令，在通过计算机来实施该计算机程序时，这些指令促使该计算机实施用于配置神经网络的方法。按照第四方面，该任务利用一种机器可读存储介质来被解决，在该机器可读存储介质上存储有该计算机程序。该方法的优选的扩展方案是从属权利要求的主题。该方法的一个有利的扩展方案的特点在于：使用至少一个对象类别，作为神经网络的输出数据。以这种方式，可以将神经网络的经简化的输出数据彼此进行比较，其中仅有对象类别加入对偏差的确定。由此支持了对神经网络的输出数据的比较的简单的方式和方法。该方法的另一有利的扩展方案的特点在于：使用神经网络的层的中间结果，作为神经网络的输出数据。以这种方式和方法，将神经网络的较复杂的输出数据彼此进行比较，其中以这种方式能够还更精确地查明神经网络的输出数据的偏差。结果是，由此可以还更好地实现神经网络有关位相同性方面的响应。该方法的另一有利的扩展方案的特点在于：输出数据之间的偏差被反向传播到在训练硬件上被实施的神经网络的层的噪声分布上。以这种方式，利用神经网络的噪声响应来对本身是一种黑箱（Blackbox）的推理硬件的响应进行建模。为了该目的，使用本身公知的反向传播方法。该方法的另一有利的扩展方案的特点在于：利用相同的参数或利用不同的参数来配置神经网络。由此，有利地支持了：还能更好地确定在训练硬件上的神经网络与在推理硬件上的神经网络的输出数据之间的偏差。该方法的另一有利的扩展方案的特点在于：被输送给训练硬件和被输送给推理硬件的图像数据被更改。以这种方式，也可以还更好地确定在训练硬件上的神经网络与在推理硬件上的神经网络的输出数据之间的偏差。附图说明在下文，本专利技术利用其它特征和优点依据多张附图详细地予以描述。在此，相同或功能相同的要素具有相同的附图标记。在附图中：图1示出了所提出的方法的工作原理的原理图；图2示出了在不应用本专利技术的情况下推理硬件的结果；图3示出了在应用本专利技术的情况下推理硬件的结果；以及图4示出了所提出的方法的实施方式的原理图。具体实施方式本专利技术的核心思想在于：对神经网络进行配置或整理，使得该神经网络可以鲁棒地被训练用于推理硬件。以这种方式，可以有利地补偿其技术细节常常未知或不完全知道的推理硬件的硬件/软件误差。以这种方式，可以有利地省去对推理硬件的精确的硬件特性的大规模检查。如果没有所提出的方法，则必须技术花费大地也在训练硬件上模拟推理硬件的响应。本专利技术使得能够针对专用嵌入式推理硬件来训练在训练硬件上的神经网络，该专用嵌入式推理硬件没有完全公开或尽管公开但是由于复杂程度高而严重推迟了在推理硬件上的技术研发活动，这例如可能由于硬件用户的资源有限所致。所提出的方法的一个重要优点在于：在对用于推理硬件的神经网络的训练开始之前，保证了所谈及的神经网络在推理硬件上的响应与在训练硬件上的响应相同。借此，也可以确保一定的安全性，而且借此才完全得到在推理硬件上被实施的神经网络的可用结果。在不限制一般性的情况下，推理硬件（例如以车辆的周围环境识别传感器、例如摄像机、激光雷达传感器、超声传感器、雷达传感器等等为形式）构造为仅仅部分公开或公知的硬件，其中可以读取各个层（英文layer）的输出（featuremaps（特征图））。在这种情况下，不能假定借助于推理硬件进行快速推理。此外，对于推理硬件来说，例如有16位可供权重和输出支配。定点格式、也就是说有多少位供整数和逗号部分支配并不重要，因为推理硬件影响全部的位并且由此误差被累积。图1示出了在阐述所提出的方法的工作原理的情况下的原理性系统图。可看出利用系统100的训练场景，该系统具有训练硬件10和推理硬件20（推理感知硬件，例如摄像机）。推理硬件20用于根据图像数据1来进行对象识别，并且例如可以构造为摄像机、激光雷达传感器、雷达传感器、超声传感器等等，这些周围环境识别传感器可以优选地建造在车辆（未示出）中。推理硬件20通常是片上系统（System-on-Chip，SoC），该片上系统具有有限的、也就是说经优化的面积、计算能力和电功耗。在此，在推理硬件20上例如使用与本文档来自技高网...

【技术保护点】
1.一种用于配置神经网络（11）的方法，所述方法具有如下步骤：/n- 将图像数据（1）输送给在训练硬件（10）上被实施的神经网络（11）；/n- 将所述图像数据（1）输送给在推理硬件（20）上被实施的神经网络（21）；/n- 确定所述训练硬件（10）的输出数据（12）与所述推理硬件（20）的输出数据（22）之间的偏差；并且/n- 确定所述神经网络（11）的噪声参数（R），使得在将所述图像数据（1）输送给在所述训练硬件（10）上被实施的神经网络（11）之后并且在将所述图像数据（1）输送给在所述推理硬件（20）上被实施的神经网络（21）之后，所述推理硬件（20）的输出数据（22）与所述训练硬件（10）的输出数据（12）位相同。/n

【技术特征摘要】
20191219 DE 102019220145.81.一种用于配置神经网络（11）的方法，所述方法具有如下步骤：
-将图像数据（1）输送给在训练硬件（10）上被实施的神经网络（11）；
-将所述图像数据（1）输送给在推理硬件（20）上被实施的神经网络（21）；
-确定所述训练硬件（10）的输出数据（12）与所述推理硬件（20）的输出数据（22）之间的偏差；并且
-确定所述神经网络（11）的噪声参数（R），使得在将所述图像数据（1）输送给在所述训练硬件（10）上被实施的神经网络（11）之后并且在将所述图像数据（1）输送给在所述推理硬件（20）上被实施的神经网络（21）之后，所述推理硬件（20）的输出数据（22）与所述训练硬件（10）的输出数据（12）位相同。


2.根据权利要求1所述的方法，其中使用至少一个对象类别，作为神经网络（11、21）的输出数据（12、21）。


3.根据权利要求1或2所述的方法，其中使用神经网络（11、21）的层的...

【专利技术属性】
技术研发人员：J·E·M·梅奈特，
申请(专利权)人：罗伯特·博世有限公司，
类型：发明
国别省市：德国;DE