通过网络图的容量适配优化深度神经网络的架构制造技术

一种用于优化人工神经网络的网络架构的方法(100)，所述方法具有步骤：根据目标硬件确定(101)所述人工神经网络的所述网络架构的资源需求；对所述网络架构进行修剪(102)以得到经修剪的网络架构，其中所述经修剪的网络架构的资源需求小于所述网络架构的资源需求；将连接添加(103)到所述经修剪的网络架构以获得经扩展的网络架构。扩展的网络架构。扩展的网络架构。

【技术实现步骤摘要】
【国外来华专利技术】通过网络图的容量适配优化深度神经网络的架构

技术介绍

[0001]对于人工神经网络的工业应用，需要对人工神经网络的网络架构进行优化，以将其尽可能有利地引入到硬件产品。将其有利地引入到硬件产品在此被理解为是指与硬件产品上现有的资源、特别是计算资源相关联而要考虑的度量。
[0002]已知的用于优化网络架构的方法可以在术语“架构搜索”下找到。这些方法部分地使用机器学习方法，例如使用进化算法或强化学习。
[0003]此外已知可以通过网络修剪(英文：Network Pruning)支持架构搜索。

技术实现思路

[0004]在此背景下，本专利技术创造了一种用于优化人工神经网络的网络架构的方法。
[0005]人工神经网络在此可用于例如图像数据的分类。
[0006]例如，图像数据可以从检测到的传感器信号中导出。用于电磁波的传感器，例如视频、雷达和激光雷达传感器，被考虑作为传感器。
[0007]本专利技术基于的认识是：可以通过扩展网络架构来改进使用网络修剪的架构搜索。
[0008]这样做的原因是，评估结果为未(能)被(进一步)缩减的层指出：它们各自的容量太小。通过添加连接，可以扩展这些层以改善网络工作效率，即本质上改善结果的质量。
[0009]该方法包括以下步骤：
[0010]根据目标硬件确定人工神经网络的网络架构的资源需求。
[0011]对网络架构进行修剪以得到经修剪的网络架构，经修剪的网络架构的资源需求小于网络架构的资源需求。
[0012]本专利技术的特征特别在于添加网络连接的步骤。
[0013]在这种情况下，在添加步骤中，将至少一个连接添加到经修剪的网络架构以获得经扩展的网络架构。
[0014]本专利技术的方法具有的优点是：能够由此以简单的方式和方法为人工神经网络确定经优化的网络架构，其具有关于目标硬件所优化的资源需求。
[0015]在当前情况下，目标硬件应理解为如下硬件，在所述硬件上应执行具有经优化的网络架构的人工神经网络。这通常是比用于训练人工网络或优化网络架构的硬件明显更少计算能力的硬件。
[0016]当前，网络架构的修剪(英文：Pruning)可以被理解为意指用于修剪网络架构的常见方法。这尤其包括结构修剪和权重修剪或过滤。
[0017]在结构修剪的情况下，网络层的整个过滤器被省略，并且在网络层不再具有过滤器的极端情况下，整个层被移除。
[0018]当移除整个层时应考虑到：在移除之后仍然至少有一条路径通过网络从输入层到输出层。
[0019]裁剪权重时，过滤器的各个权重将被丢弃或设置为零。
[0020]修剪网络架构的另一个术语是“网络修剪(Network Pruning)”。
[0021]在当前，添加(英文：Growing(增长))连接可以理解为：向网络架构添加附加层。该层可包括：选择典型的过滤器，例如，用于对图像数据进行分类的过滤器。针对所述添加的另一个术语是“Network Growing(网络增长)”。
[0022]所述添加在此可以随机地或取决于内部或外部度量来进行。内部度量在此可以理解为可以从要优化的网络架构中直接导出的度量。外部度量在此可以理解为在不考虑要优化的网络架构的情况下可以导出的度量。
[0023]根据本专利技术的方法的一个实施方式，该方法包括在确定步骤之后根据训练数据训练网络架构的步骤。
[0024]根据本专利技术的方法的一个实施方式，该方法包括在添加连接的步骤之后的添加步骤，在该步骤中，在此将网络过滤器添加到经扩展的网络架构，使得所述经扩展的网络架构的资源需求符合网络架构的资源需求。
[0025]根据本专利技术的方法的一个实施方式，该方法包括最后的修剪步骤以获得经优化的网络架构。
[0026]该实施方式基于的认识在于：可以迭代地应用先前的实施方式。也就是说，经优化的网络架构可以被重新提供给该方法并进一步优化。
[0027]可以如此频繁地重复这种优化，直到达到针对优化度量的极限值。这样的度量可以是目标硬件上的相对的或绝对的资源消耗。也可以设想的是针对优化进步的极限值。当相对上一步骤的改进不再满足预给定度量时，可以终止优化。也可以设想的是预给定的迭代次数或预给定的资源消耗。在此，尤其是时间、电力/电流、计算能力等都可以视为资源。
[0028]与此相对地，根据最后所提出的实施方式的修剪步骤表示最终、即结束该方法的步骤。
[0029]本专利技术的另一方面是一种计算机程序，其被设置为执行根据本专利技术的方法。
[0030]本专利技术的另一方面是一种机器可读存储介质，其上存储根据本专利技术的计算机程序。
[0031]本专利技术的另一方面是一种装置，其被设置为执行根据本专利技术的方法。
附图说明
[0032]下面参考附图更详细地解释本专利技术的实施方式。在这些图中：
[0033]图1示出根据本专利技术的方法的一个实施方式的流程图；
[0034]图2示意性地示出了原始的和经优化的网络架构。
具体实施方式
[0035]图1示出了根据本专利技术的方法100的一个实施方式的流程图。
[0036]在步骤101中，人工神经网络的网络架构的资源需求根据目标硬件被确定。
[0037]网络架构的资源需求取决于应在其上执行该架构的目标硬件。可以表示至少一部分资源需求的参量是图像处理应用中要处理的像素数量，所述图像处理例如是图像数据的分类。
[0038]在步骤102中，对网络架构进行修剪以得到经修剪的网络架构，其中，经修剪的网络架构的资源需求小于所述网络架构的资源需求。
[0039]从现有技术中已经已知用于修剪(英文：Pruning)网络架构的各种方法。在深度学习(英文：Deep Learning)领域，通常使用基于层的(深度/多层)网络。在此，现有技术中已知的用于修剪网络架构的方法基于对网络部分的评估。在当前情况下，网络部分在此可以理解为基于层的人工神经网络中的网络层。
[0040]本专利技术因此基于以下认识：可以通过添加连接扩展自身评估结果导致这些层未(能)被(进一步)缩减的层以由此改善网络的工作效率，即本质上改善结果的质量。
[0041]因此，本专利技术的特征在于步骤103。在步骤103中，将至少一个连接添加到经修剪的网络架构以获得经扩展的网络架构。
[0042]在一种扩展实施方式的范畴内，除了添加至少一个连接之外，还可以在没有过滤器的情况下删除连接。
[0043]图2示意性地示出了原始的和经优化的网络架构。
[0044]有阴影的节点代表输入层(英文：Input Layer)，而被填满的节点则代表相应网络的输出层(英文：Output Layer)。在此，这些输入和输出层基本上由给定的输入和所期望的输出来设定。因此，优化主要在网络的其余(深)层中进行。
[0045]未填满的节点代表相应网络的(深)层(英文：Hidden Layer(隐藏层)。数字是相应层的资源点数，其代表资源消耗。
[本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种用于优化人工神经网络的网络架构、特别是用于分类特别是传感器数据的方法(100)，所述方法具有步骤：根据目标硬件确定(101)所述人工神经网络的所述网络架构的资源需求；对所述网络架构进行修剪(102)以得到经修剪的网络架构，其中所述经修剪的网络架构的资源需求小于所述网络架构的资源需求；将至少一个连接添加(103)到所述经修剪的网络架构以获得经扩展的网络架构。2.根据权利要求1所述的方法(100)，所述方法具有在所述确定(101)步骤之后根据训练数据训练所述网络架构的步骤。3.根据权利要求1或2所述的方法，所述方法包...

【专利技术属性】
技术研发人员：J，
申请(专利权)人：罗伯特，
类型：发明
国别省市：