【技术实现步骤摘要】
【国外来华专利技术】
本专利技术涉及一种用于在使用描述机器学习系统的大量可能架构的图的情况下创建机器学习系统的方法、一种计算机程序和一种机器可读存储介质。
技术介绍
1、尤其是用于神经网络的架构搜索的目标是在用于预先给定的数据集的性能特征数/度量的意义上全自动地找到尽可能好的网络架构。
2、为了使自动架构搜索变得计算高效，搜索空间中的不同架构可以共享其操作的权重，诸如在由pham，h.，guan，m.y.，zoph，b.，le，q.v.，&dean，j.(2018).efficient neuralarchitecture search via parameter sharing.arxiv preprint arxiv：1802.03268示出的一次性(one-shot)nas模型。
3、在此，一次性模型典型地被构造为有向图，其中节点表示数据，并且边表示操作，所述操作表示计算规则，所述计算规则将输入节点的数据转化成输出节点的数据。在此，搜索空间由一次性模型中的子图(例如路径)组成。由于一次性模型可能非常大，因此可以从一次性模型中提取各个架构用于训练，诸如由cai，h.，zhu，l.，&han，s.(2018).proxylessnas：direct neural architecture search on target task andhardware.arxiv preprint arxiv：1812.00332所示的。这典型地发生，其中提取从网络的所规定的输入节点到输出节点的单独路径，诸如由guo，z.
4、作者cai等人在其出版物proxylessnas：direct neural architecture searchon target task and hardware，online abrufbar：https：//arxiv.ore/abs/1812.00332中公开了考虑硬件特性的架构搜索。
5、专利技术优点
6、如上所描述的，从一次性模型中提取在输入节点和输出节点之间的路径。为此，为每个节点定义在发出的边上的概率分布。专利技术人提出概率分布的新颖的参数化，所述概率分布在已经提取的边之间的相关性方面比迄今使用的概率分布更有说服力。这种新颖的参数化的目的是将搜索空间中的不同决策点之间的相关性注入到概率分布中。例如，这样的决策可以是神经网络运行的选择(诸如在卷积和池化操作之间的决策)。从而例如可以学习诸如“两个卷积层应该由池化操作跟随”之类的一般性模式。迄今为止的概率分布只能学习简单的决策规则，诸如“应该在特定的决策点处选择特定的卷积”，因为所述概率分布使用架构分布的完全因子分解参数化。
7、概括而言，因此可以说本专利技术具有以下优点：可以通过所提出的概率分布参数化找到针对给定任务的更好架构。
技术实现思路
1、在第一方面中，本专利技术涉及一种用于创建机器学习系统的计算机实现的方法，所述机器学习系统优选地被使用来进行图像处理。
2、该方法至少包括以下步骤：提供有向图，所述有向图具有经由多个边和节点连接的至少一个输入和输出节点。该图、尤其是一次性模型描述包括机器学习系统的大量可能架构的超级模型。
3、之后是通过有向图、尤其是有向图的子图随机地提取(ziehen)多个路径，其中分别给所述边分配概率，所述概率表征以哪个概率提取相应的边。在此情况下特点是，根据相应路径的迄今为止提取的边的顺序确定所述概率。因此，通过有向图根据路径的直至其中的所提取的区段来确定要提取的可能的后续边的概率。迄今提取的区段可以被称为子路径，并且可以具有迄今为止提取的边，其中可以迭代地添加后续提取的边，直到输入节点与输出节点连接，即于是存在所提取的路径。优选地，还根据分配给相应的边的操作来确定概率。
4、应该注意的是，提取路径可以迭代地进行。因此，通过依次跟随地提取边来逐步创建路径，其中在路径的每个到达的节点处，可以从与该节点连接的可能的后续边中随机地根据其所分配的概率选择后续的边。
5、此外，应该注意的是，路径可以被理解为有向图的子图，所述子图具有有向图的边和节点的子集，并且其中子图将有向图的输入节点与输出节点连接。
6、随后训练与所提取的路径相对应的机器学习系统，其中在训练时，适配所述机器学习系统的参数以及尤其是路径的边的概率，使得优化成本函数。
7、之后是根据经适配的概率最后提取路径并且创建与所述路径相对应的机器学习系统。在最后的步骤中路径的最后提取可以随机地进行，或者有针对性地提取具有最高概率的边。
8、提出，函数根据迄今为止提取的边的顺序来确定边的概率，其中函数被参数化并且在训练时根据成本函数优化函数的参数化。给每个边优选地分配自身的函数，所述函数根据子路径的迄今为止提取的边的顺序来确定概率。
9、此外提出，给迄今为止提取的边和/或节点分配唯一编码，并且函数根据该编码来确定概率。为此，给每个边优选地分配唯一的索引。
10、此外提出，函数从接下来可以提取的边的集合中确定在可能的边上的概率分布。特别优选地，给每个节点分配自身的函数，其中函数对于将相应的节点与图的紧接着的相邻节点连接的所有边确定在这些边上的概率分布。
11、此外提出，函数是仿射变换或神经网络(诸如变换器)。
12、此外提出，所述仿射变换的参数化描述唯一编码的线性变换和移位。为了使线性变换变得更参数高效，线性变换可以是线性变换的所谓低秩逼近(low-rankapproximierung)。
13、此外提出，给每个节点分配神经网络用于确定概率并且神经网络的第一层的参数化在所有神经网络之间被共享。神经网络特别优选地共享除了最后的层的参数之外的所有参数。
14、此外提出，成本函数具有第一函数，所述第一函数鉴于其性能评价机器学习系统的效率，例如分割、对象识别等的精度，并且可选地具有第二函数，所述第二函数根据路径的长度和边的操作估计机器学习系统的等待时间。可替代地或附加地，第二函数还可以估计路径的计算机资源消耗。
15、优选地，所创建的机器学习系统是人工神经网络，所述人工神经网络可以被设立用于在图像中进行分割和对象探测。
16、此外提出，根据机器学习系统的输出来操控技术系统。该技术系统的示例在下面的附图描述中得以表明。
17、在其他方面中，本专利技术涉及被设立用于执行上述方法的计算机程序以及其上存储有该计算机程序的机器可读存储介质。
本文档来自技高网...【技术保护点】
1.一种用于创建机器学习系统的计算机实现的方法(20)，所述方法包括以下步骤：
2.根据权利要求1所述的方法，其中经参数化的函数根据所述路径的迄今为止提取的边的顺序来确定所述边的概率，其中在训练时鉴于成本函数适配所述函数的参数化(α)。
3.根据权利要求2所述的方法，其中给迄今为止提取的边和/或节点分配其顺序的唯一编码，并且所述函数根据该编码来确定所述概率。
4.根据权利要求2或3所述的方法，其中所述函数从接下来能提取的边的集合中确定在可能的边上的概率分布。
5.根据权利要求2至4所述的方法，其中所述函数是仿射变换或神经网络。
6.根据权利要求5和权利要求3所述的方法，其中所述仿射变换的参数化描述所述唯一编码的线性变换和移位，并且尤其是缩放由低秩逼近和根据边的数量的缩放组成。
7.根据权利要求5所述的方法，其中使用多个函数并且所述函数分别通过神经网络给出，其中所述神经网络的多个层的参数化在所有神经网络之间被共享。
8.一种计算机程序，所述计算机程序包括指令，所述指令被设立用于当在计算机上执行所述指
9.一种机器可读存储元件，其上储存有根据权利要求8所述的计算机程序。
10.一种设备，所述设备被设立用于执行根据权利要求1至7中任一项所述的方法。
...【技术特征摘要】
【国外来华专利技术】
1.一种用于创建机器学习系统的计算机实现的方法(20)，所述方法包括以下步骤：
2.根据权利要求1所述的方法，其中经参数化的函数根据所述路径的迄今为止提取的边的顺序来确定所述边的概率，其中在训练时鉴于成本函数适配所述函数的参数化(α)。
3.根据权利要求2所述的方法，其中给迄今为止提取的边和/或节点分配其顺序的唯一编码，并且所述函数根据该编码来确定所述概率。
4.根据权利要求2或3所述的方法，其中所述函数从接下来能提取的边的集合中确定在可能的边上的概率分布。
5.根据权利要求2至4所述的方法，其中所述函数是仿射变换或神经网络。
6.根据权利要求5...
【专利技术属性】
技术研发人员：B·S·斯塔夫勒，J·H·梅岑，
申请(专利权)人：罗伯特·博世有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。