用于创建机器学习系统的方法和设备技术方案

用于创建机器学习系统的方法和设备。本发明专利技术涉及一种用于创建机器学习系统的方法，所述方法包括以下步骤：提供具有输入节点和输出节点的有向图，其中给每个边分别分配概率，所述概率表征以何种概率抽取边。概率最初被设置为一个值，使得从相应边出发直至输出节点的路径以相同的概率被抽取。以相同的概率被抽取。以相同的概率被抽取。

【技术实现步骤摘要】
用于创建机器学习系统的方法和设备


[0001]本专利技术涉及一种用于在使用具有最初相同概率路径的架构模型、尤其是“单次模型（One
‑
shot Modell）”的情况下创建机器学习系统的方法、计算机程序和机器可读存储介质。

技术介绍

[0002]用于神经网络的架构搜索的目标是为预给定的数据记录在性能指标/量度的意义上全自动地找到好的网络架构。
[0003]为了使自动架构搜索变得计算高效，在搜索空间中不同的架构可以共享其运算的权重，如例如在通过Pham, H., Guan, M. Y., Zoph, B., Le, Q. V., & Dean, J. (2018). Efficient neural architecture search via parameter sharing. arXiv preprint arXiv:1802.03268所示的单次NAS模型情况下那样。
[0004]在此，单次模型典型地被构造为有向图，其中节点表示数据，并且边表示运算，所述运算表示将边的输入节点转变为输出节点的计算准则。在此，搜索空间由单次模型中的子图（例如路径）组成。由于单次模型可能非常大，因此可以从单次模型中抽取（ziehen）单个架构用于训练，如例如通过Cai, H., Zhu, L., & Han, S. (2018). Proxylessnas: Direct neural architecture search on target task and hardware. arXiv preprint arXiv:1812.00332所示的那样。这典型地发生，其中抽取从规定的输入节点到网络的输出节点的单个路径，如例如通过Guo, Z., Zhang, X., Mu, H., Heng, W., Liu, Z., Wei, Y., & Sun, J. (2019). Single path one
‑
shot neural architecture search with uniform sampling. arXiv preprint arXiv:1904.00420所示的那样。
[0005]在此，在节点的发出边上的概率分布典型地被定义，并且对于所有边利用等概率被初始化，如例如通过Guo 等人（2019）所示的那样。

技术实现思路

[0006]专利技术优点如上所述，从单次模型中抽取在输入节点和输出节点之间的路径。为此，为每个节点定义在发出边上的概率分布。专利技术人提出：并非对每个边都相同地选择发出边的概率，而是使得通过单次模型每个可能的路径都具有相同的概率。因此可以说边的概率分布被初始化为使得从输入节点到输出节点的所有路径都具有用于被抽取的相同概率。
[0007]本专利技术允许在无对各个路径的隐性偏好的情况下从单次模型中抽取路径。由此，搜索空间的所有架构最初相同频繁地被抽取，并且搜索空间公平地被探索。这具有以下优点：最终可以找到更优越的架构，所述更优越的架构在通常对边进行初始化时不会被找到。
[0008]专利技术的公开在第一方面中，本专利技术涉及一种用于创建机器学习系统的计算机实现的方法，所述机器学习系统可以优选地被用于进行图像处理。
[0009]所述方法至少包括以下步骤：提供具有输入节点和输出节点的有向图，所述输入节点和输出节点经由多个边和节点连接。给每个边分别分配概率，所述概率表征以何种概率从节点的所有发出边中抽取边。概率最初被设置为一个值，使得从输入节点出发直至输出节点的每个路径都以相同的概率被抽取。接下来是随机地抽取通过图的多个路径，并且对与路径相对应的机器学习系统进行训练。在训练时，对机器学习系统的参数和路径的边的概率进行适配，使得优化成本函数。
[0010]接着是根据经适配的概率抽取路径。优选地，在这里选择具有最高概率的路径。路径的概率由其所有边的概率的乘积给出。然后是创建与该路径相对应的所属机器学习系统。
[0011]可替代地，可以在最后的步骤中，尤其是在结束了成本函数的优化之后随机地进行路径抽取，或者可以有针对性地跟随具有最高概率的直至输出节点的边，用以获得路径。
[0012]此外提出，在抽取路径时，迭代地创建路径，其中在每个节点处随机地从与该节点连接的可能后续边中根据其所分配的概率选择后续边。
[0013]机器学习系统优选地是人工神经网络，所述人工神经网络可以被设立用于在图像中进行分段和对象探测。
[0014]在本专利技术的另一方面中提出，对机器学习系统进行训练，以便根据传感器的所检测的传感器参量确定输出参量，所述输出参量接着可以被用于借助于控制单元确定控制参量。在此，机器学习系统已经可以被训练用于对象探测，并且然后可以根据所探测的对象借助于机器学习系统确定控制参量。
[0015]控制参量可以被用于控制技术系统的执行器。技术系统例如可以是至少部分自主的机器、至少部分自主的车辆、机器人、工具、工厂机器或飞行物、例如无人机。例如，输入参量可以根据所检测的传感器数据被确定并且被提供给机器学习系统。传感器数据可以由技术系统的传感器、诸如摄像机检测，或者可替代地从外部接收。
[0016]在其他方面中，本专利技术涉及一种被设立用于执行上述方法的计算机程序以及一种其上存储有该计算机程序的机器可读存储介质。
附图说明
[0017]下面参考附图更详细地阐述本专利技术的实施方式。在附图中：图1示意性地示出具有标准初始化的有向无环多重图；图2示出用于对边进行初始化的流程图的示意图；图3示出执行器控制系统的示意图；图4示出用于控制至少部分自主的机器人的实施例；图5示意性地示出用于控制生产系统的实施例；图6示意性地示出用于控制访问系统的实施例；图7示意性地示出用于控制监控系统的实施例；图8示意性地示出用于控制个人助理的实施例；图9示意性地示出用于控制医学成像系统的实施例；图10示出训练设备的可能结构。
具体实施方式
[0018]为了为预给定的数据记录找到深度神经网络的良好架构，可以应用用于进行架构搜索的自动方法、即所谓的神经架构搜索方法。为此，明确或隐性地定义神经网络的可能架构的搜索空间。
[0019]下面，为了描述搜索空间应该说明术语运算，这描述将一个或多个n维输入数据传感器转化成一个或多个输出数据传感器的计算准则并且在此可以具有适应性参数。在图像处理中例如经常使用具有不同内核大小和不同类型的卷积（规则卷积、深度可分卷积）和池化运算的卷积作为运算。
[0020]此外，在下面应该定义计算图（所谓的单次模型），所述计算图包含搜索空间中的所有架构作为子图。由于单次模型可能非常大，因此可以从单次模型中抽取单个架构用于训练。这典型地发生，其中从网络的规定的输入节点到规定的输出节点的各个路径被抽取。
[0021]在最简单的情况下，当计算图由一连串节点组成时，其中所述节点分别可以经由不同的运算连接，对于分别两个相继的节点抽取连接所述节点的运算就足够了。本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于创建机器学习系统的计算机实现的方法，所述方法包括以下步骤：提供具有输入节点和输出节点的有向图（11），所述输入节点和输出节点经由多个边（100）和节点连接，其中给每个边分别分配概率，所述概率表征以何种概率抽取相应的边，其中所述概率最初被设置为一个值，使得从相应的边出发直至输出节点的路径以相同的概率被抽取；随机地抽取通过所述图的多个路径并且对与路径相对应的机器学习系统进行训练，以及其中在训练时，对所述机器学习系统的参数和所述路径的边的概率进行适配，使得优化成本函数；和根据经适配的概率来抽取路径并且创建与该路径相对应的机器学习系统。2.根据权利要求1所述的方法，其特征在于，从所选择的节点出发，对直至输出节点的所有可能的路径进行计数，其中从所选择的节点出发连接的那些边的概率的值分别最初被设置为经由那些边伸...

【专利技术属性】
技术研发人员：B，
申请(专利权)人：罗伯特，
类型：发明
国别省市：