具有标准化流的机器可学习系统技术方案

具有标准化流的机器可学习系统。一些实施例针对机器可学习系统（110）。条件标准化流函数以条件作用数据（c）为条件将潜在表示（z）映射到基础空间（E）中的基础点（）。条件标准化流函数是机器可学习函数，并且在训练对的集合上被训练。的集合上被训练。的集合上被训练。

【技术实现步骤摘要】
具有标准化流的机器可学习系统


[0001]本专利技术涉及机器可学习系统、机器可学习数据生成系统、机器学习方法、机器可学习数据生成方法以及计算机可读介质。

技术介绍

[0002]根据学习的分布生成数据在各种机器学习系统的开发期间发挥关键作用。例如，可以生成如同先前已经使用传感器测量的数据那样的数据。例如，这样的数据可以用于训练或测试另外的设备，可能是另外的机器学习设备。例如，包括街道传感器数据的给定的传感器数据例如从图像传感器或从激光雷达（lidar）可能以多个图像（例如，视频）的形式而可以是可用的，可以期望的是生成更多的这种数据。例如，包括比如交通参与者或道路标志等的图像数据库可以可用于测试或训练另一个设备（例如自主车辆），生成如已知交通参与者或道路标志等的另外的图像可以是合期望的。
[0003]同样，预测环境中代理或交互代理的未来状态是对于自主代理成功操作而言的关键能力。例如，在许多情景中，这可以被认为是一个生成问题或生成问题的序列。在如真实世界交通场景之类的复杂环境中，未来是高度不确定的，并且因此需求例如以一对多映射的形式的结构化的生成。例如，通过预测世界的可能的未来状态。
[0004]在Kihyuk Sohn的“Learning Structured Output Representation using Deep Conditional Generative Models”中，描述了条件变分自动编码器（CVAE）。CVAE是用于使用高斯潜在变量的输出生成的条件生成模型。该模型在随机梯度变分贝叶斯框架中被训练，并且允许使用随机前馈推理的生成。
[0005]CVAE可以通过使用潜在变量集合对未来状态的分布进行因式分解来对复杂的多模态分布进行建模，所述潜在变量然后被映射到可能的未来状态。尽管CVAE是可以在不确定性下对世界的未来状态成功建模的通用类的模型，但它被发现具有缺点。例如：CVAE倾向于过度正则化，模型发现难以捕获多模态分布，并且观察到潜在变量失效（collapse）。
[0006]在后验失效的情况下，条件解码网络忘记条件概率分布的低强度模式。这可能导致单模态生成和概率分布的不良学习。例如，在交通参与者生成中，对应于不太可能的事件（诸如行人进入/穿过街道）的条件概率分布的模式看起来根本没有被生成。

技术实现思路

[0007]具有用于数据生成的改进系统和对应的训练系统将是有利的。本专利技术由独立权利要求限定；从属权利要求限定有利的实施例。
[0008]在实施例中，一种机器可学习系统被配置用于将目标空间中的数据生成目标映射到潜在空间中的潜在表示的编码器函数、将潜在空间中的潜在表示映射到目标空间中的目标表示的解码器函数、以及以条件作用数据为条件将潜在表示映射到基础空间中的基础点的标准化流函数。
[0009]编码器函数和解码器函数被布置成生成至少对概率分布的均值进行定义的参数，
通过对具有生成的均值的所定义的概率分布进行采样来确定编码器函数和解码器函数的函数输出，其中由编码器函数定义的概率分布具有预定方差。
[0010]VAE和CVAE模型假设潜在变量上的标准高斯先验。发现该先验在生成品质、CVAE要过度正则化的趋势、其在捕获多模态分布中的困难以及潜在变量失效中发挥作用。
[0011]在实施例中，使用具有灵活先验的变分自动编码器来对概率分布进行建模。这至少改进这些问题中的一些，例如CVAE的后验失效问题。此外，强迫编码器/解码器部分中的编码器部分以具有固定的方差被发现在实验中大幅地改进了学习。
[0012]具有基于流的先验的机器可学习系统可以用于学习诸如从传感器读数获得的图像、音频、视频或其他数据之类的任意数据的概率分布。用于学习生成模型的应用包括但不限于交通参与者轨迹生成、生成分类器和例如用于训练数据或验证目的的合成数据生成。
[0013]在实施例中，标准化流函数包括多个可逆标准化流子函数的序列，多个可逆标准化流子函数的一个或多个参数由神经网络生成。特别地，发现针对一个或多个子函数使用非线性标准化流子函数改进了学习例如具有一个或多个模式、特别是次模式（minor mode）的潜在空间上的困难概率分布的能力。
[0014]另外的方面涉及一种机器可学习生成系统，其被配置为例如通过如下进行生成：获得基础空间中的基础点，以条件数据为条件将逆条件标准化流函数应用于基础点以获得潜在表示，以及将解码器函数应用于潜在表示以获得生成目标。
[0015]在实施例中，机器可学习生成系统包括在自主设备控制器中。例如，条件作用数据可以包括自主设备的传感器数据。机器可学习生成系统可以被配置为对传感器数据中的对象进行分类和/或预测未来的传感器数据。自主设备控制器可以被配置用于取决于分类进行决策。例如，自主设备控制器可以被配置和/或包括在例如汽车的自主车辆中。例如，自主设备控制器可以用于对其他交通参与者进行分类和/或预测其未来行为。自主设备控制器可以被配置为例如在另一个交通参与者的未来轨迹与自主设备的轨迹交叉的情况下使自主设备的控制适应。
[0016]机器可学习系统和机器可学习生成系统是电子的。所述系统可以包括在例如技术系统之类的另一个物理设备或系统中，以用于控制该物理设备或系统，例如控制其移动。机器可学习系统和机器可学习生成系统可以是设备。
[0017]另外的方面是机器学习方法和机器可学习生成方法。所述方法的实施例可以作为计算机实现的方法在计算机上实现，或者在专用硬件中实现，或者在两者的组合中实现。用于所述方法的实施例的可执行代码可以存储在计算机程序产品上。计算机程序产品的示例包括存储器设备、光学存储设备、集成电路、服务器、在线软件等。优选地，计算机程序产品包括存储在计算机可读介质上的非暂时性程序代码，以用于当所述程序产品在计算机上执行时执行所述方法的实施例。
[0018]在实施例中，一种计算机程序包括计算机程序代码，所述计算机程序代码适应于当计算机程序在计算机上运行时，执行所述方法的实施例的全部或部分步骤。优选地，所述计算机程序体现在计算机可读介质上。
[0019]另一方面是一种使计算机程序可用于下载的方法。当计算机程序被上传到例如苹果的应用商店、谷歌的游戏商店或微软的Windows商店时，以及当计算机程序可用于从这样的商店下载时，使用该方面。
附图说明
[0020]将参考附图仅通过示例的方式描述另外的细节、方面和实施例。各图中的元素是为了简单和清楚而图示的，并且不一定是按比例绘制的。在各图中，与已经描述的元素相对应的元素可以具有相同的参考标号。在附图中，图1a示意性地示出了机器可学习系统的实施例的示例，图1b示意性地示出了机器可学习系统的实施例的示例，图1c示意性地示出了机器可学习数据生成系统的实施例的示例，图1d示意性地示出了机器可学习数据生成系统的实施例的示例，图2a示意性地示出了机器可学习系统的实施例的示例，图2b示意性地示出了机器可学习系统的实施例的示例，图2c示意性地示出了机器可学习系统的实施例的示例，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种机器可学习系统，所述系统包括-训练存储装置，其包括训练目标数据（x）的集合，-处理器系统，其被配置用于-编码器函数，其将目标空间（X）中的目标数据（x）映射到潜在空间（Z）中的潜在表示（），-解码器函数，其将潜在空间（Z）中的潜在表示（z）映射到目标空间（X）中的目标数据表示（），其中编码器函数和解码器函数被布置成生成至少对概率分布的均值进行定义的参数，通过对具有生成的均值的所定义的概率分布进行采样来确定编码器函数和解码器函数的函数输出，其中由编码器函数定义的概率分布具有预定方差，-标准化流函数，其将潜在表示（z）映射到基础空间（E）中的基础点（），编码器函数、解码器函数和标准化流函数是机器可学习函数，标准化流函数是可逆的，处理器系统进一步被配置为-在训练目标数据的集合上训练编码器函数、解码器函数和标准化流，所述训练包括最小化编码器函数和解码器函数的级联的重建损失，并且最小化在基础空间上的预定概率分布与应用于训练目标数据的集合的编码器和标准化流函数的级联之间的差异。2.如权利要求1中所述的机器可学习系统，其中目标数据包括传感器数据。3.如前述权利要求中任一项中所述的机器可学习系统，其中编码器函数和解码器函数定义高斯概率分布。4.如前述权利要求中任一项中所述的机器可学习系统，其中解码器函数生成均值和方差，所述均值和方差是可学习参数。5.如前述权利要求中任一项中所述的机器可学习系统，其中所述训练包括最大化证据下界（ELBO），证据下界（ELBO）是针对训练目标数据（x）的概率（）的下界，ELBO被定义为其中，是概率分布和的库尔贝克-莱布勒（Kullback-Leibler）散度，概率分布由基础分布和标准化流定义。6.如前述权利要求中任一项中所述的机器可学习系统，其中标准化流是条件标准化流函数，其以条件作用数据（c）为条件将潜在表示（z）映射到基础空间（E）中的基础点（）。7.如权利要求6中所述的机器可学习系统，其中-训练对中的条件作用数据（c）包括交通参与者的过去轨迹信息，并且其中生成目标（x）包括交通参与者的未来轨迹信息，或者-训练对中的条件作用数据（c）包括传感器信息，并且其中生成目标（x）包括分类。8.如前述权利要求中任一项中所述的机器可学习系统，其中标准化流函数或条件标准化流函数包括多个可逆标准化流子函数的序列，所述多个可逆标准化流子函数的一个或多个参数由神经网络生成（例如；；；；；
）。9.如前述权利要求中任一项中所述的机器可学习系统，其中标准化流子函数中的一个或多个是非线性的（例如或多个是非线性的（例如；；）。10.一种机器可学习数据生成系统，所述系统包括-处理器系统，其被配置用于-逆标准化流函数，其将基础点（e）映射到潜在空间（Z）中的潜在表示（），和-解码器函数，其将潜在空间（Z）中的潜在表示（z）映射到目标空间（X）中的目标数据表示...

【专利技术属性】
技术研发人员：A，
申请(专利权)人：罗伯特，
类型：发明
国别省市：