【技术实现步骤摘要】
本公开总体上涉及用于计算机学习的系统和方法，其可以提供改进的计算机性能、特征和用途。更具体地，本公开涉及生成流模型合作学习的方法、设备、存储介质以及程序产品。
技术介绍
1、标准化流是一类生成模型，其通过一系列可逆和可微的映射变换简单的概率密度(如高斯分布)来构建复杂的分布。然而，为了确保闭式密度评估的良好性能，标准化流通常需要一系列变换的特殊设计，这通常会限制模型的表达能力。
2、基于能量的模型(energy-based model，ebm)定义了数据的非标准化概率密度函数，是负能量函数的指数。能量函数可以直接在数据域上定义，并为每个输入配置分配标量能量值，更低的能量值指示更可能的配置。然而，由于计算标准化常数时难以处理的积分，对数似然梯度的评估通常需要解决该难处理问题的方法，以从当前模型生成样本。但是，由于使用了深度网络参数化，对高度多模态能量函数的采样通常不是混合的。似然的估计梯度可能有所偏差，并且所得到的学习的ebm可能是无效模型，无法像预期的那样近似数据分布。
3、鉴于ebm的采样不是混合的，并且可能不是训练数据的有效ebm的方式，则需要不同的方法来产生良好的生成模型。
技术实现思路
1、本公开提供了计算机实现的方法、设备、存储介质以及程序产品。
2、根据本公开的一方面，提供了一种计算机实现的方法，包括：对标准化流神经网络的标准化流参数以及基于能量的模型ebm的基于能量的模型参数初始化；以及执行步骤集，直到达到停止条件，上述步骤集包括：
3、根据本公开的另一方面，提供了一种计算机实现的方法，包括：生成从分布中采样的初始信号集；通过使用包括标准化流参数的标准化流神经网络对流标准化来变换上述初始信号，以获得与上述初始信号集相对应的标准化流生成的信号集；对于上述标准化流生成的信号集的每个标准化流生成的信号，通过执行用上述标准化流生成的信号初始化的朗之万流来生成合成信号；通过将由上述朗之万流生成的上述合成信号处理为训练数据来更新上述标准化流神经网络的上述标准化流参数；以及使用生成的上述合成信号以及观测信号集，根据上述朗之万流中使用的模型的学习梯度来更新上述朗之万流。
4、根据本公开的另一方面，提供了一种电子设备，包括：至少一个处理器；以及与上述至少一个处理器通信连接的存储器；其中，上述存储器存储有可被上述至少一个处理器执行的指令，上述指令被上述至少一个处理器执行，以使上述至少一个处理器能够执行上述方法。
5、根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行上述方法。
6、根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现上述方法。
本文档来自技高网...【技术保护点】
1.一种计算机实现的方法，包括：
2.根据权利要求1所述的计算机实现的方法，其中，通过梯度上升来执行更新所述标准化流神经网络的所述标准化流参数。
3.根据权利要求1所述的计算机实现的方法，其中，所述通过使用包括所述合成信号集以及与所述合成信号集相对应的训练信号集的比较来更新所述基于能量的模型的所述基于能量的模型参数包括：
4.根据权利要求1所述的计算机实现的方法，其中，
5.根据权利要求1所述的计算机实现的方法，还包括：
6.根据权利要求3所述的计算机实现的方法，其中，所述停止条件包括已满足迭代次数、已满足处理时间、已满足数据处理量、已满足处理迭代次数或已满足一个或多个收敛条件。
7.根据权利要求1所述的计算机实现的方法，其中，所述马尔可夫链蒙特卡洛采样过程是具有朗之万流的有限数量的朗之万步骤的迭代过程。
8.一种计算机实现的方法，包括：
9.根据权利要求8所述的计算机实现的方法，其中，所述朗之万流的模型是基于能量的模型。
10.根据权利要求8所述的计算机实现的方法，其中，
11.根据权利要求10所述的计算机实现的方法，还包括：
12.根据权利要求8所述的计算机实现的方法，其中，所述朗之万流中使用的所述模型的所述学习梯度通过执行以下步骤来获得，包括：
13.根据权利要求8所述的计算机实现的方法，其中，
14.根据权利要求8所述的计算机实现的方法，其中，对标准化流神经网络进行预训练。
15.一种电子设备，包括：
16.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1-14中任一项所述的方法。
17.一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1-14中任一项所述的方法。
...【技术特征摘要】
1.一种计算机实现的方法，包括：
2.根据权利要求1所述的计算机实现的方法，其中，通过梯度上升来执行更新所述标准化流神经网络的所述标准化流参数。
3.根据权利要求1所述的计算机实现的方法，其中，所述通过使用包括所述合成信号集以及与所述合成信号集相对应的训练信号集的比较来更新所述基于能量的模型的所述基于能量的模型参数包括：
4.根据权利要求1所述的计算机实现的方法，其中，
5.根据权利要求1所述的计算机实现的方法，还包括：
6.根据权利要求3所述的计算机实现的方法，其中，所述停止条件包括已满足迭代次数、已满足处理时间、已满足数据处理量、已满足处理迭代次数或已满足一个或多个收敛条件。
7.根据权利要求1所述的计算机实现的方法，其中，所述马尔可夫链蒙特卡洛采样过程是具有朗之万流的有限数量的朗之万步骤的迭代过程。
8.一种计算机实现的方法，包括：
9.根据权利要...
【专利技术属性】
技术研发人员：谢建文，朱雅轩，李俊，李平，
申请(专利权)人：百度美国有限责任公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。