使用具有可学习张量列诱导的先验的变分自动编码器的子集条件化制造技术

所提出的模型是一种具有用张量列进行参数化的可学习先验的变分自动编码器VAE

【技术实现步骤摘要】
【国外来华专利技术】使用具有可学习张量列诱导的先验的变分自动编码器的子集条件化
[0001]相关申请的交叉引用
[0002]本申请要求于2018年9月18日提交的题为“使用具有可学习张量列诱导的先验的变分自动编码器的子集条件化(SUBSET CONDITIONING USING VARIATIONAL AUTOENCODER WITH A LEARNABLE TENSOR TRAIN INDUCED PRIOR)”的美国专利申请第16/134,624号的优先权，其通过引用整体并入本文。

技术介绍

[0003]深度神经网络(DNN)是最近为复杂数据处理和人工智能(AI)创建的计算机系统架构。DNN是机器学习模型，其采用多于一个隐藏层的非线性计算单元来预测接收输入集合的输出。DNN可以出于各种目的以各种配置提供，并且将继续对其进行开发以改善性能和预测能力。
[0004]将是有利的是，具有一种用于使用一或多个DNN生成满足条件的对象的计算机方法，其中一些条件可以是已知的，并且其中一些条件可以不是已知的。

技术实现思路

[0005]在一些实施例中，提供了一种用于训练模型以生成对象的方法。所述方法可以包含以下步骤：提供模型，所述模型被配置为具有张量列的变分自动编码器；提供数据集，所述数据集具有对象的对象数据和所述对象的性质的性质数据；用所述模型的对象编码器处理所述数据集的所述对象数据以获得潜对象数据，其中所述潜对象数据包含具有平均值和方差的潜变量分布；从所获得的潜变量分布采样一或多个潜变量；处理所采样的具有限定对象性质的一或多个潜变量，以计算具有所述限定对象性质的所述样本的概率；通过对象解码器处理所采样的一或多个潜变量以获得重构对象；根据所述对象数据确定所述重构对象相较于原始对象的重构损失；根据具有所述限定对象性质的所述样本的概率计算库尔贝克
‑
莱布勒(Kullback
‑
Leibler)散度；使用所确定的重构损失和所计算的库尔贝克
‑
莱布勒散度计算相较于所述数据集的损失；进行梯度下降，直到所述重构对象足够代表所述原始对象并具有所述限定对象性质；获得经训练的模型，所述经训练的模型被配置为具有用所述张量列进行参数化的可学习先验的经训练的变分自动编码器；和提供所述经训练的模型。
[0006]在一些实施例中，所述方法可以进一步包含用增强学习进一步训练所述经训练的模型，其中所述增强学习产生具有限定特性的所述重构对象。在一些方面，所述用所述增强学习训练所述经训练的模型包含：丢弃所述对象编码器；固定除所述对象解码器的第一层以外的所述对象解码器的所有层的权重；进行以下步骤直到收敛：估计先前获得的潜变量分布的每个维度的平均值和方差，所述先前获得的潜变量分布限定为可学习先验；从所述编码器产生的所述潜变量之外获得每个维度的探索潜变量；将所述探索潜变量通过所述解码器，以基于所述探索潜变量获得重构对象；基于至少一个限定回报计算所述重构对象的
回报；和应用单个梯度上升步骤，以最大化相对于所学习的先验的参数和所述解码器的第一层的总回报。
[0007]在一些实施例中，一种生成具有期望性质的对象的方法可以包含：获得根据实施例中的一个的所述经训练的模型；标识期望对象性质；从以所述期望对象性质为条件的张量列分布获得潜代码；用所述解码器生成具有所述期望对象性质的所述对象；和提供具有所述期望对象性质的所述生成对象。
[0008]在一些实施例中，所述方法可以包含：基于所述潜代码和期望性质获得可学习先验，和/或将所述潜代码与对象性质进行纠缠来获得所述可学习先验；获得性质集合；在不处于所述期望性质集合中的性质集合上边缘化所述可学习先验；在所述期望性质集合中的性质上条件化所边缘化的可学习先验，以获得潜空间上的分布；从所述潜空间上的分布进行采样；和用解码器处理所采样的潜向量，以获得具有预定性质的生成对象。所述条件化可以包含改变潜变量上的分布以提供具有期望性质的对象。所述分布的所述变化可以通过以下公式完成：p(z|性质)＝p(z,性质)/p(性质)。
[0009]在一些实施例中，一种计算机程序产品可以包含非暂时性有形存储器装置，其具有计算机可执行指令，所述指令在由处理器执行时会导致方法的进行，所述方法包括：提供模型，所述模型被配置为具有张量列的变分自动编码器，提供数据集，所述数据集具有对象的对象数据和性质的性质数据；用所述模型的对象编码器处理所述数据集的所述对象数据以获得潜对象数据，其中所述潜对象数据包含具有平均值和方差的潜变量分布；从所获得的潜变量分布采样一或多个潜变量；处理所采样的具有限定对象性质的一或多个潜变量，以计算具有所述限定对象性质的所述样本的概率；通过对象解码器处理所采样的一或多个潜变量以获得重构对象；根据所述对象数据确定所述重构对象相较于原始对象的重构损失；根据具有所述限定对象性质的所述样本的概率计算库尔贝克
‑
莱布勒散度；使用所确定的重构损失和所计算的库尔贝克
‑
莱布勒散度计算相较于所述数据集的损失；进行梯度下降，直到所述重构对象足够代表所述原始对象并具有所述限定对象性质；获得经训练的模型，所述经训练的模型被配置为具有用张量列进行参数化的可学习先验的经训练的变分自动编码器；和提供所述经训练的模型。
[0010]在一些实施例中，由所述计算机程序产品进行的所执行的方法进一步包括用增强学习进一步训练所述经训练的模型，其中所述增强学习产生具有限定特性的所述重构对象，其中所述用所述增强学习训练所述经训练的模型包含：丢弃所述对象编码器；固定除所述对象解码器的第一层以外的所述对象解码器的所有层的权重；进行以下步骤直到收敛：从可学习先验估计先前获得的潜样本的每个维度的平均值和方差；从前一步骤获得的平均值和方差指定的所述分布之外获得每个维度的探索潜变量；将所述探索潜变量通过所述对象解码器，以基于所述探索潜变量获得重构对象；基于至少一个限定回报计算所述重构对象的回报；和应用单个梯度上升步骤，以最大化相对于所学习的先验的参数和所述解码器的第一层的总回报。
[0011]前述
技术实现思路
仅是说明性的，而并不旨在以任何方式进行限制。除了上述说明性方面、实施例和特征之外，通过参考附图和以下详细描述，另外的方面、实施例和特征将变得显而易见。
附图说明
[0012]结合附图，根据以下描述和所附权利要求书，本公开的前述和以下信息以及其它特征将变得更加完全明显。在理解了这些附图仅描绘根据本公开的几个实施例并且因此不应被认为是对其范围的限制之后，将通过使用附图以附加的特异性和细节来描述本公开。
[0013]图1包含VAE
‑
TTLP模型的架构的图示。
[0014]图2包含用于计算张量列建模分布下的潜变量集合的概率的图示。
[0015]图3A包含用于使用VAE
‑
TTLP模型的方案的流程图。
[0016]图3B包含描述了用于计算给定对象性质下的样本的概率的步骤的流程图。
[0017]图3C包含描述了用于计算对本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种用于训练模型以生成对象的方法，所述方法包括：提供模型，所述模型被配置为具有张量列诱导的可学习先验的变分自动编码器；提供数据集，所述数据集具有对象的对象数据和所述对象的性质的性质数据；用所述模型的对象编码器处理所述数据集的所述对象数据以获得潜对象数据，其中所述潜对象数据包含具有平均值和方差的潜变量分布；从所获得的潜变量分布采样一或多个潜变量；处理所采样的具有限定对象性质的一或多个潜变量，以计算具有所述限定对象性质的所述样本的概率；通过对象解码器处理所采样的一或多个潜变量以获得重构对象；根据所述对象数据确定所述重构对象相较于原始对象的重构损失；根据具有所述限定对象性质的所述样本的概率计算库尔贝克
‑
莱布勒散度；使用所确定的重构损失和所计算的库尔贝克
‑
莱布勒散度计算相较于所述数据集的损失；进行梯度下降，直到所述重构对象足够代表所述原始对象并具有所述限定对象性质；获得经训练的模型，所述经训练的模型被配置为具有用所述张量列进行参数化的可学习先验的经训练的变分自动编码器；和提供所述经训练的模型。2.根据权利要求1所述的方法，其进一步包括对于所述数据集中的多个对象：用所述对象编码器处理对象数据以获得潜变量分布；从所获得的潜变量分布采样一或多个潜变量；用解码器处理所采样的一或多个潜变量以获得所述重构对象；获得所采样的一或多个潜变量具有限定性质的概率的对数；计算所获得的潜变量分布的熵；计算所述概率对数的对数，以获得所获得的对数概率；用所述熵减去所获得的对数概率，以获得所述库尔贝克
‑
莱布勒散度的近似值；用所述概率的对数减去所述库尔贝克
‑
莱布勒散度的近似值；和获得变分干扰的估计下限目标。3.根据权利要求2所述的方法，其进一步包括：首先，计算所述数据集的所有对象上的所有估计下限目标的平均值；和其次，进行所述梯度下降。4.根据权利要求1所述的方法，其进一步包括：为所述对象限定一或多个条件；和允许所述对象的一或多个未限定条件具有任意初始值。5.根据权利要求1所述的方法，其中所述计算具有所述限定对象性质的所述样本的概率包含：用张量列分布计算所述对象的对象性质的概率；用张量列分布计算对象性质和所述潜代码的概率；和通过条件概率公式计算以对象性质为条件的所述潜代码的概率。6.根据权利要求1所述的方法，其中所述用张量列分布计算对象性质和所述潜代码的
概率包含：将缓冲区设置为单位(眼)矩阵；确定所述对象性质是离散的还是连续的或未限定的；当所述对象性质是离散的时，沿中间指数计算与onehot(y
j
)的点积，其中y
j
是所述对象性质；当所述对象性质是连续的时，沿中间指数计算与[N(y
j
|mu
i
,std
i
)，针对所有i]的点积，其中mu
i
是i的平均值，并且std
i
是沿第j个潜分量的混合的第i个正态分量的标准偏差；当缺少所述对象性质时，沿所述中间指数计算与(1,1,
…
,1)的点积(进行边缘化)，根据所获得的矩阵，得出与所述缓冲区的所述点积以获得新缓冲区；和如果处理了所有分量，则计算新缓冲区的迹并将所述迹设置为(y1,
…
,y
n
)的概率。7.根据权利要求1所述的方法，其进一步包括用增强学习进一步训练所述经训练的模型，其中所述增强学习产生具有限定特性的所述重构对象。8.根据权利要求7所述的方法，其中所述用所述增强学习训练所述经训练的模型包含：丢弃所述对象编码器；固定除所述对象解码器的第一层以外的所述对象解码器的所有层的权重；进行以下步骤直到收敛：估计先前获得的潜变量分布的每个维度的平均值和方差，所述先前获得的潜变量分布限定为可学习先验；从可学习先验产生的所述潜变量之外获得每个维度的探索潜变量；将所述探索潜变量通过所述解码器，以基于所述探索潜变量获得重构对象；基于至少一个限定回报计算所述重构对象的回报；和应用单个梯度上升步骤，以最大化相对于所学习的先验的参数和所述解码器的第一层的总回报。9.根据权利要求8所述的方法，当所述对象是分子时，所述回报包含：一般生物活性自组织科霍宁映射，其为作为具有生物途径中的生物活性的分子的重构对象提供回报；特定生物活性自组织科霍宁映射，其为作为与特定生物物质具有生物活性的分子的重构对象提供回报；和趋势自组织科霍宁映射，其为作为具有在限定时间框架内退化的化学基序的分子的重构对象提供回报。10.根据权利要求9所述的方法，其中：其中所述一般生物活性自组织科霍宁映射，其为作...

【专利技术属性】
技术研发人员：A，
申请(专利权)人：英科智能有限公司，
类型：发明
国别省市：