一种变分自编码混合模型制造技术

技术编号:18238301 阅读:54 留言:0更新日期:2018-06-17 01:48
本发明专利技术涉及一种变分自编码混合模型,其主要技术特点是:由K个变分自编码模型组成,其中每个变分自编码模型由K维的二值随机隐变量指示,每个变分自编码模型的概率解码模型及概率编码模型均由单隐层神经网络组成,指示隐变量的后验概率分布由基于截棍的神经网络组成。本发明专利技术设计合理,其采用自编码混合模型估计隐变量和样本之间的关系,能够提高模型生成样本的能力,基于隐变量学习混合生成模型的权重,能够保证对隐变量抽样的简便,并且在抽样生成样本时可以由隐变量自主确定最佳的生成模型,同时,本发明专利技术有效地扩展了隐变量空间即概率编码空间,提高了模型表示的精度。 1

A variational self coding hybrid model

The present invention relates to a variational self coding hybrid model. Its main technical feature is that it consists of K variational self coding model, in which each variable self encoding model is indicated by two value random hidden variables in K dimension. The probability decoding model and the probability coding model of each variational self coding model are composed of a single hidden layer neural network. The posterior probability distribution of hidden variables is composed of truncated neural networks. The design of the invention is reasonable. It uses the self coding hybrid model to estimate the relationship between the hidden variables and the samples. It can improve the ability of the model to generate the sample, and learn the weight of the mixed generation model based on the hidden variables. It can guarantee the convenience of the sampling of the hidden variables, and can determine the best of the hidden variables independently when sampling the sample generation. At the same time, the invention effectively extends the hidden variable space, that is, the probability coding space, and improves the accuracy of the model representation. One

【技术实现步骤摘要】
一种变分自编码混合模型
本专利技术属于机器学习
,尤其是一种变分自编码混合模型。
技术介绍
变分自编码(VariationalAutoencoders,VAEs)是一类重要的表示模型,通过变分方法来近似求解生成模型(概率解码)和识别模型(概率编码)。令X={x1,x2,…,xN}表示N个独立同分布样本组成的集合。变量x=[x1,x2,...,xd]T是一个d维向量,可以是离散变量或连续变量。VAEs模型假设数据x是由条件分布pθ(x|z)生成,其中z是连续隐变量,其先验分布为pθ(z),θ表示模型参数。此时的学习任务是通过计算边缘似然pθ(x)及隐变量z的后验分布pθ(z|x)求解模型参数,即:pθ(x)=∫zpθ(x|z)pθ(z)dz(1)计算边缘似然及后验分布是难解的,变分自编码通过引入自由分布qφ(z|x)用于近似后验概率分布pθ(z|x),将变量求积分问题转化为关于自由分布qφ(z|x)的优化问题LVAEs(x,θ,φ),通过近似求解该优化问题计算目标函数,即:在变分自编码模型中,条件分布pθ(x|z)称为生成模型或概率解码,自由分布qφ(z|x)称为识别模型或概率编码。具体地,qφ(z|x)=N(z;μφ(x),Σφ(x)),其中fθ(z),μφ(x)和Σφ(x)由单隐层神经网络构成。采用随机梯度下降方法求解优化问题(3)学习变分自编码模型参数{θ,φ}。2014年KarolGregor等人在“DeepAutoRegressiveNetworks”中把自回归网络概念用在自编码器中,用自回归网络构建一种更为复杂的自编码网络,可以准确地拟合样本的潜在的分布规律。2016年,DaniloJimenezRezende在“VariationalInferencewithNormalizingFlows”中用标准流的概念把变分自编码模型中隐变量的后验概率分布复杂化,得到一种可扩展性更高的分布。虽然自回归自编码器和标准流自编码器这两种模型都使得变分推理的边缘似然提高,但是这两种方式打乱了不同类别样本的隐变量在特征空间中的分布,对隐变量随机抽样后生成的样本也无分布规律。2017年,SerenaYeung提出“EpitomicVariationalAutoencoder,eVAE”,Serena分析了变分自编码模型的中间隐层,并发现在自编码模型中一些中间隐层节点对大多样本都是不活跃的,同时该隐节点的值对不同的样本变化不明显,方差较小。基于这一点,eVAE将中间隐层的节点分为多组,每个样本对应一组中间隐层节点,其他组节点将被隐藏,并且在模型中加入一个隐变量,用来指定样本对应的中间隐层节点的组别。如何将变分自编码模型与隐变量有效地结合在一起,因此,该模型的精度、空间仍然存在一些问题。
技术实现思路
本专利技术的目的在于克服现有技术的不足,提出一种设计合理、精度高且有效扩充隐变量空间的变分自编码混合模型。本专利技术解决其技术问题是采取以下技术方案实现的:一种变分自编码混合模型由K个变分自编码模型组成,每个变分自编码模型由K维的二值随机隐变量指示,每个变分自编码模型的概率解码模型及概率编码模型均由单隐层神经网络组成,指示隐变量的后验概率分布由基于截棍的神经网络组成。所述每个变分自编码模型表示如下:令{θ1,θ2,...,θK}表示各分布分量的参数,π=[π1,π2,...,πK]表示各分布分量的权重,且K维的二值指示隐变量c=[c1,c2,…,cK]T,满足ck∈{0,1}且则πk=p(ck=1)是第k个模型的权重,变分自编码混合模型中指示隐变量概率分布p(c|π)及生成数据的条件概率分布p(x|z,c)分别为:变分自编码混合模型的联合概率分布形式为:p(x,z,c)=p(x|z,c)p(z)p(c|π)。所述单隐层神经网络的条件分布pθ(x|z)为:y=fσ(W2tanh(W1z+b1)+b2)其中,W3,b3表示单隐层神经网络输入层的权重和偏置,W4,b4,W5,b5表示单隐层神经网络输出层的权重和偏置,故参数φ={W3,W4,W5,b3,b4,b5}。对于连续隐变量z,基于单隐层神经网络的条件分布qφ(z|x)为:logqφ(z|x)=logN(z;μ,δ2I)μ=W4h+b4logδ2=W5h+b5h=tanh(W3z+b3)其中,W3,b3表示概率编码中单隐层神经网络输入层的权重和偏置,W4,b4,W5,b5表示单隐层神经网络输出层的权重和偏置,故参数φ={W3,W4,W5,b3,b4,b5}。所述指示隐变量的后验概率分布表示如下:对于隐变量π,采用单层神经网络学习后验qη(π|z):α=tanh(W7(W6z+b6)+b7)其中,W6,b6表示单隐层神经网络输入层的权重和偏置,W7,b7表示单隐层神经网络输出层的权重和偏置,故参数η={W7,W8,b7,b8}。所述变分自编码混合模型包括概率解码模型的模型参数、概率编码模型的模型参数及指示隐变量后验概率分布的模型参数,上述参数采用梯度下降方法优化目标函数计算得到。本专利技术的优点和积极效果是:本专利技术设计合理,其采用自编码混合模型估计隐变量和样本之间的关系,能够提高模型生成样本的能力,同时基于隐变量学习混合生成模型的权重,能够保证对隐变量抽样的简便,并且在抽样生成样本时可以由隐变量自主确定最佳的生成模型,本专利技术有效地扩展了隐变量空间即概率编码空间,提高了模型表示的精度,同时可有有效地生成样本。附图说明图1为变分自编码混合模型图模型结构图;图2为MNIST手写字体数据集图;图3采用MNIST数据集训练变分自编码混合模型过程中,变分下界的收敛过程图;图4为采用MNIST数据集训练变分自编码混合模型后生成新的手写字体样本;图5为采用MNIST数据集训练变分自编码混合模型后,隐变量空间均匀采样生成的手写字体。具体实施方式以下结合附图对本专利技术实施例做进一步详述。一种变分自编码混合模型,如图1所示,是由K个变分自编码模型组成混合模型,令{θ1,θ2,...,θK}表示各分布分量的参数,π=[π1,π2,...,πK]表示各分布分量的权重,且引入K维的二值随机隐变量c=[c1,c2,…,cK]T,满足ck∈{0,1}且则πk=p(ck=1)是第k个模型的权重。变分自编码混合模型的概率分布形式为:变分自编码混合模型下联合概率分布形式为:p(x,z,c)=p(x|z,c)p(z)p(c|π)(6)计算隐变量c和z的后验概率分布p(z|x)和p(c|x)是难解的,根据变分近似推理方法,引入自由分布qφ(z|x)和qη(c|x),将变量积分问题转化为优化问题,具体推导过程如下:因此,变分自编码混合模型中的变分优化问题为:变分自编码混合模型上的学习任务是通过求解变分优化问题(8),学习变分自编码模型参数{θ,φ,η}。变分自编码混合模型的图模型表示形式如。针对变分自编码混合模型,概率解码模型(或生成模型)pθ(x|z)和概率编码模型(或识别模型)qφ(z|x)由单隐层神经网络构成。具体的,当向量x是离散向量时,基于单隐层神经网络的条件分布pθ(x|z)为:y=fσ(W2tanh(W1z+b1)+b2)其中,W1,b1表示概率解码中单隐层神经网络输入层的权重和偏置,W2,b2表示单本文档来自技高网
...
一种变分自编码混合模型

【技术保护点】
1.一种变分自编码混合模型,其特征在于:由K个变分自编码模型组成,每个变分自编

【技术特征摘要】
1.一种变分自编码混合模型,其特征在于:由K个变分自编码模型组成,每个变分自编码模型由K维的二值随机隐变量指示,每个变分自编码模型的概率解码模型及概率编码模型均由单隐层神经网络组成,指示隐变量的后验概率分布由基于截棍的神经网络组成。2.根据权利要求1所述的一种变分自编码混合模型,其特征在于:所述每个变分自编码模型表示如下:令{θ1,θ2,...,θK}表示各分布分量的参数,π=[π1,π2,...,πK]表示各分布分量的权重,且K维的二值指示隐变量c=[c1,c2,…,cK]T,满足ck∈{0,1}且则πk=p(ck=1)是第k个模型的权重,变分自编码混合模型中指示隐变量概率分布p(c|π)及生成数据的条件概率分布p(x|z,c)分别为:变分自编码混合模型的联合概率分布形式为:p(x,z,c)=p(x|z,c)p(z)p(c|π)。3.根据权利要求1所述的一种变分自编码混合模型,其特征在于:所述单隐层神经网络的条件分布pθ(x|z)为:y=fσ(W2tanh(W1z+b1)+b2)其中,W1,b1表示概率解码中单隐层神经网络输入层的权重和偏置,W2,b2表示...

【专利技术属性】
技术研发人员:陈亚瑞蒋硕然赵青杨巨成张传雷赵希刘建征
申请(专利权)人:天津科技大学
类型:发明
国别省市:天津,12

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1