The present invention relates to a variational self coding hybrid model. Its main technical feature is that it consists of K variational self coding model, in which each variable self encoding model is indicated by two value random hidden variables in K dimension. The probability decoding model and the probability coding model of each variational self coding model are composed of a single hidden layer neural network. The posterior probability distribution of hidden variables is composed of truncated neural networks. The design of the invention is reasonable. It uses the self coding hybrid model to estimate the relationship between the hidden variables and the samples. It can improve the ability of the model to generate the sample, and learn the weight of the mixed generation model based on the hidden variables. It can guarantee the convenience of the sampling of the hidden variables, and can determine the best of the hidden variables independently when sampling the sample generation. At the same time, the invention effectively extends the hidden variable space, that is, the probability coding space, and improves the accuracy of the model representation. One
【技术实现步骤摘要】
一种变分自编码混合模型
本专利技术属于机器学习
,尤其是一种变分自编码混合模型。
技术介绍
变分自编码(VariationalAutoencoders,VAEs)是一类重要的表示模型,通过变分方法来近似求解生成模型(概率解码)和识别模型(概率编码)。令X={x1,x2,…,xN}表示N个独立同分布样本组成的集合。变量x=[x1,x2,...,xd]T是一个d维向量,可以是离散变量或连续变量。VAEs模型假设数据x是由条件分布pθ(x|z)生成,其中z是连续隐变量,其先验分布为pθ(z),θ表示模型参数。此时的学习任务是通过计算边缘似然pθ(x)及隐变量z的后验分布pθ(z|x)求解模型参数,即:pθ(x)=∫zpθ(x|z)pθ(z)dz(1)计算边缘似然及后验分布是难解的,变分自编码通过引入自由分布qφ(z|x)用于近似后验概率分布pθ(z|x),将变量求积分问题转化为关于自由分布qφ(z|x)的优化问题LVAEs(x,θ,φ),通过近似求解该优化问题计算目标函数,即:在变分自编码模型中,条件分布pθ(x|z)称为生成模型或概率解码,自由分布qφ(z|x)称为识别模型或概率编码。具体地,qφ(z|x)=N(z;μφ(x),Σφ(x)),其中fθ(z),μφ(x)和Σφ(x)由单隐层神经网络构成。采用随机梯度下降方法求解优化问题(3)学习变分自编码模型参数{θ,φ}。2014年KarolGregor等人在“DeepAutoRegressiveNetworks”中把自回归网络概念用在自编码器中,用自回归网络构建一种更为复杂的自编码网络,可以准确地拟合样 ...
【技术保护点】
1.一种变分自编码混合模型,其特征在于:由K个变分自编码模型组成,每个变分自编
【技术特征摘要】
1.一种变分自编码混合模型,其特征在于:由K个变分自编码模型组成,每个变分自编码模型由K维的二值随机隐变量指示,每个变分自编码模型的概率解码模型及概率编码模型均由单隐层神经网络组成,指示隐变量的后验概率分布由基于截棍的神经网络组成。2.根据权利要求1所述的一种变分自编码混合模型,其特征在于:所述每个变分自编码模型表示如下:令{θ1,θ2,...,θK}表示各分布分量的参数,π=[π1,π2,...,πK]表示各分布分量的权重,且K维的二值指示隐变量c=[c1,c2,…,cK]T,满足ck∈{0,1}且则πk=p(ck=1)是第k个模型的权重,变分自编码混合模型中指示隐变量概率分布p(c|π)及生成数据的条件概率分布p(x|z,c)分别为:变分自编码混合模型的联合概率分布形式为:p(x,z,c)=p(x|z,c)p(z)p(c|π)。3.根据权利要求1所述的一种变分自编码混合模型,其特征在于:所述单隐层神经网络的条件分布pθ(x|z)为:y=fσ(W2tanh(W1z+b1)+b2)其中,W1,b1表示概率解码中单隐层神经网络输入层的权重和偏置,W2,b2表示...
【专利技术属性】
技术研发人员:陈亚瑞,蒋硕然,赵青,杨巨成,张传雷,赵希,刘建征,
申请(专利权)人:天津科技大学,
类型:发明
国别省市:天津,12
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。