基于胶囊网络的变分期望最大化路由算法制造技术

本发明专利技术公开了一种基于胶囊网络的变分期望最大化路由算法，把低级胶囊的pose矩阵视为GMM的数据点、高级胶囊的pose矩阵视为高斯分布，由VBEM路由算法将数据点聚类为一个个高斯分布并计算其分布参数，即在运行时将低级胶囊分组形成一个高级别的胶囊，然后根据高斯分布参数更新计算激活值a。本发明专利技术在胶囊网络中使用VBEM算法，与EM算法相比，这种方法几乎不需要额外的计算量，并且它解决了最大似然方法中的计算难题，基于变分推断对每个分解因子进行最优化来完成整体的最优化过程，既可以得到近似解，又可以避免当高斯分量“退化”到一个具体的数据点时产生的奇异性，也使得隐变量类别数k可以自动在算法中确定，并且在k较大的时候也避免了过拟合。

Variable expectation maximization routing algorithm based on capsule network

The invention discloses a variable expectation maximization routing algorithm based on capsule network, which regards pose matrix of low-level capsules as data points of GMM and pose matrix of high-level capsules as Gauss distribution. The VBEM routing algorithm clusteres data points into a Gauss distribution and calculates its distribution parameters, i.e. grouping low-level capsules into a high-level capsule at runtime, and then according to it, classifies low-level capsules into high-level capsules. The activation value a is calculated by updating the parameters of Gauss distribution. The invention uses VBEM algorithm in capsule network. Compared with EM algorithm, this method does not need extra computation, and it solves the calculation problem of maximum likelihood method. Based on variational inference, each decomposition factor is optimized to complete the overall optimization process, which can not only obtain approximate solution, but also avoid the \degeneration\ of Gauss component to a specific one. The singularity of data points also makes the class number k of hidden variables automatically determined in the algorithm, and avoids over-fitting when k is large.

【技术实现步骤摘要】
基于胶囊网络的变分期望最大化路由算法
本专利技术涉及变分推断以及贝叶斯领域，具体涉及一种基于胶囊网络的变分期望最大化路由算法，用作将低级胶囊聚类为高级胶囊。
技术介绍
胶囊网络是一种新神经网络模型，胶囊是一个空间概念，可以是向量，也可以是矩阵加标量，胶囊的具体形式可以根据输入数据的特征确定，胶囊网络在手写数字识别领域只需要3层隐含层就可以达到深度神经网络的效果，甚至更好。期望最大化(EM)算法是寻找具有潜在变量的概率模型的最大似然解的一种通用的方法，高斯混合模型(GMM)是指多个高斯分布函数的线性组合，广泛应用于数据挖掘、机器学习和统计分析中。在许多应用中，参数由最大似然方法确定，通常会使用EM算法。然而，最大似然方法有一些巨大的局限性，需要计算完整数据对数似然函数关于潜在变量后验概率分布的期望。对于实际应用中的许多模型来说，计算后验概率分布或者计算关于这个后验概率分布的期望是不可行的，并且在最大似然方法中，当一个高斯分量“退化”到一个具体的数据点时，会产生奇异性，而这种奇异性在贝叶斯方法中不存在。变分推断的方法基于的是真实后验概率分布的分解近似，对每个分解因子进行最优化来完成整体的本文档来自技高网...

【技术保护点】
1.一种基于胶囊网络的变分期望最大化路由算法，其特征在于，把低级胶囊的pose矩阵视为GMM的数据点、高级胶囊的pose矩阵视为高斯分布，由VBEM路由算法将数据点聚类为一个个高斯分布并计算其分布参数，即在运行时将低级胶囊分组形成一个高级别的胶囊，然后根据高斯分布参数更新计算激活值a；S01，输入当前pose矩阵和激活值，将各胶囊的pose矩阵作为数据点X＝{x1,x2...xN}，N为胶囊的个数，将pose矩阵类别作为隐变量Z＝{z1,z2...zK}，k为胶囊类别，k由VBEM算法自动确定；S02，利用变分推断求出各参数θ的先验分布的最优解以及后验概率p(z|x)的最优解q*(z)，θ包含...

【技术特征摘要】
1.一种基于胶囊网络的变分期望最大化路由算法，其特征在于，把低级胶囊的pose矩阵视为GMM的数据点、高级胶囊的pose矩阵视为高斯分布，由VBEM路由算法将数据点聚类为一个个高斯分布并计算其分布参数，即在运行时将低级胶囊分组形成一个高级别的胶囊，然后根据高斯分布参数更新计算激活值a；S01，输入当前pose矩阵和激活值，将各胶囊的pose矩阵作为数据点X＝{x1,x2...xN}，N为胶囊的个数，将pose矩阵类别作为隐变量Z＝{z1,z2...zK}，k为胶囊类别，k由VBEM算法自动确定；S02，利用变分推断求出各参数θ的先验分布的最优解以及后验概率p(z|x)的最优解q*(z)，θ包含混合系数π＝{π1π2...πk}、GMM的均值μ＝{μ1μ2...μk}、GMM的协方差Λ＝{Λ1Λ2...Λk}；S03，定义各变量并初始化，其中将pose矩阵元素相对应附给高斯分布初始值μ0，强制将协方差Λ设为对角阵，则方差σ2取协方差矩阵对角线；S04，进行VBM步，更新各变量；S05，进行VBE步，更新代表后验概率的rnk；S06，迭代n次或者直至迭代收敛，得到最终激活值a，以及输出x服从的混合高斯模型的均值，转换得出父胶囊pose矩阵。2.根据权利要求1所述的一种基于胶囊网络的变分期望最大化路由算法，其特征在于，所述步骤S02具体包括：数据点x属于第k类的概率分布：其中πk为混合系数π的第k个元素，μk,Λk为μ、Λ的第k个元素；πk表示zk＝1的概率，即：p(zk＝1)＝πk，当z的第k个元素为1时，其他元素均为0，所以z的边缘概率分布表示为：将混合系数π的先验概率q(π)的最优解q*(π)看成狄利克雷分布，即：q*(π)＝Dir(π|α),(3)其中α为狄利克雷系数；令高斯分布的均值μ和协方差Λ的先验概率q(μ，Λ)的最优解q*(μ，Λ)服从独立的高斯-Wishart分布，即：其中mk、βk、ωk、νk为高斯-Wishart分布参数；根据变分推断直接写出后验概率p(z|x)的最优解q*(z)的对数函数：其中：lnρnz...

【专利技术属性】
技术研发人员：徐宁，楚昕，刘小峰，缪晓宇，姚潇，蒋爱民，
申请(专利权)人：河海大学常州校区，
类型：发明
国别省市：江苏,32