基于正则化的变分深度聚类模型制造技术

对于深度生成模型，它们都没有对数据进行聚类的能力。所以本发明专利技术在变分自编码模型的基础上提出对数据聚类的学习，并加入正则项，提高模型的稳定性。这个模型不仅可以生成高质量的数据，而且可以在数据隐空间中完成高精度的聚类任务。本发明专利技术从模型建模模块、构建优化目标模块、及优化问题求解模块三方面进行介绍。推理模型不仅获得了数据隐空间分布，而且利用分类器计算了聚类分配的概率，隐向量利用高斯混合模型完成聚类任务，通过生成网络生成观测数据；采用的变分方法将推理问题转化为优化问题；采用随机梯度下降法对模型参数进行更新。采用随机梯度下降法对模型参数进行更新。采用随机梯度下降法对模型参数进行更新。

【技术实现步骤摘要】
基于正则化的变分深度聚类模型


[0001]本专利技术基于机器学习领域，进一步说是基于正则化的变分深度聚类模型。

技术介绍

[0002]在机器学习实际应用中，无监督聚类仍是非常重要的一个领域分支。传统的聚类算法都会面临维数灾难的问题，所以利用深度学习方法来学习聚类成为该领域的一个重要方向。深度生成模型在数据生成能力上表现很好，但是无法完成聚类任务。于是本专利技术提出了一种基于正则化的变分深度聚类模型。
[0003]深层生成模型是一种利用低维隐向量对高维数据进行建模的模型。变分自编码模型是结合了变分贝叶斯方法和神经网络结构的生成模型，包括生成网络和推理网络，均利用神经网络结构实现。联合训练两个网络，最大化数据似然的变分下界。不同于传统的自编码模型，变分自编码利用重参数技巧获得隐向量，然后隐向量利用生成网络重构出数据。这里采用的变分方法将变量求和的推理问题转化为优化问题，再通过随机梯度下降方法和反向传播算法求解该优化问题。
[0004]变分自编码模型无法对数据进行聚类，所以本专利技术提出基于正则化的变分深度聚类模型。
专利技术本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.正则化的变分深度聚类模型，其特征在于能够对数据的隐空间进行聚类，而且可以按聚类标签生成指定的数据，包括：模型建模模块、构建优化目标模块、及优化问题求解模块。模型建模模块是在变分自编码模型的数据隐空间中使用高斯混合模型，让模型能够对数据进行聚类，从而可以按聚类标签生成指定类别的数据；构建优化目标模块通过引入了正则化项的变分近似方法构建优化目标；优化问题求解模块对隐向量采用重参化技巧，再用随机梯度下降方法对参数进行更新。2.权利要求1所述的建模模块，特点是随机向量y可以利用两个条件概率分布p
β
(z|y)、p
θ
(x|z)依次生成隐向量z和观测向量x；本模型中假设隐向量z由随机向量y生成，观测向量x由隐向量z生成，从p(y)中随机采样y，y利用后验概率分布p
β
(z|y)生成隐向量z，z利用条件概率分布p
θ
(x|z)生成观测数据x；模型向量如下，x表示观测向量，z表示连续型隐向量，p(y)＝Mult(y；π)表示多项式分布，p
β
(z|y)、p
θ
(x|z)相应的条件概率分布；模型的联合概率分布为：p(x，y，z)＝p(y)p
β
(z|y)p
θ
(x|z)3.构建优化目标模块数据集是X＝{x
(1)
，x
(2)
…
，x
(N)
}，其中...

【专利技术属性】
技术研发人员：陈亚瑞，张志远，王浩楠，丁文强，史艳翠，杨巨成，
申请(专利权)人：天津科技大学，
类型：发明
国别省市：