用于训练混合模型的方法和设备技术

本公开的实施例涉及用于训练混合模型的方法和设备。该混合模型包括多个子模型。该方法包括响应于接收到第一组数据，确定第一组数据相对于多个子模型间的第一分布。该方法还包括对第一组数据进行降维，以确定经降维的第一组数据的第二分布。该方法还包括基于第一分布和第二分布来更新用于多个子模型的模型参数的第三分布。该方法还包括响应于在第一组数据之后接收到第二组数据，确定第二组数据相对于多个子模型间的第四分布。该方法还包括对第二组数据进行降维，以确定经降维的第二组数据的第五分布。此外，该方法还包括基于第四分布和第五分布来更新第三分布。

Method and apparatus for training hybrid models

Embodiments of the present disclosure involve methods and apparatus for training a hybrid model. The hybrid model includes multiple submodels. The method includes determining the first distribution between the first set of data relative to a plurality of sub models in response to receiving the first set of data. The method also includes reducing the dimension of the first set of data to determine the second distribution of the first set of data through dimension reduction. The method also includes updating the third distribution of model parameters for multiple submodels based on the first distribution and the second distribution. The method also includes second sets of data received in response to the first set of data to determine the fourth distribution between the second sets of data relative to a plurality of sub models. The method also includes reducing the dimension of the second sets of data to determine the Fifth Distribution of the second sets of data with dimension reduction. In addition, the method includes updating the third distribution based on the fourth distribution and the fifth distribution.

【技术实现步骤摘要】
用于训练混合模型的方法和设备
本公开的实施例涉及机器学习领域，并且更具体地，涉及用于训练混合模型的方法和设备。
技术介绍
随着信息技术的飞速发展，数据规模的增长十分迅速。在这样的背景和趋势下，机器学习受到越来越广泛的关注。聚类分析是机器学习领域重要的基础性问题，它将样本点划分到不同的簇中，使得特征相似的样本点在相同的簇中。此外，主成分分析(PrincipalComponentsAnalysis,PCA)是一种重要的简化数据集的技术，其通常被用于降低数据的维度，同时保持数据集的对方差贡献最大的特征。针对具有高维度的数据流(简称高维数据流)而言，概率PCA混合模型(MixtureofProbabilisticPrincipalComponentsAnalyzers,MPPCA)能够被用于对高维数据流进行聚类并且同时降低数据流的维度。此外，可以利用最大期望(expectation-maximization，EM)算法来训练MPPCA。然而，MPPCA模型具有两个超参数(hyper-parameter)需要确定，一个超参数是样本点被划分到的簇的数目，另一个是经降维后的样本点的维度。EM算法本本文档来自技高网...

【技术保护点】
一种用于训练混合模型的方法，所述混合模型包括多个子模型，所述方法包括：响应于接收到第一组数据，确定所述第一组数据相对于所述多个子模型间的第一分布；对所述第一组数据进行降维，以确定经降维的所述第一组数据的第二分布；基于所述第一分布和所述第二分布来更新用于所述多个子模型的模型参数的第三分布；响应于在第一组数据之后接收到第二组数据，确定所述第二组数据相对于所述多个子模型间的第四分布；对所述第二组数据进行降维，以确定经降维的所述第二组数据的第五分布；以及基于所述第四分布和所述第五分布来更新所述第三分布。

【技术特征摘要】
1.一种用于训练混合模型的方法，所述混合模型包括多个子模型，所述方法包括：响应于接收到第一组数据，确定所述第一组数据相对于所述多个子模型间的第一分布；对所述第一组数据进行降维，以确定经降维的所述第一组数据的第二分布；基于所述第一分布和所述第二分布来更新用于所述多个子模型的模型参数的第三分布；响应于在第一组数据之后接收到第二组数据，确定所述第二组数据相对于所述多个子模型间的第四分布；对所述第二组数据进行降维，以确定经降维的所述第二组数据的第五分布；以及基于所述第四分布和所述第五分布来更新所述第三分布。2.根据权利要求1所述的方法，其中所述第一分布由所述第一组数据的第一隐变量的变分分布来表示，并且确定所述第一分布包括：确定用于控制所述第一隐变量的所述变分分布的、与所述第一组数据相对应的第一参数。3.根据权利要求2所述的方法，其中确定所述第一分布还包括：确定所述第一参数，以使得所述混合模型的目标函数的值最大。4.根据权利要求1所述的方法，其中所述第二分布由所述第一组数据的第二隐变量的变分分布来表示，并且确定所述第二分布包括：确定用于控制所述第二隐变量的所述变分分布的、与所述第一组数据相对应的第二参数。5.根据权利要求4所述的方法，其中确定所述第二分布还包括：确定所述第二参数，以使得所述混合模型的目标函数的值最大。6.根据权利要求1所述的方法，其中所述第三分布由所述第一组数据的第三隐变量的变分分布来表示，并且更新所述第三分布包括：更新用于控制所述第三隐变量的所述变分分布的第三参数。7.根据权利要求6所述的方法，其中更新所述第三分布还包括：通过计算所述混合模型的目标函数相对于所述第三参数的自然梯度来更新所述第三参数。8.根据权利要求1所述的方法，其中基于所述第一分布和所述第二分布来更新用于所述多个子模型的模型参数的第三分布包括：迭代执行以下操作至少一次，直至收敛条件被满足：基于所述第一分布和所述第二分布来更新所述第三分布；以及基于更新后的所述第三分布，更新所述第一分布和所述第二分布。9.根据权利要求8所述的方法，其中所述收敛条件包括以下至少一个：所述迭代的次数达到预定次数，以及所述混合模型的目标函数的变化量低于预定阈值。10.根据权利要求1所述的方法，还包括：从数据集合中选择所述第一组数据；以及从所述数据集合中选择与所述第一组数据所包含的样本数目相同的所述第二组数据。11.根据权利要求1所述的方法，还包括：从数据流中接收所述第一组数据；以及在接收到所述第一组数据之后，从所述数据流中接收所述第二组数据。12.根据权利要求1-11中的任一项所述的方法，其中所述混合模型是贝叶斯主成分分析混合模型，并且所述混合模型的目标函数是针对所述贝叶斯主成分分析混合模型的证据下界。13.一种用于训练混合模型的设备，所述混合模型包括多个子模型，...

【专利技术属性】
技术研发人员：冯璐，刘春辰，卫文娟，
申请(专利权)人：日本电气株式会社，
类型：发明
国别省市：日本,JP