变分推理的数据初始化的方法和装置制造方法及图纸

本发明专利技术的实施例涉及用于混合模型选择的方法和装置。该方法包括：基于训练样本集来确定候选初始化参数的集合；利用预定的统计模型，基于候选初始化参数的集合确定目标初始化参数的集合；以及基于目标初始化参数的集合来确定目标模型。

【技术实现步骤摘要】

本专利技术的实施例总体上涉及机器学习领域，并且更具体地，涉及用于混合模型选择的方法和装置。
技术介绍
混合模型(mixture model)是一种使用混合分布用于密度估计的概率模型，其可以表示一个大群体中存在子群体。混合模型可以包括多种模型，例如高斯混合模型、分段线性混合模型等，这些模型已被广泛应用于多种领域，诸如文档分类、手写识别、模糊图像分割等。在实践中，混合模型的模型选择是一个非常重要而又具有挑战性的问题。业界已经提出了一些方法来进行混合模型的模型选择，其中变分推理(variational inference)是一种比较有效的方法，其试图给出边际对数似然的解析近似。然而，变分推理对于初始化较为敏感，如果初始化不适当，则变分推理的效果可能会变得很差，从而无法准确地选择模型。因此，初始化已经成为影响变分推理的精度和效率的重要因素。目前，变分推理的初始化方法例如可以包括随机初始化、基于聚类的初始化等等。然而，随机初始化通常需要尝试大量的初始化样本来实现，处理耗时较长，从而会造成模型选择的速度较慢。另外，基于聚类的初始化对于以聚类为目标的混合模型(例如，高斯混合模型)可能是比较有效的，但是对于以回归/分类为目标的混合模型而言并不适合使用，所以基于聚类的初始化通用性较低。因此，需要一种更为通用且高效的初始化方案来实现混合模型选择。
技术实现思路
总体上，本专利技术的实施例提出一种用于混合模型选择的技术方案。在本专利技术的一个方面，提供一种用于混合模型选择的方法。所述方法包括：基于训练样本集来确定候选初始化参数的集合；利用预定的统计模型，基于候选初始化参数的集合确定目标初始化参数的集合；以及基于目标初始化参数的集合来确定目标模型。在本专利技术的另一方面，提供一种用于混合模型选择的装置。装置包括：候选初始化参数确定单元，被配置为基于训练样本集来确定候选初始化参数的集合；目标初始化参数确定单元，被配置为利用预定的统计模型，基于候选初始化参数的集合确定目标初始化参数的集合；以及目标模型确定单元，被配置为基于目标初始化参数的集合来确定目标模型。在根据本专利技术的实施例中，不局限于某种特定混合模型类型，因此本专利技术的方案具有良好的通用性。同时，在本专利技术的实施例中，从候选初始化参数的集合中选择部分性能较优的候选初始化参数来作为目标初始化参数，可以提高得到目标模型的速度，从而本专利技术的方案较为高效。本专利技术的其他特征和优点将通过下文描述而变得容易理解。附图说明通过结合附图对本专利技术示例性实施方式进行更详细的描述，本专利技术的上述以及其它目的、特征和优势将变得更加明显，其中：图1示出了根据本专利技术实施例的用于混合模型选择的方法的示意性流程图；图2示出了根据本专利技术实施例的用于混合模型选择的方法的示意性流程图；图3示出了根据本专利技术实施例的用于确定目标初始化参数的集合的方法的示意性流程图；图4示出了根据本专利技术实施例的用于混合模型选择的方法的一个图形化表示的示意图；图5示出了根据本专利技术实施例的用于混合模型选择的装置的示意性框图；以及图6示出了适于用来实现本专利技术实施例的示例性计算机系统的示意性框图。在附图中，相同或相似的标号被用来表示相同或相似的元素。具体实施方式下面将参照附图更详细地描述本公开的优选实施方式。虽然附图中显示了本公开的优选实施方式，然而应该理解，可以以各种形式实现本公开而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了使本公开更加透彻和完整，并且能够将本公开的范围完整地传达给本领域的技术人员。以下将详细描述本专利技术实施例的机制和原理。除非特别声明，在下文和权利要求中使用的术语“基于”表示“至少部分地基于”。术语“包括”表示开放性包括，即“包括但不限于”。术语“多个”表示“两个或更多”。术语“一个实施例”表示“至少一个实施例”。术语“另一实施例”表示“至少一个另外的实施例”。其他术语的定义将在下文描述中给出。图1示出了根据本专利技术实施例的用于混合模型选择的方法100的流程图。传统上，变分推理的初始化方法采用随机初始化、基于聚类的初始化等方法。然而，这些初始化方法通常具有处理速度较慢、通用性不高等问题，这些都是混合模型选择中的亟待解决的问题。通过下文描述将会理解，利用根据本专利技术的实施例的方法100，这些问题可以被得到有效地解决。方法100开始于步骤S110，在此基于训练样本集来确定候选初始化参数的集合。在本专利技术实施例中，初始化参数可以包括初始化模型参数和初始化隐变量中的至少一个。通过训练初始化模型参数和初始化隐变量可
以生成一个混合模型，所生成的混合模型可以包括更新的隐变量、更新的模型参数、模型结构，等等。在本公开的上下文中，候选初始化参数和目标初始化参数均为初始化参数。也就是说，候选初始化参数可以是候选初始化模型参数、候选初始化隐变量或者二者的组合，并且目标初始化参数可以是目标初始化模型参数、目标初始化隐变量或者二者的组合。在本专利技术实施例中，“隐变量”可以表示不能被直接观测到、而需要通过样本数据推导得出的变量。隐变量的变分分布可以用于描述样本数据被聚类到对应类别的概率。应当注意的是，在本专利技术实施例中，“隐变量”并不限于一种变量，而是可以包含“隐变量的变分分布”和/或其他适当的信息。在本公开中，隐变量可以包括初始化隐变量、更新的隐变量，等等，其中初始化隐变量表示用于进行训练的隐变量，而更新的隐变量表示训练后得到隐变量。在本公开的上下文中，“更新的隐变量”有时也称为“更新隐变量”，二者可以替换使用。隐变量例如可以实现为矩阵的形式、数据集合的形式或者其他任何适当的形式。在一个实施例中，隐变量可以是一个k×n维的矩阵，其中k是该矩阵的行数，表示隐变量的样本组数目；n是该矩阵的列数，表示用于确定隐变量的训练样本集中的样本数目。该矩阵中的一行对应于一个样本组，每行中的每个元素的值可以是0或者1。例如，如果该矩阵中的一行中的第i个元素是1，则表示与该行相对应的样本组中包含训练样本集中的第i个样本；如果该行中的第j个元素是0，则表示与该行相对应的样本组中不包含训练样本集中的第j个样本。应当理解，上述矩阵中的元素的值不一定必须为0或者1，也可以是任何其他适当的数值。以上示例仅仅是为了讨论方便之目的，无意限制本专利技术的范围。在另一个实施例中，隐变量可以是一个数据集合，例如可以包括k个样本组，每个样本组中有一个或多个样本。应当理解，上述示例仅仅是为了讨论之目的，并无意限制本专利技术的范围。本领域技术人员可以通过任何适当的方式来实现本专利技术的实施例中的各种隐变量。在本专利技术的实施例中，“模型”一般是指混合模型，例如候选模型、中间模型以及目标模型，等等。模型可以通过对初始化隐变量进行训练来生成。如此生成的模型可以包括隐变量(也称为更新的隐变量或更新隐变量)、模型参数(也称为更新的模型参数)、模型结构，等等。模型参数可以根据混合模型的类型不同而不同，由于混合模型通常是一类模型的总称，并且一个混合模型可由多个子模型组合而成，因此模型参数与具体的混合模型的类型相关联。举例而言，对于高斯混合模型而言，模型参数可以包括每个子模型所服从的高斯分布的均值和方差。对于分片线性模型而言，模型参数则可以包括门节点的条件控制参数和叶子节点的回归系数及偏差。模型结构也与混合模型本文档来自技高网...

【技术保护点】
一种用于混合模型选择的方法，所述方法包括：基于训练样本集来确定候选初始化参数的集合；利用预定的统计模型，基于所述候选初始化参数的集合确定目标初始化参数的集合；以及基于所述目标初始化参数的集合来确定目标模型。

【技术特征摘要】
1.一种用于混合模型选择的方法，所述方法包括：基于训练样本集来确定候选初始化参数的集合；利用预定的统计模型，基于所述候选初始化参数的集合确定目标初始化参数的集合；以及基于所述目标初始化参数的集合来确定目标模型。2.根据权利要求1所述的方法，其中利用预定的统计模型，基于所述候选初始化参数的集合确定目标初始化参数的集合包括：根据所述候选初始化参数的集合对所述目标初始化参数的集合进行初始化；以及执行以下操作一次或多次：利用所述目标初始化参数的集合中的目标初始化参数以及与所述目标初始化参数相对应的临时模型的性能来训练所述预定的统计模型；以及基于经过训练的所述预定的统计模型从所述候选初始化参数的集合中选择候选初始化参数，以更新所述目标初始化参数的集合。3.根据权利要求2所述的方法，其中根据所述候选初始化参数的集合对所述目标初始化参数的集合进行初始化包括：从所述候选初始化参数的集合中选择至少一个候选初始化参数，作为所述目标初始化参数的集合中的目标初始化参数。4.根据权利要求2所述的方法，其中基于经过训练的所述预定的统计模型从所述候选初始化参数的集合中选择候选初始化参数，以更新所述目标初始化参数的集合包括：利用经过训练的所述预定的统计模型来预测与所述候选初始化参数的集合中的候选初始化参数相对应的临时模型的性能；以及按照所预测的性能，选择所述候选初始化参数的集合中的至少一个候选初始化参数来更新所述目标初始化参数的集合。5.根据权利要求4所述的方法，其中利用经过训练的所述预定的统计模型来预测与所述候选初始化参数的集合中的候选初始化参数相
\t对应的临时模型的性能包括：利用所述统计模型来计算与所述候选初始化参数相对应的临时模型的性能的均值和方差；以及根据所述均值和所述方差来确定与所述候选初始化参数相对应的临时模型的性能预测值。6.根据权利要求4所述的方法，其中按照所预测的性能，选择所述候选初始化参数的集合中的至少一个候选初始化参数来更新所述目标初始化参数的集合包括：将所述候选初始化参数的集合中的与所预测的最优性能相对应的候选初始化参数确定为所述目标初始化参数的集合中的一个目标初始化参数；以及从所述候选初始化参数的集合中去除与所预测的最优性能相对应的所述候选初始化参数。7.根据权利要求1所述的方法，其中基于训练样本集来确定候选初始化参数的集合包括：基于所述训练样本集来确定候选模型；以及基于所述候选模型的第一初始化参数和更新初始化参数中的至少一个，生成所述候选初始化参数的集合，其中所述候选模型根据所述第一初始化参数而生成，并且所述更新初始化参数被包含在所述候选模型的输出中。8.根据权利要求1所述的方法，其中基于训练样本集来确定候选初始化参数的集合包括：基于所述训练样本集，确定所述候选初始化参数所服从的分布，其中所述候选初始化参数是候选初始化模型参数；以及对所确定的分布进行采样，以生成所述候选初始化参数的集合中的候选初始化参数。9.根据权利要求1所述的方法，其中基于训练样本集来确定候选初始化参数的集合包括：对所述训练样本集随机分组；以及基于所述分组结果，确定所述候选初始化参数的集合中的候选初
\t始化参数，其中所述候选初始化参数是候选初始化隐变量。10.根据权利要求1所述的方法，其中基于所述目标初始化参数的集合来确定目标模型包括：通过训练所述目标初始化参数的集合中的每个目标初始化参数来生成中间模型；以及基于所述中间模型的性能来确定所述目标模型。11.一种用于混合模型选择的装置，所述装置包...

【专利技术属性】
技术研发人员：刘春辰，王虎，冯璐，
申请(专利权)人：日本电气株式会社，
类型：发明
国别省市：日本;JP