用于混合模型选择的方法和装置制造方法及图纸

本发明专利技术的实施例涉及用于混合模型选择的方法和装置。该方法包括：基于训练样本集来确定候选模型；基于候选模型的第一初始化隐变量和更新隐变量中的至少一个，生成第二初始化隐变量的集合，其中候选模型根据第一初始化隐变量而生成，并且更新隐变量表示候选模型输出的样本分组结果；以及基于第二初始化隐变量的集合来确定目标模型。

Method and apparatus for mixed model selection

Embodiments of the invention relate to methods and apparatus for hybrid model selection. The method includes: training sample set to determine the candidate model based on; based on the first initialization of hidden variables and hidden variables to update the candidate model at least one of the second generation set initialization of hidden variables, the candidate model according to the first initialization of hidden variables generated, and update the hidden variables indicate sample grouping result candidate model output; and a collection of second initialization of hidden variables is determined based on the target model.

【技术实现步骤摘要】

本专利技术的实施例总体上涉及机器学习领域，并且更具体地，涉及用于混合模型选择的方法和装置。
技术介绍
混合模型(mixture model)是一种使用混合分布用于密度估计的概率模型，其可以表示一个大群体中存在子群体。混合模型可以包括多种模型，例如高斯混合模型、分段线性混合模型等，这些模型已被广泛应用于多种领域，诸如文档分类、手写识别、模糊图像分割等。在实践中，混合模型的模型选择是一个非常重要而又具有挑战性的问题。业界已经提出了一些方法来进行混合模型的模型选择，其中变分推理(variational inference)是一种比较有效的方法，其试图给出边际对数似然的解析近似。然而，变分推理对于初始化较为敏感，如果初始化不适当，则变分推理的效果可能会变得很差，从而无法准确地选择模型。因此，初始化已经成为影响变分推理的精度和效率的重要因素。目前，变分推理的初始化方法例如可以包括随机初始化、基于聚类的初始化等等。然而，随机初始化通常需要尝试大量的初始化样本来实现，处理耗时较长，从而会造成模型选择的速度较慢。另外，基于聚类的初始化对于以聚类为目标的混合模型(例如，高斯混合模型)可能是比较有效的，但是对于以回归/分类为目标的混合模型而言并不适合使用，所以基于聚类的初始化通用性较低。因此，需要一种更为通用且高效的初始化方案来实现混合模型选择。
技术实现思路
总体上，本专利技术的实施例提出一种用于混合模型选择的技术方案。在本专利技术的一个方面，提供一种用于混合模型选择的方法。所述方法包括：基于训练样本集来确定候选模型；基于候选模型的第一初始化隐变量和更新隐变量中的至少一个，生成第二初始化隐变量的集合，其中候选模型根据第一初始化隐变量而生成，并且更新隐变量表示候选模型输出的样本分组结果；以及基于第二初始化隐变量的集合来确定目标模型。在本专利技术的另一方面，提供一种用于混合模型选择的装置。装置包括：候选模型确定单元，被配置为基于训练样本集来确定候选模型；生成单元，被配置为基于候选模型的第一初始化隐变量和更新隐变量中的至少一个，生成第二初始化隐变量的集合，其中候选模型根据第一初始化隐变量而生成，并且更新隐变量表示候选模型输出的样本分组结果；以及目标模型确定单元，被配置为基于第二初始化隐变量的集合来确定目标模型。根据本专利技术的实施例，通过基于性能较优的候选模型的初始化隐变量和更新隐变量来生成新的初始化隐变量，继而基于新的初始化隐变量来得到新的模型，这并不局限于某种特定混合模型类型。因此，根据本专利技术的方案具有良好的通用性。本专利技术的其他特征和优点将通过下文描述而变得容易理解。附图说明通过结合附图对本专利技术示例性实施方式进行更详细的描述，本专利技术的上述以及其它目的、特征和优势将变得更加明显.其中：图1示出了根据本专利技术实施例的用于混合模型选择的方法的示意性流程图；图2示出了根据本专利技术实施例的用于混合模型选择的方法的示意性流程图；图3A示出了根据本专利技术实施例的用于确定目标初始化隐变量的
集合的方法的示意性流程图；图3B示出了根据本专利技术实施例的用于确定目标初始化隐变量的集合的方法的示意性流程图；图4示出了根据本专利技术实施例的用于混合模型选择的方法的一个图形化表示的示意图；图5示出了根据本专利技术实施例的用于混合模型选择的装置的示意性框图；以及图6示出了适于用来实现本专利技术实施例的示例性计算机系统的示意性框图。在附图中，相同或相似的标号被用来表示相同或相似的元素。具体实施方式下面将参照附图更详细地描述本公开的优选实施方式。虽然附图中显示了本公开的优选实施方式，然而应该理解，可以以各种形式实现本公开而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了使本公开更加透彻和完整，并且能够将本公开的范围完整地传达给本领域的技术人员。以下将详细描述本专利技术实施例的机制和原理。除非特别声明，在下文和权利要求中使用的术语“基于”表示“至少部分地基于”。术语“包括”表示开放性包括，即“包括但不限于”。术语“多个”表示“两个或更多”。术语“一个实施例”表示“至少一个实施例”。术语“另一实施例”表示“至少一个另外的实施例”。其他术语的定义将在下文描述中给出。图1示出了根据本专利技术实施例的用于混合模型选择的方法100的流程图。传统上，变分推理的初始化方法采用随机初始化、基于聚类的初始化等方法。然而，这些初始化方法通常具有处理速度较慢、通用性不高等问题，这些都是混合模型选择中的亟待解决的问题。通过下文描述将会理解，利用根据本专利技术的实施例的方法100，这些问题可以被得到有效地解决。方法100开始于步骤S110，在此基于训练样本集来确定候选模型。在本专利技术实施例中，“隐变量”可以表示不能被直接观测到、而需要通过样本数据推导得出的变量。隐变量的变分分布可以用于描述样本数据被聚类到对应类别的概率。应当注意的是，在本专利技术实施例中，“隐变量”并不限于一种变量，而是可以包含“隐变量的变分分布”和/或其他适当的信息。在本公开中，隐变量可以包括初始化隐变量、更新的隐变量，等等，其中初始化隐变量表示用于进行训练的隐变量，而更新的隐变量表示训练后得到隐变量。在本公开的上下文中，“更新的隐变量”有时也称为“更新隐变量”，二者可以替换使用。在本专利技术的实施例中，“模型”一般是指混合模型，例如候选模型、中间模型以及目标模型，等等。模型可以通过对初始化隐变量进行训练来生成。如此生成的模型可以包括更新的隐变量的变分分布、模型参数、模型结构，等等。模型参数可以根据混合模型的类型不同而不同，由于混合模型通常是一类模型的总称，并且一个混合模型可由多个子模型组合而成，因此模型参数与具体的混合模型的类型相关联。举例而言，对于高斯混合模型而言，模型参数可以包括每个子模型所服从的高斯分布的均值和方差。对于分片线性模型而言，模型参数则可以包括门节点的条件控制参数和叶子节点的回归系数及偏差。模型结构也与混合模型的类型相关联。举例而言，对于高斯混合模型而言，模型结构可以包括子模型的个数及子模型合并系数，等等。对于分片线性模型而言，模型结构则可以包括学习出的树结构。应当理解，上述示例仅仅是出于讨论之目的，无意以任何方式限制本专利技术的范围。另外，在本专利技术的实施例中提到的“统计模型”不同于混合模型。统计模型例如可以包括高斯过程模型、student-t过程模型等。在根据本专利技术的一个实施例中，在步骤S110，可以基于训练样本集来确定一个或多个第一初始化隐变量，并可以根据第一初始化隐变量生成候选模型。第一初始化隐变量可以通过对训练样本集中的样本进行随机分组来得到，或者可以通过对训练样本集中的样本进行聚类来得到。第一初始化隐变量例如可以实现为矩阵的形式、数据集合的形式或者其他任何适当的形式。在一个实施例中，第一初始化隐变量
可以是一个k×n维的矩阵，其中k是该矩阵的行数，表示第一初始化隐变量的样本组数目；n是该矩阵的列数，表示训练样本集中的样本数目。该矩阵中的一行对应于一个样本组，每行中的每个元素的值可以是0或者1。例如，如果该矩阵中的一行中的第i个元素是1，则表示与该行相对应的样本组中包含训练样本集中的第i个样本；如果该行中的第j个元素是0，则表示与该行相对应的样本组中不包含训练样本集中的第j个样本。应当理解，上述矩阵中的本文档来自技高网...

【技术保护点】
一种用于混合模型选择的方法，所述方法包括：基于训练样本集来确定候选模型；基于所述候选模型的第一初始化隐变量和更新隐变量中的至少一个，生成第二初始化隐变量的集合，其中所述候选模型根据所述第一初始化隐变量而生成，并且所述更新隐变量表示所述候选模型输出的样本分组结果；以及基于所述第二初始化隐变量的集合来确定目标模型。

【技术特征摘要】
1.一种用于混合模型选择的方法，所述方法包括：基于训练样本集来确定候选模型；基于所述候选模型的第一初始化隐变量和更新隐变量中的至少一个，生成第二初始化隐变量的集合，其中所述候选模型根据所述第一初始化隐变量而生成，并且所述更新隐变量表示所述候选模型输出的样本分组结果；以及基于所述第二初始化隐变量的集合来确定目标模型。2.根据权利要求1所述的方法，其中基于训练样本集来确定候选模型包括：基于所述训练样本集来确定第一初始化隐变量；以及根据所述第一初始化隐变量生成候选模型。3.根据权利要求1所述的方法，其中基于训练样本集来确定候选模型包括：基于所述训练样本集来确定多个第一初始化隐变量；基于所述多个第一初始化隐变量生成多个初始模型；以及根据所述多个初始模型的性能，选择所述多个初始模型中的至少一个作为候选模型。4.根据权利要求1所述的方法，其中基于所述候选模型的第一初始化隐变量和更新隐变量中的至少一个，生成第二初始化隐变量的集合包括：基于所述候选模型的第一初始化隐变量，生成第三初始化隐变量的集合；基于所述候选模型的更新隐变量，生成第四初始化隐变量的集合；以及基于所述第三初始化隐变量的集合和所述第四初始化隐变量的集合，确定所述第二初始化隐变量的集合。5.根据权利要求4所述的方法，其中基于所述候选模型的第一初始化隐变量，生成第三初始化隐变量的集合包括：通过对所述候选模型的第一初始化隐变量以及参考隐变量进行加权求和，生成所述第三初始化隐变量的集合中的第三初始化隐变量。6.根据权利要求4所述的方法，其中基于所述候选模型的更新隐变量，生成第四初始化隐变量的集合包括：从所述候选模型的更新隐变量中的多个样本组中选择一个样本组；将所选择的样本组分为多个子组；以及基于所述多个子组确定第四初始化隐变量的集合中的第四初始化隐变量。7.根据权利要求6所述的方法，其中从所述候选模型的更新隐变量中的多个样本组中选择一个样本组包括：确定所述多个样本组中的每个样本组的样本数目；以及从所述多个样本组中选择样本数目最大的一个样本组。8.根据权利要求1所述的方法，其中基于所述第二初始化隐变量的集合来确定目标模型包括：通过训练所述第二初始化隐变量的集合中的每个第二初始化隐变量来生成中间模型；以及基于所述中间模型的性能来确定所述目标模型。9.根据权利要求1所述的方法，其中基于所述第二初始化隐变量的集合来确定目标模型包括：利用预定的统计模型，基于所述第二初始化隐变量的集合来确定目标初始化隐变量的集合；通过训练所述目标初始化隐变量的集合中的每个目标初始化隐变量来生成中间模型；以及基于所述中间模型的性能来确定所述目标模型。10.根据权利要求9所述的方法，其中利用预定的统计模型，基于所述第二初始化隐变量的集合确定目标初始化隐变量的集合包括：根据所述第二初始化隐变量的集合对所述目标初始化隐变量的集合进行初始化；以及执行以下操作一次或多次：利用所述目标初始化隐变量的集合中的目标初始化隐变量以
\t及与所述目标初始化隐变量相对应的临时模型的性能来训练所述预定的统计模型；以及基于经过训练的所述预定的统计模型从所述第二初始化隐变量的集合中选择第二初始化隐变量，以更新所述目标初始化隐变量的集合。11.根据权利要求10所述的方法，其中根据所述第二初始化隐变量的集合对所述目标初始化隐变量的集合进行初始化包括：从所述第二初始化隐变量的集合中选择至少一个第二初始化隐变量，作为所述目标初始化隐变量的集合中的目标初始化隐变量。12.根据权利要求10所述的方法，其中基于经过训练的所述预定的统计模型从所述第二初始化隐变量的集合中选择第二初始化隐变量，以更新所述目标初始化隐变量的集合包括：利用经过训练的所述预定的统计模型来预测与所述第二初始化隐变量的集合中的第二初始化隐变量相对应的临时模型的性能；以及按照所预测的性能，选择所述第二初始化隐变量的集合中的至少一个第二初始化隐变量来更新所述目标初始化隐变量的集合。13.根据权利要求12所述的方法，其中利用经过训练的所述预定的统计模型来预测与所述第二初始化隐变量的集合中的第二初始化隐变量相对应的临时模型的性能包括：利用经过训练的所述预定统计模型来计算与所述第二初始化隐变量相对应的临时模型的性能的均值和方差；以及根据所述均值和所述方差来确定与所述第二初始化隐变量相对应的临时模型的性能预测值。14.根据权利要求12所述的方法，其中按照所预测的性能，选择所述第二初始化隐变量的集合中的至少一个第二初始化隐变量来更新所述目标初始化隐变量的集合包括：将所述第二初始化隐变量的集合中的与所预测的最优性能相对应的第二初始化隐变量确定为所述目标初始化隐变量的集合中的一个目标初始化隐变量；以及从所述第二初始化隐变量的集合中去除与所预测的最优性能相对
\t应的所述第二初始化隐变量。15.一种用于混合模型选择的装置，所述装置包括：候选模型确定单元，被配置为基于训练样本集来确定候选模型...

【专利技术属性】
技术研发人员：刘春辰，王虎，冯璐，藤卷辽平，
申请(专利权)人：日本电气株式会社，
类型：发明
国别省市：日本;JP