分片线性模型生成系统和生成方法技术方案

本公开的实施方式提供了一种分片线性模型生成系统及生成方法，该系统包括：获取装置，用于获取多个任务的数据；第一设置装置，用于设置用于表征所述多个任务之间的相关性的任务相关隐变量，其中每个任务与一个分片线性模型相关；第二设置装置，用于设置多个分片线性模型的模型结构，并且初始化相应的模型参数和分层隐变量；以及模型优化装置，用于基于所述多个任务的数据、所述任务相关隐变量以及所述分层隐变量优化所述模型结构和所述模型参数。

【技术实现步骤摘要】

本公开的各个实施方式涉及机器学习领域，并且更具体地涉及一种分片线性模型生成系统和生成方法。
技术介绍
分片线性模型(例如分层混合专家HME)已经广泛用于许多企业级机器学习应用中。HME比普通的线性模型更加灵活，而且其保留了利用基于概率规则对特征空间进行分区和采用分片局部线性专家的重要优点。HME的学习过程包括分区结构确定以及对各个专家(expert)的建模。当训练样本非常嘈杂并且样本容量不足时这变得具有挑战性，并且灵活的HME由于对训练数据集的过拟合而可能导致很差的泛化性能。在实际应用中，通常存在相关的机器学习任务的集合，例如以预测社区中的建筑物的能源需求。一种简单的方法是独立地解决这些任务(单任务学习，STL)，而忽略了这些相关的任务之间的共性。在多任务学习(MTL)中，通过利用任务间合适的共享信息来协同地学习这些相关的任务。协同地学习多个相关的任务有效地增加了每个任务的样本容量，并且因此具有改进泛化性能的潜能。多任务学习通过任务间共享信息把不同任务间的样本协同处理，以增加样本的数量，从而能够避免它拟合噪声。然而，当前多任务学习技术主要用于模型结构固定的场景，比如线性回归，但是针对诸如HME之类的分片线性模型，既要学习模型结构，又要学习模型参数，当前多任务学习做不到这一点。
技术实现思路
本公开的目的包括提供一种分片线性模型生成系统和生成方法，以至少部分解决现有技术中的上述问题。根据本公开的一个方面，提供了一种分片线性模型生成系统，包括：获取装置，用于获取多个任务的数据；第一设置装置，用于设置用于表征所述多个任务之间的相关性的任务相关隐变量，其中每个任务与一个分片线性模型相关；第二设置装置，用于设置多个分片线性模型的模型结构，并且初始化相应的模型参数和分层隐变量；以及模型优化装置，用于基于所述多个任务的数据、所述任务相关隐变量以及所述分层隐变量优化所述模型结构和所述模型参数。根据本公开的一个示例性实施方式，所述任务相关隐变量用于表征所述多个任务中的各个任务与所述多个分片线性模型中的各个分片线性模型的对应关系。根据本公开的一个示例性实施方式，所述模型结构包括树结构。根据本公开的一个示例性实施方式，所述系统还包括：分层隐变量优化装置，用于基于所述多个任务的数据、所述任务相关隐变量、所述模型结构和所述模型参数优化所述分层隐变量。根据本公开的一个示例性实施方式，所述系统还包括：任务相关隐变量优化装置，用于基于所述多个任务的数据、所述分层隐变量、所述模型结构和所述模型参数优化所述任务相关隐变量。根据本公开的一个示例性实施方式，所述系统还包括：硬划分装置，用于在优化所述任务相关隐变量之后，基于所述任务相关隐变量对所述多个任务进行硬划分并且更新所述任务相关隐变量。根据本公开的一个示例性实施方式，所述系统还包括：判定装置，用于判定所述模型结构和所述模型参数是否达到最优。根据本公开的一个示例性实施方式，所述判定装置根据所述模型结构和模型参数的拟合程度来判定所述模型结构和所述模型参数是否达到最优。根据本公开的另一方面，提供了一种分片线性模型生成方法，
包括：获取多个任务的数据；设置用于表征所述多个任务之间的相关性的任务相关隐变量，其中每个任务与一个分片线性模型相关；设置多个分片线性模型的模型结构，并且初始化相应的模型参数和分层隐变量；以及基于所述多个任务的数据、所述任务相关隐变量以及所述分层隐变量优化所述模型结构和所述模型参数。根据本公开的一个示例性实施方式，所述任务相关隐变量用于表征所述多个任务中的各个任务与所述多个分片线性模型中的各个分片线性模型的对应关系。根据本公开的一个示例性实施方式，所述模型结构包括树结构。根据本公开的一个示例性实施方式，所述方法还包括：基于所述多个任务的数据、所述任务相关隐变量、所述模型结构和所述模型参数优化所述分层隐变量。根据本公开的一个示例性实施方式，所述方法还包括：基于所述多个任务的数据、所述分层隐变量、所述模型结构和所述模型参数优化所述任务相关隐变量。根据本公开的一个示例性实施方式，所述方法还包括：在优化所述任务相关隐变量之后，基于所述任务相关隐变量对所述多个任务进行硬划分并且更新所述任务相关隐变量。根据本公开的一个示例性实施方式，所述方法还包括：判定所述模型结构和所述模型参数是否达到最优。根据本公开的一个示例性实施方式，判定所述模型结构和所述模型参数是否达到最优包括：根据所述模型结构和模型参数的拟合程度来判定所述模型结构和所述模型参数是否达到最优。在本公开的各个实施方式的技术方案中，由于模型生成过程中增加了一个新的隐变量来表征任务之间的相关性，以便辅助分片线性模型的生成，使得能够利用多个任务的数据进行建模，从而提高了模型生成精度。此外，由于将每个任务设置为仅与一个分片线性模型相关，使得根据本公开的分片线性模型生成系统和生成方法能够处理更大的
数据。附图说明当结合附图阅读下文对示范性实施方式的详细描述时，这些以及其它目的、特征和优点将变得显而易见，在附图中：图1示意性地示出了根据本公开的一个实施方式的分片线性模型生成方法的流程图；图2示意性地示出了根据本公开的一个实施方式的分片线性模型生成系统的框图；以及图3采用图形方式示意性地示出了根据本公开的一个实施方式的分片模型生成方法的步骤。具体实施方式下面将参考附图中的若干示例性实施方式来描述本公开的原理和方法。应当理解，描述这些实施方式仅仅是为了使本领域技术人员能够更好地理解进而实现本公开，而并非以任何方式限制本公开的范围。在描述根据本公开的各个实施方式的分片线性模型生成方法和生成系统之前，首先对在本文中出现的一些技术概念进行说明。分片线性模型分片线性模型的先驱是回归树，在回归树中分区由规则链指定，并且局部专家是恒定值。尽管回归树的表示是高度可解释的，但是各个专家的预测能力并不高，并且为了获得高预测性能而可能使得树深度趋向于很大。分层混合专家(HME)HME采用分治策略来构建分片模型。它们的树状分区结构由门控函数确定，门控函数是概率软分区函数。尽管通过设计门控函数，HME可以表达任何分区结构，但是在本文中使用规则链(树状)分区结构作为示例，以使得所学习的分区结构是实际上可理解的。HME模型被定义如下： p ( y | x , θ ; γ ) = Σ j = 1 E Π i ∈ ϵ j ψ g ( x , i , j ) · p ( y | x , 本文档来自技高网...

【技术保护点】
一种分片线性模型生成系统，包括：获取装置，用于获取多个任务的数据；第一设置装置，用于设置用于表征所述多个任务之间的相关性的任务相关隐变量，其中每个任务与一个分片线性模型相关；第二设置装置，用于设置多个分片线性模型的模型结构，并且初始化相应的模型参数和分层隐变量；以及模型优化装置，用于基于所述多个任务的数据、所述任务相关隐变量以及所述分层隐变量优化所述模型结构和所述模型参数。

【技术特征摘要】
1.一种分片线性模型生成系统，包括：获取装置，用于获取多个任务的数据；第一设置装置，用于设置用于表征所述多个任务之间的相关性的任务相关隐变量，其中每个任务与一个分片线性模型相关；第二设置装置，用于设置多个分片线性模型的模型结构，并且初始化相应的模型参数和分层隐变量；以及模型优化装置，用于基于所述多个任务的数据、所述任务相关隐变量以及所述分层隐变量优化所述模型结构和所述模型参数。2.根据权利要求1所述的分片线性模型生成系统，其中所述任务相关隐变量用于表征所述多个任务中的各个任务与所述多个分片线性模型中的各个分片线性模型的对应关系。3.根据权利要求1所述的分片线性模型生成系统，其中所述模型结构包括树结构。4.根据权利要求1所述的分片线性模型生成系统，还包括：分层隐变量优化装置，用于基于所述多个任务的数据、所述任务相关隐变量、所述模型结构和所述模型参数优化所述分层隐变量。5.根据权利要求1所述的分片线性模型生成系统，还包括：任务相关隐变量优化装置，用于基于所述多个任务的数据、所述分层隐变量、所述模型结构和所述模型参数优化所述任务相关隐变量。6.根据权利要求5所述的分片线性模型生成系统，还包括：硬划分装置，用于在优化所述任务相关隐变量之后，基于所述任务相关隐变量对所述多个任务进行硬划分并且更新所述任务相关隐变量。7.根据权利要求1所述的分片线性模型生成系统，还包括：判定装置，用于判定所述模型结构和所述模型参数是否达到最优。8.根据权利要求7所述的分片线性模型生成系统，其中所述判定装置根据所述模型结构和模型参数的拟合程...

【专利技术属性】
技术研发人员：王虎，刘春辰，冯璐，藤卷辽平，
申请(专利权)人：日本电气株式会社，
类型：发明
国别省市：日本;JP