一种多任务的函数到函数回归方法技术

本发明专利技术涉及机器学习领域，其公开了一种多任务的函数到函数回归方法，包括以下步骤：S1、构造一个基于基函数双重扩展的函数到函数回归模型，并建立一个从自变量函数到因变量函数的映射的目标函数；S2、进一步构建多任务的函数到函数回归模型的目标函数，通过协同分组挖掘各个任务之间的隐含结构来提升每个回归任务的性能，其中该步骤中的目标函数含有回归系数矩阵；S3、采用不同的稀疏性正则化技术对步骤S2中的回归系数矩阵施加约束；S4、对最终函数回归模型的目标函数非光滑和非独立的问题进行优化；基于结构型稀疏性的多任务函数到函数回归模型的优点是可以同时挖掘任务的相似性和基函数的聚类特征，并用于提升函数回归系统的性能。

【技术实现步骤摘要】
一种多任务的函数到函数回归方法
本专利技术涉及机器学习领域，特别是涉及一种多任务的函数到函数回归方法。
技术介绍
异构机器学习，研究的是如何挖掘多个任务、领域、视图和模态之间的异构数据关联关系，来提升单系统的性能。因为现实数据的来源多种多样，异构性是函数型数据的天然属性。异构机器学习的发展推动了函数型数据分析的快速发展，这里的函数型数据，考虑的是连续的无限维度的数据，而不是离散的有限维度的向量。异构机器学习充分挖掘数据异构性，通过异构数据之间的知识共享或者互补利用，有效地提升机器学习系统的泛化性能。特征解构是机器学习的关键难题之一。在传统的机器学习领域，研究者已提出了很多成熟的特征分析和特征解构方法，如：非负矩阵分解、主成分分析、奇异值分解、典型相关分析等。但是，在异构机器学习领域目前还缺乏成熟有效的特征解构方法。另一方面，数据分布差异是异构学习(如：迁移学习、多任务学习、终生学习等)的核心研究问题，它是进行知识分享和迁移的主要障碍之一。函数型数据是定义在一个或多个连续域上(如：时间域、空间域、光谱域和基因位置等)的数据。因为特征空间是无限维度的，所以函数型数据具有更强大的数据表达能力。而机器学习系统中常用的数据(例如:时间序列、图像、音频、视频和文本)，都可以采用这一新的框架进行表示。函数型数据中包含复杂而多样的关联信息，我们将其分为两类，一类是函数性，它是指从单一数据源收集的函数型数据自身包含的特性(如：光滑性、周期性、稀疏性等)；另一类是异构性，它是指从不同数据源收集到的函数型数据之间的关联性(如：领域异构、任务异构等)。现实世界中，机器学习领域中的很多应用问题，都可以归结为两个函数之间的映射问题。但是目前这方面的研究方法还很少。我们很有必要提供一种基于多任务的函数到函数的回归方法，解决目前研究存在的问题，并助推人工智能的发展。
技术实现思路
本专利技术的目的在于克服现有技术中的上述缺陷，提供了一种多任务的函数到函数回归方法，其通过挖掘不同任务之间的相关性来提升每个函数性回归任务的预测性能。为实现上述目的，本专利技术提供了一种多任务的函数到函数回归方法，包括以下步骤：S1、构造一个基于基函数双重扩展的函数到函数回归模型，并建立一个从自变量函数到因变量函数的映射的目标函数；S2、进一步构建多任务的函数到函数回归模型的目标函数，通过协同分组技术挖掘各个任务之间的隐含结构来提升每个回归任务的性能，其中该步骤中的目标函数含有回归系数矩阵；S3、采用不同的稀疏性正则化技术对步骤S2中的回归系数矩阵施加约束；S4、对最终函数回归模型的目标函数非光滑和非独立的问题进行优化处理。优选的，步骤S1中函数到函数回归模型如下：其中，x(s)和y(t)分别是自变量函数和因变量函数，ε(t)是误差函数，W是回归系数矩阵，和θ是基函数。优选的，步骤S1中函数到函数回归模型的目标函数如下：其中，Ω(W)是正则化项。；优选的，步骤S2中多任务的函数到函数回归模型的目标函数如下：其中T为函数回归任务的数量，xi(s)和yi(t)分别是第i个回归任务的自变量函数和因变量函数，Wi是第i个函数回归任务的回归系数矩阵，Ω({Wi})是正则化项。优选的，步骤S3中所述稀疏性正则化技术为Lasso、L1正则化、L2,1正则化或Schatten技术。优选的，步骤S3中包含结构稀疏性正则化，其中包含两个正则化项，第一个正则化项是任务聚类的正则化，第二个正则化项是基函数分组的正则化。优选的，步骤S4中优化处理的方式为：将目标函数转化为光滑函数，同时对多个任务进行解耦从而形成独立的函数。与现有技术相比，本专利技术的有益效果在于：1、这种基于多任务的函数到函数回归的方法研究的问题，本身是一个新的异构函数型数据的学习问题，也是现有技术和方法没有考虑的；2、这种基于多任务的函数到函数回归的方法也是一种新颖的方法。因为它是在协同分组和结构性稀疏的考虑之下，对任务之间的相关性和基函数之间的相关性，同时进行建模。这是现有技术和方法所不具备的；3、本方法能有效地解决因为协同分组结构性稀疏而产生的非光滑性和非独立性的问题，因此具备可分离性、凸函数性和全局收敛等优良特性，可广泛适用于结构稀疏正则化相关的技术。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1是本专利技术提供的一种多任务的函数到函数回归方法流程的第一示意图；图2是本专利技术提供的一种多任务的函数到函数回归方法流程的第二示意图。具体实施方式为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。如图1和图2所示，本专利技术提供了一种多任务的函数到函数回归方法，包括以下步骤：S1、构造一个基于基函数双重扩展的函数到函数回归模型，并建立一个从自变量函数到因变量函数的映射的目标函数；S2、进一步构建多任务的函数到函数回归模型的目标函数，通过协同分组技术挖掘各个任务之间的隐含结构来提升每个回归任务的性能，其中该步骤中的目标函数含有回归系数矩阵；S3、采用不同的稀疏性正则化技术对步骤S2中的回归系数矩阵施加约束；S4、对最终函数回归模型的目标函数非光滑和非独立的问题进行优化处理。下面对总体处理过程中的重要步骤做进一步的说明。一、双重扩展基函数系统我们首先构造一个基于基函数扩展的函数到函数回归模型，它的目标是建立一个从自变量函数(输入函数)到因变量函数(输出函数)的映射。假设x(s)和y(t)分别是自变量函数和因变量函数。这里，自变量函数和因变量函数可以定义在不同的连续域上，即s∈S，t∈T。这里，我们没有要求输入函数和输出函数属于同一领域，以适应不同的应用场景。我们采用的函数-函数回归模型如下：其中，ε(t)是误差函数，W是回归系数矩阵，和θ是基函数。函数到函数回归模型的目标函数，是最小化利用自变量函数重构因变量函数的回归损失和回归系数矩阵的正则项：其中，Ω(W)是正则化项。二、多任务的函数到函数回归基于上述的函数到函数回归模型，我们进一步提出多任务的函数到函数回归模型，通过稀疏正则化技术挖掘任务之间的隐含结构，来提升每个回归任务的性能。假设有T个函数回归任务。xi(s)和yi(t)分别是第i个回归任务的自变量函数和因变量函数。本文档来自技高网...

【技术保护点】
1.一种多任务的函数到函数回归方法，其特征在于，包括以下步骤：/nS1、构造一个基于基函数双重扩展的函数到函数回归模型，并建立一个从自变量函数到因变量函数的映射的目标函数；/nS2、进一步构建多任务的函数到函数回归模型的目标函数，通过协同分组技术挖掘各个任务之间的隐含结构来提升每个回归任务的性能，其中该步骤中的目标函数含有回归系数矩阵；/nS3、采用不同的稀疏性正则化技术对步骤S2中的回归系数矩阵施加约束；/nS4、对最终函数回归模型的目标函数非光滑和非独立的问题进行优化处理。/n

【技术特征摘要】
1.一种多任务的函数到函数回归方法，其特征在于，包括以下步骤：
S1、构造一个基于基函数双重扩展的函数到函数回归模型，并建立一个从自变量函数到因变量函数的映射的目标函数；
S2、进一步构建多任务的函数到函数回归模型的目标函数，通过协同分组技术挖掘各个任务之间的隐含结构来提升每个回归任务的性能，其中该步骤中的目标函数含有回归系数矩阵；
S3、采用不同的稀疏性正则化技术对步骤S2中的回归系数矩阵施加约束；
S4、对最终函数回归模型的目标函数非光滑和非独立的问题进行优化处理。


2.根据权利要求1所述的一种多任务的函数到函数回归方法，其特征在于，步骤S1中函数到函数回归模型如下：



其中，x(s)和y(t)分别是自变量函数和因变量函数，ε(t)是误差函数，W是回归系数矩阵，和θ是基函数。


3.根据权利要求2所述的一种多任务的函数到函数回归方法，其特征在于，步骤S1中函数到函数回归模型的目标函数如下：



其中，Ω(W...

【专利技术属性】
技术研发人员：谭琦，杨沛，
申请(专利权)人：华南师范大学，华南理工大学，
类型：发明
国别省市：广东;44