一种基于多任务学习的回归预测方法及应用技术

本发明专利技术公开了一种基于多任务学习的回归预测方法及应用，首先结合S

【技术实现步骤摘要】
一种基于多任务学习的回归预测方法及应用


[0001]本专利技术属于深度学习
，特别涉及一种基于多任务学习的回归预测方法及应用。

技术介绍

[0002]回归预测在很多的方面得到应用，比如疾病预测，天气预测，市场预测，股价预测，实时业务预报等方面。它从实际出发，提取数据特征，构建概率统计模型进行数据的分析与预测。
[0003]回归问题实际上是函数空间的优化问题，目的是求出因变量关于自变量的函数，使损失函数的期望最小。回归问题按照自变量和因变量的关系，通常分为线性回归分析和非线性回归分析。在许多实际的问题中，其回归函数大多数是比较复杂的非线性函数。早期的研究中提出了多种多元线性回归方法，比如：Chang的主成分回归(PCR)、McCarty的偏最小二乘回归(PLSR)方法以及FrideMan的梯度提升回归树等。之后随着机器学习的发展，决策树、支持向量回归、遗传算法和Cubist等方法也被用来提升模型预测能力。但相对于传统的数学建模和机器学习方式，深度学习方法具备更高的计算效率和更强大的建模能力，能够自主地提取特征进行学习，挖掘复杂数据中的本质信息，从而提高了预测的准确性。但是，只是单一的使用模型预测无法提高学习效率。
[0004]现有的回归预测方法大多都是基于一种模型进行一种任务预测，对于现在大多都是进行的多种任务来说，难免耗时长、效率低，使我们无法同时得到预测多种属性。多任务学习是一种利用每个任务之间的相关性来训练和预测的学习框架，传统的STL方法一次只能学习一项特定的任务，这种方式训练出来的模型虽然总体性能不错，但是如果要地预测多种任务，每一个模型都需要重复的对数据进行特征提取、训练等操作，这样可能会造成耗时长并且在某些类别上预测准确性很低的情况。

技术实现思路

[0005]针对现有技术存在的不足，本专利技术提供一种基于多任务学习的回归预测方法及应用，搭建卷积神经网络回归模型实现多任务学习，实现在单一模型预测输出多属性值。
[0006]为了解决上述技术问题，本专利技术采用的技术方案是：
[0007]一种基于多任务学习的回归预测方法，包括：
[0008]步骤1、数据预处理：结合S
‑
G卷积平滑算法、多元散射校正以及中心化处理方法对原始数据进行预处理，转换成稳定的序列数据；另外，将原始数据通过短时傅里叶变换转换为二维频谱图；
[0009]步骤2、搭建模型：将预处理后的数据分两路输入到搭建的多任务卷积神经网络回归模型，分别将序列数据输入到模型的一维卷积中，将频谱图输入到模型的二维卷积中进行处理；
[0010]步骤3、网络评估：从模型的回归拟合度和预测精度两个方面评估模型性能，采用
决定系数(R2)、建模均方根误差(RMSEC)、预测均方根误差(RMSEP)和预测相对分析误差(RPD)来作为统一、客观的评价标准。
[0011]进一步的，原始数据通过预处理之后，作为模型的输入进入隐含层形成更为抽象的深层表示，经过卷积层、池化层提取并学习数据的内部特征，同时获取局部抽象特征映射，最后经过全连接层的信息整合，分别输出预测值。
[0012]进一步的，所述的多任务卷积神经网络回归模型的网络结构中，前面的卷积层和池化层为所有预测任务之间共享的隐藏层，用于每个任务学习数据中的共享特征；之后通过不同的全连接层分支进行特定的任务预测，分别如下：
[0013]序列数据首先通过第一路输入到网络中进行训练，第一层为具有64个滤波器的一维卷积层，之后添加最大池化层进行下采样操作，第三层为具有128滤波器的卷积层；之后构建残差模块，其中包括两层扩张系数分别为2和4的扩张卷积层以及参数完全相同的一维卷积层，并在残差模块内的每个扩张卷积层后使用Dropout正则化参数；接着采用全连接层将上一层的所有输出连接到下一层的所有输入，进行信息整合；
[0014]网络的第二路通过将频谱图作为输入，采用三层二维卷积层进行训练，并在卷积层中间添加池化层，来降低参数维度，防止网络过拟合；之后又通过Flatten层转换两路CNN提取的特征数据类型使其相加，最后三个任务独立训练，使用三个分支的全连接层来对应不同的任务预测输出。
[0015]进一步的，步骤1中所述的S
‑
G卷积平滑算法公式如下：
[0016][0017]式中，y
k
为波长k处理后得到的值，h
i
为平滑系数，H为归一化系数；在公式中使用平滑系数h
i
是为了在去除噪声峰值的同时减少操作对获取的有效信息的干扰，保留有用的数据信息；
[0018]所述的多元散射校正的计算过程包括如下步骤：
[0019]首先计算所有样本数据的平均值：
[0020][0021]之后用和A
i,j
分别作为自变量和因变量进行一元线性回归操作，得到每个样本的线性平移量l
i
和倾斜偏移量x
i
；
[0022][0023]最后对每个样本数据进行校正：
[0024][0025]上述各式中，A为建模集矩阵，n为样本数量，A
i
是第i个样本的数据信息，x
i
和l
i
是A
i
与平均之间的线性回归参数，可以对样本建模集的数据线性回归得出；多元散射校正(MSC)方法通过设置回归参数x
i
和l
i
的数值大小，降低线性散射带来的影响；
[0026]所述的中心化处理方法计算过程公式(5)所示，
[0027]x
﹡
＝x
‑
μσ
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(5)
[0028]其中x代表原始数据信息，μ为总体均值，σ为方差。
[0029]进一步的，步骤1中所述的短时傅里叶变换的计算公式如下所示：
[0030][0031]其中，STFT(t,f)是t时刻的频谱，f(t+τ)为分析窗函数；STFT算法通过使用滑动窗口计算信号每个加窗部分的局部频谱来提供时频表示，从而可以很好地揭示信号的基本信息。
[0032]本专利技术还提供一种基于多任务学习的回归预测方法的应用，用于土壤养分预测，首先将土壤光谱数据作为非平稳的时间序列信号，通过短时傅里叶变换转换为二维频谱图，然后结合S
‑
G卷积平滑算法、多元散射校正以及中心化处理方法对土壤光谱数据进行预处理，转换成稳定的序列数据；最后将预处理后的数据分两路输入到搭建的多任务卷积神经网络回归模型，同一网络模型中同时预测多种土壤养分属性。
[0033]与现有技术相比，本专利技术优点在于：
[0034](1)根据建模性能的优劣反过来选择预处理方法，这样能够确定选择最优的方法处理数据。本专利技术结合卷积平滑、多元散射校正以及尺度缩放中心化用于数据预处理，去除了无关干扰因素，减少对分析结果的影响，使预测的结果更为准确。
[0035本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多任务学习的回归预测方法，其特征在于，包括：步骤1、数据预处理：结合S
‑
G卷积平滑算法、多元散射校正以及中心化处理方法对原始数据进行预处理，转换成稳定的序列数据；另外，将原始数据通过短时傅里叶变换转换为二维频谱图；步骤2、搭建模型：将预处理后的数据分两路输入到搭建的多任务卷积神经网络回归模型，分别将序列数据输入到模型的一维卷积中，将频谱图输入到模型的二维卷积中进行处理；步骤3、网络评估：从模型的回归拟合度和预测精度两个方面评估模型性能，采用决定系数R2、建模均方根误差RMSEC、预测均方根误差RMSEP和预测相对分析误差RPD来作为评价标准。2.根据权利要求1所述的基于多任务学习的回归预测方法，其特征在于，步骤2中，原始数据通过预处理之后，作为模型的输入进入隐含层形成更为抽象的深层表示，经过卷积层、池化层提取并学习数据的内部特征，同时获取局部抽象特征映射，最后经过全连接层的信息整合，分别输出预测值。3.根据权利要求2所述的基于多任务学习的回归预测方法，其特征在于，步骤2中，所述的多任务卷积神经网络回归模型的网络结构中，前面的卷积层和池化层为所有预测任务之间共享的隐藏层，用于每个任务学习数据中的共享特征；之后通过不同的全连接层分支进行特定的任务预测，分别如下：序列数据首先通过第一路输入到网络中进行训练，第一层为具有64个滤波器的一维卷积层，之后添加最大池化层进行下采样操作，第三层为具有128滤波器的卷积层；之后构建残差模块，其中包括两层扩张系数分别为2和4的扩张卷积层以及参数完全相同的一维卷积层，并在残差模块内的每个扩张卷积层后使用Dropout正则化参数；接着采用全连接层将上一层的所有输出连接到下一层的所有输入，进行信息整合；网络的第二路通过将频谱图作为输入，采用三层二维卷积层进行训练，并在卷积层中间添加池化层，来降低参数维度，防止网络过拟合；之后又通过Flatten层转换两路CNN提取的特征数据类型使其相加，最后三个任务独立训练，使用三个分支的全连接层来对应不同的任务预测输出。4.根据权利要求1
‑
3任一项所述的基于多任务学习的回归预测方法，其特征在于，步骤1中所述的S
‑<...

【专利技术属性】
技术研发人员：殷波，魏志强，吴剑，孙雁，倪金，孙鲁宁，王俏俏，
申请(专利权)人：青岛海尔创新科技有限公司，
类型：发明
国别省市：