一种基于无监督多模型融合的时序任务预测方法和装置制造方法及图纸

本发明专利技术涉及一种基于无监督多模型融合的时序任务预测方法和装置，其中方法包括将时序任务输入优化好的目标模型中，得到预测结果，优化好的预测模型优化过程如下：初始化源模型和目标模型，将无标签数据集输入源模型中，根据源模型输出的时序特征和预测结果，计算联合损失函数，继而循环优化输入目标模型。与现有技术相比，本发明专利技术具有预测结果更精确等优点。本发明专利技术具有预测结果更精确等优点。本发明专利技术具有预测结果更精确等优点。

【技术实现步骤摘要】
一种基于无监督多模型融合的时序任务预测方法和装置


[0001]本专利技术涉及数据挖掘与机器学习领域，尤其是涉及一种基于无监督多模型融合的时序任务预测方法和装置。

技术介绍

[0002]在现实应用中，大量机器学习模型仅针对特定任务设计，完成任务后即失去使用价值。然而，一个精心设计和训练的模型通常高度凝练了训练数据蕴含的“知识”。模型复用的目标是利用已有的预训练模型辅助目标模型学习，尤其适用于数据量及数据标注不足的情形。模型复用的主要方法包括知识蒸馏、知识融合。
[0003]知识蒸馏通过拟合源模型输出的软标签，提升轻量化目标模型的性能。随后，基于中间层约束的蒸馏方法发展迅速。注意力迁移通过配准源模型与目标模型间多组注意力特征图，为特征层的知识蒸馏增加更强的逐层约束。类似的，Aguilar等人通过大型模型的中间层内部表征引导简单模型的训练，相比于软标签的学习方式更加有效。除了可以实现模型压缩之外，知识蒸馏还可以显著地加快目标模型的训练。目前，知识蒸馏大多应用于单个源模型、相同任务域的情形，即使涉及多个源模型也要求源模型与目标模型的任务域严格对齐。
[0004]知识融合的研究重点在于源模型和目标模型之间多对一的知识传递，即把多个不同任务的源模型相融合，得到兼具各源模型任务能力的目标模型。Shen等人提出了一种面向图像细粒度分类的卷积网络知识融合框架，使用卷积自编码器融合多个源模型对应层的特征图，得到每一层的复合特征图，之后逐层进行回归，最终将所有回归模块串联得到目标模型。之后的研究也沿袭了此思路，Ye等人选用带分支的沙漏型网络作为目标模型，实现了不同图像像素级任务间的融合。但此方法要求源模型之间在层次结构上基本保持一致，适用性不足。Luo等人提出基于公共特征学习的异构卷积网络融合方法，将源模型和目标模型末端的特征图变换到公共特征空间计算损失，放宽了对源模型的结构约束。知识融合的相关研究还不广泛，目前的成果主要集中于图像领域的卷积网络融合，对于时序任务缺乏成熟的算法框架。
[0005]时序预测主要应用于对于某地区天气的预测或者是在工业生产中对轴承的使用情况进行预测。现有的针对时序任务的预测方法虽然涉及了模型的融合，但仅仅只是将数据输入多个模型，并各设一个独立的判断标准，这种方法要求所有模型的功能以及参数具有极高的一致性，相当于多个人对同一件事进行投票，而这样就要求每个人都具有相同的水准，否则会大大影响判断的准确度，而现有的技术难以实现模型的统一，对于时序任务的预测并不准确。

技术实现思路

[0006]本专利技术的目的就是为了克服上述现有技术存在的缺陷而提供一种基于无监督多模型融合的时序任务预测方法和装置。
[0007]本专利技术的目的可以通过以下技术方案来实现：
[0008]一种基于无监督多模型融合的时序任务预测方法，包括以下步骤：
[0009]将时序任务输入优化好的目标模型中，得到预测结果，所述优化好的预测模型优化过程如下：
[0010]S1、初始化无标签数据集、多个源模型、源模型任务、目标模型、目标任务和特征融合模块；
[0011]S2、随机采样无标签数据集中的若干数据，输入所有源模型中，得到若干组时序特征和预测结果；
[0012]S3、将每组数据对应的所有源模型的时序特征根据时间片分布进行拼接，并输入特征融合模块，得到特征融合损失；
[0013]S4、将每组数据对应的所有源模型的预测结果拼接，并根据拼接好的时序特征消除预测冲突，得到真实预测结果，并根据真实预测结果计算得到分类损失；
[0014]S5、将步骤S2获取的若干数据输入目标模型，根据分类损失和特征融合损失，优化输入目标模型。
[0015]进一步地，步骤S4中消除预测冲突的方法如下：
[0016]A1、获取置信度最高和次高的拼接预测结果；
[0017]A2、若两者差值小于设定阈值，则判定存在冲突，执行步骤A3；若两者差值大于设定阈值，则判定不存在冲突，执行步骤A4；
[0018]A3、根据对应样本的时序特征，计算置信度最高和次高拼接预测结果的相似度，取较高值的预测结果为真实预测结果；
[0019]A4、采用滑动平均法更新置信度最高的拼接预测结果，得到真实预测结果。
[0020]进一步地，步骤S5中优化输入目标模型的方式为随机梯度下降法，执行完步骤S5后返回步骤S3进行循环优化。
[0021]进一步地，当循环优化轮数低于设定的轮数阈值时，不消除预测冲突，直接采用滑动平均法更新置信度最高的拼接预测结果，计算分类损失。
[0022]进一步地，若源模型任务重叠或源模型任务超过目标任务范畴，则对拼接好的预测结果进行去重和裁剪。
[0023]进一步地，根据源模型和源模型任务，设置步骤S3中时间片分布的权值。
[0024]一种基于无监督多模型融合的时序任务预测装置，包括存储器和处理器；所述存储器，用于存储计算机程序；所述处理器，用于当执行所述计算机程序时，实现以下方法：
[0025]将时序任务输入优化好的目标模型中，得到预测结果，所述优化好的预测模型优化过程如下：
[0026]S1、初始化无标签数据集、多个源模型、源模型任务、目标模型、目标任务和特征融合模块；
[0027]S2、随机采样无标签数据集中的若干数据，输入所有源模型中，得到若干组时序特征和预测结果；
[0028]S3、将每组数据对应的所有源模型的时序特征根据时间片分布进行拼接，并输入特征融合模块，得到特征融合损失；
[0029]S4、将每组数据对应的所有源模型的预测结果拼接，并根据拼接好的时序特征消
除预测冲突，得到真实预测结果，并根据真实预测结果计算得到分类损失；
[0030]S5、将步骤S2获取的若干数据输入目标模型，根据分类损失和特征融合损失，优化输入目标模型。
[0031]与现有技术相比，本专利技术具有以下优点：
[0032]1、本专利技术对源模型输出的时间特征和预测结果分别进行了数据处理，用于计算特征融合损失和分类损失，并根据上述损失函数优化目标模型；本专利技术将所有源模型的结果进行了融合，与现有技术中将源模型的结果逐一输出不同，本专利技术将结果依据时序特征的基本特点输出后，输入一个目标模型进行不断地优化，统筹考虑了所有源模型的特性，使最终得到的目标模型预测准确度更高。
[0033]2、本专利技术对预测冲突进行了判断及消除，同时在优化初期由于样本随机性无法消除冲突，只执行结果更新，不消除冲突，进一步提高了模型预测的准确性。
[0034]3、本专利技术对时间片分布赋予了权值，可更符合实际的源模型特点，进一步提高了模型预测的准确性。
附图说明
[0035]图1为本专利技术的目标模型优化流程图。
[0036]图2为本专利技术的目标模型优化总体过程示意图。
具体实施方式
[0037]下面结合附图和具体实施例对本专利技术进行详细说明。本实施例以本专利技术技术方案为前提进行实施，给出了详细的实施本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于无监督多模型融合的时序任务预测方法，其特征在于，包括以下步骤：将时序任务输入优化好的目标模型中，得到预测结果，所述优化好的预测模型优化过程如下：S1、初始化无标签数据集、多个源模型、源模型任务、目标模型、目标任务和特征融合模块；S2、随机采样无标签数据集中的若干数据，输入所有源模型中，得到若干组时序特征和预测结果；S3、将每组数据对应的所有源模型的时序特征根据时间片分布进行拼接，并输入特征融合模块，得到特征融合损失；S4、将每组数据对应的所有源模型的预测结果拼接，并根据拼接好的时序特征消除预测冲突，得到真实预测结果，并根据真实预测结果计算得到分类损失；S5、将步骤S2获取的若干数据输入目标模型，根据分类损失和特征融合损失，优化输入目标模型。2.根据权利要求1所述的一种基于无监督多模型融合的时序任务预测方法，其特征在于，步骤S4中消除预测冲突的方法如下：A1、获取置信度最高和次高的拼接预测结果；A2、若两者差值小于设定阈值，则判定存在冲突，执行步骤A3；若两者差值大于设定阈值，则判定不存在冲突，执行步骤A4；A3、根据对应样本的时序特征，计算置信度最高和次高拼接预测结果的相似度，取较高值的预测结果为真实预测结果；A4、采用滑动平均法更新置信度最高的拼接预测结果，得到真实预测结果。3.根据权利要求2所述的一种基于无监督多模型融合的时序任务预测方法，其特征在于，步骤S5中优化输入目标模型的方式为随机梯度下降法，执行完步骤S5后返回步骤S3进行循环优化。4.根据权利要求3所述的一种基于无监督多模型融合的时序任务预测方法，其特征在于，当循环优化轮数低于设定的轮数阈值时，不消除预测冲突，直接采用滑动平均法更新置信度最高的拼接预测结果，计算分类损失。5.根据权利要求1所述的一种基于无监督多模型融合的时序任务预测方法，其特征在于，若源模型任务重叠或源模型任务超过目标任务范畴，则对拼接好的预测结果进行去重和裁剪。6.根据权利要求1所述的一种基于无监督多模型融合...

【专利技术属性】
技术研发人员：尤鸣宇，韩煊，
申请(专利权)人：同济大学，
类型：发明
国别省市：