【技术实现步骤摘要】
一种基于无监督多模型融合的时序任务预测方法和装置
[0001]本专利技术涉及数据挖掘与机器学习领域，尤其是涉及一种基于无监督多模型融合的时序任务预测方法和装置。
技术介绍
[0002]在现实应用中，大量机器学习模型仅针对特定任务设计，完成任务后即失去使用价值。然而，一个精心设计和训练的模型通常高度凝练了训练数据蕴含的“知识”。模型复用的目标是利用已有的预训练模型辅助目标模型学习，尤其适用于数据量及数据标注不足的情形。模型复用的主要方法包括知识蒸馏、知识融合。
[0003]知识蒸馏通过拟合源模型输出的软标签，提升轻量化目标模型的性能。随后，基于中间层约束的蒸馏方法发展迅速。注意力迁移通过配准源模型与目标模型间多组注意力特征图，为特征层的知识蒸馏增加更强的逐层约束。类似的，Aguilar等人通过大型模型的中间层内部表征引导简单模型的训练，相比于软标签的学习方式更加有效。除了可以实现模型压缩之外，知识蒸馏还可以显著地加快目标模型的训练。目前，知识蒸馏大多应用于单个源模型、相同任务域的情形，即使涉及多个源模型也要求源模型与目...
【技术保护点】
【技术特征摘要】
1.一种基于无监督多模型融合的时序任务预测方法，其特征在于，包括以下步骤：将时序任务输入优化好的目标模型中，得到预测结果，所述优化好的预测模型优化过程如下：S1、初始化无标签数据集、多个源模型、源模型任务、目标模型、目标任务和特征融合模块；S2、随机采样无标签数据集中的若干数据，输入所有源模型中，得到若干组时序特征和预测结果；S3、将每组数据对应的所有源模型的时序特征根据时间片分布进行拼接，并输入特征融合模块，得到特征融合损失；S4、将每组数据对应的所有源模型的预测结果拼接，并根据拼接好的时序特征消除预测冲突，得到真实预测结果，并根据真实预测结果计算得到分类损失；S5、将步骤S2获取的若干数据输入目标模型，根据分类损失和特征融合损失，优化输入目标模型。2.根据权利要求1所述的一种基于无监督多模型融合的时序任务预测方法，其特征在于，步骤S4中消除预测冲突的方法如下：A1、获取置信度最高和次高的拼接预测结果；A2、若两者差值小于设定阈值，则判定存在冲突，执行步骤A3；若两者差值大于设定阈值，则判定不存在冲突，执行步骤A4；A3、根据对应样本的时序特征，计算置信度最高和次高拼接预测结果的相似度，取较高值的预测结果为真实预测结果；A4、采用滑动平均法更新置信度最高的拼接预测结果，得到真实预测结果。3.根据权利要求2所述的一种基于无监督多模型融合的时序任务预测方法，其特征在于，步骤S5中优化输入目标模型的方式为随机梯度下降法，执行完步骤S5后返回步骤S3进行循环优化。4.根据权利要求3所述的一种基于无监督多模型融合的时序任务预测方法，其特征在于，当循环优化轮数低于设定的轮数阈值时，不消除预测冲突，直接采用滑动平均法更新置信度最高的拼接预测结果，计算分类损失。5.根据权利要求1所述的一种基于无监督多模型融合的时序任务预测方法，其特征在于，若源模型任务重叠或源模型任务超过目标任务范畴，则对拼接好的预测结果进行去重和裁剪。6.根据权利要求1所述的一种基于无监督多模型融合...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。