一种基于一致性学习的模糊分段时间序列分类方法和系统技术方案

本发明专利技术公开了一种基于一致性学习的模糊分段时间序列分类方法和系统，属于时间序列和模式识别技术领域

【技术实现步骤摘要】
一种基于一致性学习的模糊分段时间序列分类方法和系统


[0001]本专利技术涉及时间序列和模式识别
，尤其涉及一种基于一致性学习的模糊分段时间序列分类方法和系统
。

技术介绍

[0002]时间序列分类
(Time series classification
，
TSC)
是数据挖掘领域的一个热门研究方向，近年来随着时间序列数据的快速增长，其重要性日益凸显
。
为此，研究人员提出了许多算法
[Hassan 2019]。
传统算法如
Rocket
及其变种
[Dempster 2020,Dempster 2021]以及
HIVE
‑
COTE
等集成方法
[Lines 2018]在
TSC
中取得了较高的准确性，它们利用了相对较低计算成本的随机卷积核，同时对个体分类器进行加权
。
此外，深度模型的非线性建模能力的提升导致了基于深度学习的
TSC
算法越来越普遍
。TSC
中采用了多种技术：基于循环神经网络
(RNN)
的方法
[Rajan 2018,Shen 2020]通过状态转换捕捉时间变化；基于多层感知机
(MLP)
的方法
[Challu 2022,Zhang 2022]将时间依赖关系编码为
MLP
层的参数；最新的
TimesNet
方法
[Wu 2023]将一维时间序列转化为二维空间，在五个主流任务上取得了最先进的性能
。
此外，基于注意力机制的
Transformer
模型
[Nie 2023,Shao 2022,Wu 2022,Zhou 2022]被广泛应用
。
其中，我们注意到
PatchTST[Nie 2023]和
STEP[Shao 2022]使用了类似本文提出的模型的分段机制
。
然而，这些模型只在建模过程中利用时间点之间的依赖关系来融入上下文信息，而不用于时间段的分类，因此在一定程度上缺乏上下文感知能力
。
[0003]在机器学习中，噪声标签学习是一个重要且具有挑战性的研究课题，因为现实世界的数据往往依赖于容易出错的手动注释
。
早期关于噪声标签的理解工作主要集中在统计学习方面
[Angluin 1988,Han 2021,Lawrence 2001]。
包括
Sukhbaatar
等人在
2015
年在噪声标签表示学习方面开创了新时代
[Sukhbaatar 2014]。
处理标签噪声问题的一个重要工具是标签噪声转移矩阵，它表示从干净标签到噪声标签的转移概率
[Han 2020]。
常见的损失修正技术包括前向和后向修正
[Patrini 2017]，同时使用先验知识屏蔽无效的类别转换也是一种重要方法
[Han 2018]。
修改目标函数是另一种普遍的策略
。
例如，添加显式或隐式的正则化项可以减小模型对噪声的敏感性，而对错标记的数据进行重新加权可以减小其对目标函数的影响
[Azadi 2016,Liu 2022,You 2020]。
其他方法涉及在小损失实例上进行训练和利用记忆效应
。MentorNet[Jiang 2018]预先训练一个辅助网络，用于为主网络训练选择干净的实例
。Co
‑
teaching[Han 2018]和
Co
‑
teaching+[Yu 2019]引入了两个具有不同学习能力的神经网络同时训练，它们相互过滤噪声标签
。
据我们所知，时间序列领域中唯一关于噪声标签学习的工作是
SREA[Castellani 2021]，它使用共享嵌入表示逐步自我标记错标记的数据样本，以自监督的方式训练分类器和自编码器
。
[0004]在
2009
年，
Bengio
等人提出了课程学习
(Curriculum Learning
，
CL)
的概念
[Bengio 2009]，该方法模仿人类学习的过程，从简单样本开始逐渐过渡到复杂样本
。
基于这一概念，课程学习可以去噪声数据，因为学习者被鼓励在更简单的数据上进行训练，并在噪声样本上花费较少的时间
[Gong 2016,Wang 2021]。
目前主流的方法包括自适应学习
(Self
‑
paced Learning)[Kumar 2010]，其中学生根据自己的学习进度安排学习；基于预定义训练计划的转移教师
(Transfer Teacher)[Weinshall 2018]；以及将学生的反馈信息纳入框架的强化学习教师
(RL Teacher)[Graves 2017,Matiisen 2019]。

技术实现思路

[0005]为了解决现有技术对模糊边界时间序列分类效果不佳的问题，本专利技术提出了一种基于一致性学习的模糊分段时间序列分类方法和系统，通过利用
Con
‑
Transformer
获得更连续的表示，利用邻居标签一致性判别和约束预测行为的技术获得更连贯的预测，结合渐进的一致性标签学习的训练过程，获得更鲁棒
、
更一致的模型，实现在边界模糊时间序列上的准确分类
。
[0006]本专利技术采用如下技术方案：
[0007]第一个方面，本专利技术提供了一种基于一致性学习的模糊分段时间序列分类方法，包括：
[0008]将给定的时间序列数据划分为若干时间段；
[0009]利用编码器模块提取各时间段的局部表示，基于所述的局部表征编码各时间段的全局关联表示；
[0010]利用上下文感知的连贯预测模块根据各时间段的全局关联表示进行自身预测和上下文预测，根据双曲正切函数拟合上下文预测的单调性，得到约束后的上下文预测；
[0011]结合自身预测和约束后的上下文预测得到各时间段的最终预测
。
[0012]进一步地，所述的编码器模块和上下文感知的连贯预测模块采用层次化训练方法，包括：
[0013]给定一段时间序列数据，将其按照不同类别划分为若干子序列，将每一子序列从中心点向边界划分成由低到高不同层次，从各层次子序列中采样相同数量的时间段作为样本；
[0014]按照由低到高不同层次划分训练批次，根据各时间段样本的原始标签
、
自身预测结果
、
约束后的上下文预测结果和训练进度，更新每轮训练的协调标签；
[0015]对于每轮训练，根据当前轮次的协调本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种基于一致性学习的模糊分段时间序列分类方法，其特征在于，包括：将给定的时间序列数据划分为若干时间段；利用编码器模块提取各时间段的局部表示，基于所述的局部表征编码各时间段的全局关联表示；利用上下文感知的连贯预测模块根据各时间段的全局关联表示进行自身预测和上下文预测，根据双曲正切函数拟合上下文预测的单调性，得到约束后的上下文预测；结合自身预测和约束后的上下文预测得到各时间段的最终预测
。2.
根据权利要求1所述的方法，其特征在于，所述的编码器模块和上下文感知的连贯预测模块采用层次化训练方法，包括：给定一段时间序列数据，将其按照不同类别划分为若干子序列，将每一子序列从中心点向边界划分成由低到高不同层次，从各层次子序列中采样相同数量的时间段作为样本；按照由低到高不同层次划分训练批次，根据各时间段样本的原始标签
、
自身预测结果
、
约束后的上下文预测结果和训练进度，更新每轮训练的协调标签；对于每轮训练，根据当前轮次的协调标签和上下文感知的连贯预测模块得到的自身预测结果计算自身预测的交叉熵损失函数；将不同时间段的全局关联表示两两拼接，根据拼接后的表示判断两两时间段是否属于同一类别，获得一致性判别结果，利用一致性判别结果与真实一致性标签计算上下文预测的交叉熵损失函数；基于两个交叉熵损失函数训练所述的编码器模块和上下文感知的连贯预测模块
。3.
根据权利要求2所述的方法，其特征在于，所述的利用上下文感知的连贯预测模块根据各时间段的全局关联表示进行上下文预测，具体为：将不同时间段的全局关联表示两两拼接，对拼接后的表示进行邻居标签一致性判别，获得一致性判别结果，以获得的一致性判别结果为权重向量，将权重向量与相对应时间段的自身预测结果的乘积作为该时间段的上下文预测结果
。4.
根据权利要求2所述的基于一致性学习的模糊分段时间序列分类方法，其特征在于，所述的将每一子序列从中心点向边界划分成由低到高不同层次，从各层次子序列中采样相同数量的时间段作为样本，包括：对于一个长度为
K
的子序列，将其划分为等长的5个层次：从各层次的子序列中采样相同数量且等长的时间序列；针对每一个采样到的时间序列，设定一个长度为
W、
滑动距离为
S
的滑动窗口，对其进行分段划分，将每一个时间段作为一个样本
。5.
根据权利要求2所述的基于一致性学习的模糊分段时间序列分类方法，其特征在于，所述的按照由低到高不同层次划分训练批次，根据各时间段样本的原始标签
、
自身预测结果
、
约束后的上下文预测结果和训练进度，更新每轮训练的协调标签，具体为：以最低的层次作为最初的训练批次，其余层次按照由低到高的的顺序依次加入，每加入一个层次前训练5轮，根据以下公式更新协调标签：
其中，表示最近5轮各时间段的自身预测，表示最近5轮各时间段的约束后的上下文预测，表示指数平均的权重向量，是最近5轮的各时间段的自身预测的聚合结果，表示最近5轮的各时间段的约束后的上下文预测的聚合结果，
y0表示原始标签，
y
e
表示第
e
轮更新后的协调标签，
η
为动态加权因子，用于调整标签更新的程度；
Rescale(.)
为对矩阵进行按行归一化函数
。6.
根据权利要求1所述的基于一致性学习的模糊分段时间序列分类方法，其特征在于，所述的编码器模块包括
CNN
网络
、CT1
网络
、
均值池化层
、CT2
网络；所述的...

【专利技术属性】
技术研发人员：杨洋，陈俊儒，
申请(专利权)人：浙江大学，
类型：发明
国别省市：