一种基于矩阵低秩恢复的时间序列突变点检测方法技术

本发明专利技术涉及一种基于矩阵低秩恢复的时间序列突变点检测方法，对待检测的时间序列预处理得到M个迹矩阵，基于鲁棒主成份分析从迹矩阵中恢复低秩矩阵，使用恢复的低秩矩阵构造子空间和特征向量，求解欧氏距离，得到变化得分，比较变化得分与设置阈值，最终确定突变发生的位置。本发明专利技术区别于现有技术中RPCA被广泛使用于解决多维数据的稀疏噪声问题，通过SST中的迹矩阵构造将RPCA应用于一维时间序列当中，旨在通过对迹矩阵进行低秩恢复来滤除稀疏噪声。本发明专利技术主要针对观测序列当中存在的稀疏大幅值噪声问题，可以有效抑制稀疏噪声污染导致的检测虚警率上升的发生，同时可提升检测的准确率。

【技术实现步骤摘要】
一种基于矩阵低秩恢复的时间序列突变点检测方法
本专利技术涉及特别适用于特定功能的数字计算设备或数据处理设备或数据处理方法的
，特别涉及一种有效抑制稀疏噪声污染导致的检测虚警率上升、有效提高检测准确率的基于矩阵低秩恢复的时间序列突变点检测方法。
技术介绍
时间序列的突变点检测在数据挖掘和信息安全领域应用广泛，其旨在从给定的序列当中发现性质突变的采样点。现有技术中，常用的时间序列突变点检测方法是基于子空间的方法，该类方法使用时间片段中的采样点构造迹矩阵，并利用迹矩阵张成空间的差异性来描述相邻时间片段之间的性质变化。奇异谱变换(SingularSpectrumTransform,SST)是其中具有代表性的序列突变点检测方法，该方法运用主成份分析(PrincipalComponentAnalysis,PCA)将相邻时间序列采样片段之间的差异性转化为子空间的距离进行描述。但是，PCA是基于高斯分布假设的主成份分析方法，仅当数据存在小幅值高斯噪声时，PCA可准确找出数据分布的主成份方向。换而言之，数据存在大幅值噪声(或者毛刺噪声)干扰时，PCA的性能会受到很大影响，因此，基于PCA的SST检测方法在面对此类噪声时，检测性能也会降低，表现为准确度的下降和虚警率的上升。近来，针对观测数据中的稀疏噪声污染问题，还有一种鲁棒的PCA方法(RobustPCA,RPCA)被提出，该方法将原观测数据矩阵通过凸优化建模方法分解为低秩信号矩阵和稀疏噪声矩阵，RPCA在矩阵低秩恢复上的优异性能使其广泛应用于图像和生物信息学处理当中。
技术实现思路
本专利技术解决的技术问题是，现有技术中，观测序列当中存在稀疏大幅值噪声，而导致PCA的性能受到很大影响，基于PCA的SST检测方法在面对这类噪声时，检测性能降低，表现为准确度的下降和虚警率的上升，为此，本专利技术提供了一种优化的基于矩阵低秩恢复的时间序列突变点检测方法。本专利技术所采用的技术方案是，一种基于矩阵低秩恢复的时间序列突变点检测方法，所述方法包括以下步骤：步骤1：对待检测的时间序列进行预处理，得到M个迹矩阵，初始化计数变量m＝1；步骤2：利用鲁棒主成分分析方法对第m个和第m+d个迹矩阵进行低秩恢复，其中，d为时延，d＞0；分别取低秩恢复后的低秩矩阵作为恢复后的矩阵；步骤3：将恢复后的第m个低秩矩阵进行子空间构造，计算恢复后的第m+d个低秩矩阵的特征向量；步骤4：求解步骤3中构造的子空间和特征向量之间的欧氏距离E；步骤5：m＝m+1，若m+d>M，则执行下一步，否则返回步骤2；步骤6：对生成的M-d个欧氏距离E进行归一化，并与阈值W比较，确定突变发生的位置，为时间序列突变点；0＜W＜1。优选地，所述步骤1中，预处理包括以下步骤：步骤1.1：令待截取的子序列长度为L，对时间序列的任一时间节点向前取L-1个时间节点，以所述L-1个时间节点和所述任一时间节点为子序列；步骤1.2：针对该子序列构造迹矩阵；步骤1.3：若迹矩阵个数小于M，则返回步骤1.1，否则得到M个迹矩阵。优选地，所述子序列的长度在整个时间序列上固定。优选地，M的值为时间序列的长度减去子序列的长度加一。优选地，所述步骤3包括以下步骤：步骤3.1：对第m个迹矩阵对应的恢复后的低秩矩阵做奇异值分解，将l个最大的奇异值对应的左奇异向量作为基向量构造该迹矩阵对应的子空间；步骤3.2：对第m+d个迹矩阵对应的恢复后的低秩矩阵做奇异值分解，将最大的奇异值对应的左奇异值向量取出，作为描述第m+d个迹矩阵变化模式的特征向量。优选地，所述步骤3.1中，低秩矩阵奇异值分解得到w个奇异值，将w个奇异值从大到小排列为{σ1,σ2,...,σw}，l取值为满足的最小值l0，1≤i≤w，1≤j≤w；90％≤η≤99％。优选地，所述步骤6中，归一化为对生成的M-d个欧氏距离E归一化至区间[0,1]。本专利技术提供了一种优化的基于矩阵低秩恢复的时间序列突变点检测方法，通过对数据进行预处理，得到与时间序列采样片段对应的迹矩阵，基于鲁棒主成份分析从迹矩阵中恢复低秩矩阵，使用恢复的低秩矩阵构造子空间和特征向量，求解欧氏距离，得到变化得分，比较变化得分与设置阈值，最终确定突变发生的位置。本专利技术区别于现有技术中RPCA被广泛使用于解决多维数据的稀疏噪声问题，通过SST中的迹矩阵构造将RPCA应用于一维时间序列当中，旨在通过对迹矩阵进行低秩恢复来滤除稀疏噪声。本专利技术主要针对观测序列当中存在的稀疏大幅值噪声问题，可以有效抑制稀疏噪声污染导致的检测虚警率上升的发生，同时可提升检测的准确率。附图说明图1为本专利技术的方法流程图；图2为本专利技术的实施例的时间序列示意图，其中，t0为固定的时间节点，t0左侧有n个长度为w的子序列构造为迹矩阵H(t0)，以实线框表示，t0右侧为与迹矩阵H(t0)参与比较的、时延为d的同形状迹矩阵H(t0+d)，以虚线框表示。具体实施方式下面结合实施例对本专利技术做进一步的详细描述，但本专利技术的保护范围并不限于此。本专利技术涉及一种基于矩阵低秩恢复的时间序列突变点检测方法，所述方法包括以下步骤。步骤1：对待检测的时间序列进行预处理，得到M个迹矩阵，初始化计数变量m＝1。所述步骤1中，预处理包括以下步骤：步骤1.1：令待截取的子序列长度为L，对时间序列的任一时间节点向前取L-1个时间节点，以所述L-1个时间节点和所述任一时间节点为子序列；步骤1.2：针对该子序列构造迹矩阵；步骤1.3：若迹矩阵个数小于M，则返回步骤1.1，否则得到M个迹矩阵。所述子序列的长度在整个时间序列上固定。M的值为时间序列的长度减去子序列的长度加一。本专利技术中，令给定时间序列为Y(t)＝{y(1),y(2),…,y(t),…,y(N)}，子序列长度为L以及任意时间节点t0∈{L,L+1,...,N}，如图2所示。本专利技术中，针对给定的Y(t)，在t0处截取一个长度为w的时延向量v(t0-1)＝[y(t0-w),…,y(t0-1)]T，其中，上标T表示矩阵的转置，基于n个这样的时延向量，构造迹矩阵H(t0)＝[v(t0-n),…,v(t0-2),v(t0-1)]，该迹矩阵H(t0)覆盖到时间序列的样本点为集合{y(t0-w-n+1),y(t0-w-n+2),...,y(t0-1)},该集合即作为时间节点t0对应的长度为L的子序列，故满足L＝w+n-1。本专利技术中，步骤1.1中的子序列的长度L在整个时间序列上是保持固定的，M的值为时间序列的长度减去子序列的长度加一，在本实施例中子序列的长度固定为L，即M＝N-L+1。本专利技术中，迹矩阵的详细描述已由参考文献KnowledgeDiscoveryfromHeterogeneousDynamicSystemsusingChange-PointCorrelations(TIde，SiamInternationalConferenceonDataMining2005)公开，本领域技术人员可以获知相关技术。步骤2：利用鲁棒主成分分析方法对第m个和第m+d个迹矩阵进行低秩恢复，其中，d为时延，d＞0；分别取低秩恢复后的低秩矩阵作为恢复后的矩阵。本专利技术中，将第m个迹矩阵使用鲁棒主成分分析方法(RPCA)分解为一个低秩矩阵和一个稀疏矩阵，将低秩矩阵作为恢复后的矩本文档来自技高网...

【技术保护点】
1.一种基于矩阵低秩恢复的时间序列突变点检测方法，其特征在于：所述方法包括以下步骤：步骤1：对待检测的时间序列进行预处理，得到M个迹矩阵，初始化计数变量m＝1；步骤2：利用鲁棒主成分分析方法对第m个和第m+d个迹矩阵进行低秩恢复，其中，d为时延，d＞0；分别取低秩恢复后的低秩矩阵作为恢复后的矩阵；步骤3：将恢复后的第m个低秩矩阵进行子空间构造，计算恢复后的第m+d个低秩矩阵的特征向量；步骤4：求解步骤3中构造的子空间和特征向量之间的欧氏距离E；步骤5：m＝m+1，若m+d>M，则执行下一步，否则返回步骤2；步骤6：对生成的M‑d个欧氏距离E进行归一化，并与阈值W比较，确定突变发生的位置，为时间序列突变点；0＜W＜1。

【技术特征摘要】
1.一种基于矩阵低秩恢复的时间序列突变点检测方法，其特征在于：所述方法包括以下步骤：步骤1：对待检测的时间序列进行预处理，得到M个迹矩阵，初始化计数变量m＝1；步骤2：利用鲁棒主成分分析方法对第m个和第m+d个迹矩阵进行低秩恢复，其中，d为时延，d＞0；分别取低秩恢复后的低秩矩阵作为恢复后的矩阵；步骤3：将恢复后的第m个低秩矩阵进行子空间构造，计算恢复后的第m+d个低秩矩阵的特征向量；步骤4：求解步骤3中构造的子空间和特征向量之间的欧氏距离E；步骤5：m＝m+1，若m+d>M，则执行下一步，否则返回步骤2；步骤6：对生成的M-d个欧氏距离E进行归一化，并与阈值W比较，确定突变发生的位置，为时间序列突变点；0＜W＜1。2.根据权利要求1所述的一种基于矩阵低秩恢复的时间序列突变点检测方法，其特征在于：所述步骤1中，预处理包括以下步骤：步骤1.1：令待截取的子序列长度为L，对时间序列的任一时间节点向前取L-1个时间节点，以所述L-1个时间节点和所述任一时间节点为子序列；步骤1.2：针对该子序列构造迹矩阵；步骤1.3：若迹矩阵个数小于M，则返回步骤1.1，否则得到M个迹矩阵。3.根据权利要求2所述的...

【专利技术属性】
技术研发人员：刘博，范渊，
申请(专利权)人：杭州安恒信息技术股份有限公司，
类型：发明
国别省市：浙江,33