一种基于时间序列的空间分析异常检测方法技术

本发明专利技术涉及一种基于时间序列的空间分析异常检测方法。该方法主要包括同一国土规划空间分析任务识别和国土规划空间分析异常检测两部分，可识别国土规划分析服务平台同一空间分析任务产生的操作，并能检测出引起图层分析服务性能下降的异常响应。本发明专利技术考虑不同图层在分析任务中的共现特点，能提高检测的准确性，可为国土规划空间分析服务平台运行维护提供参考，能够有效避免规模化并行服务中带来的性能下降处理不及时的问题，有助于维持国土规划空间分析服务性能的稳定性。划空间分析服务性能的稳定性。划空间分析服务性能的稳定性。

【技术实现步骤摘要】
一种基于时间序列的空间分析异常检测方法


[0001]本专利技术属于国土规划空间分析异常检测领域，特别是涉及一种基于时间序列的空间分析异常检测方法。

技术介绍

[0002]国土规划空间信息云平台采用分布式系统的管理方式，其规则和复杂性不断增加，使得日志量暴增。目前异常检测在现代大规模分布式系统的管理中起着重要作用，记录系统运行时信息的日志已广泛用于异常检测。在现代分布式系统全天候持续产生大量日志的背景下，基于自动日志分析的异常检测方法成为学术界和工业界具有实际重要性的研究课题。
[0003]如国土规划空间信息云平台这样的现代大规模服务系统，通过数千台机器来扩展构建分布式系统，扩展后分布式系统的高性能计算能够处理用户高并发的访问请求。与此同时，分布式系统下高并发用户访问请求产生的日志给基于日志的异常检测带来挑战。挑战主要集中在两方面：一是从原始日志数据集中识别出同一国土规划空间分析任务，二是基于国土规划空间分析日志的异常检测。
[0004]国土规划空间分析任务虽然可以通过空间分析任务号标识，但是无法区分用户前后多次对同一国土规划空间分析任务进行操作。因此考虑从国土规划空间分析日志数据之间的相关性入手解决上述问题，国土规划日志记录的是空间分析图层的分析返回结果，一次国土规划空间分析任务往往是对一个分析专题进行空间分析，因此同一专题下的不同图层很大概率会被同时分析，所以同一国土规划空间分析任务涉及的图层操作量之间相关性很强，因此可以通过不同图层操作量时间序列来辅助识别同一国土规划空间分析任务操作。
[0005]时间序列聚类是挖掘相似时间序列的有效方法，层次聚类采用自底向上的思想，只需要计算初始每对节点的相似度，按照相似度由高到低排序，逐步重新连接各结点。在时间序列聚类中，两段时间序列的长度可能并不相等，因此传统的时间序列聚类不能采用常用的欧式距离度量，为解决上述问题DynamicTimeWarping(DTW)被提出。DTW是一种衡量两个长度不同的时间序列相似度的方法，广泛应用在数据挖掘和信息检索等领域。
[0006]空间分析响应耗时是国土规划空间分析服务的重要性能评价指标，由于国土规划空间分析日志数据量巨大，很小比例的过长空间分析响应耗时也会造成大量用户的体验下降，因此有必要对空间分析响应耗时进行异常检测。在异常检测领域，Chandola等总结异常类别可以分为点异常、上下文异常和集体异常，国土规划空间分析异常既包括分析耗时前后差异过大的上下文异常，也包括分析耗时本身过长的点异常。对点异常的异常检测，Breunig等提出了一种局部异常因子，用于独立表示系统中某一组件的状态情况而不受到相关组件的影响。liu等提出一种孤立随机森林算法，这种方法采用下采样的方式将异常事件从所有的事件中隔离并提取识别，为大数据场景下的异常检测提供了线性时间复杂度的运算效率以及相对较低的内存需求。

技术实现思路

[0007]本专利技术针对现有技术的不足，提供一种基于时间序列的空间分析异常检测方法，实现了国土规划分析服务平台同一国土规划任务的识别，以及导致图层分析服务性能下降的异常响应的检测。该方法主要包括同一国土规划空间分析任务识别和国土规划空间分析异常检测两部分。同一国土规划空间分析任务识别部分，首先依据空间分析操作类型和图层两个维度，将图层分析日志原始数据集划分为各个特定操作类型和图层的子数据集，接着统计每个子数据集小时粒度的操作量时间序列，然后基于各操作量时间序列间的DTW距离矩阵，利用层次聚类方法，聚类并合并具有相似时间序列的子数据集，最后基于国土规划空间分析任务号和日志记录时间，提取同一规划空间分析项目“同一次操作”下的日志记录。国土规划空间分析异常检测部分主要基于图层分析日志记录的面积、耗时信息对国土规划空间分析异常操作进行识别和提取。
[0008]为了达到上述目的，本专利技术提供的技术方案是一种基于时间序列的空间分析异常检测方法，包括以下步骤：
[0009]步骤1，依据空间分析操作类型、具体的分析图层将图层分析日志原始数据集划分为特定操作类型和图层的子数据集，若子数据集为空，则不进行后续操作；
[0010]步骤2，统计步骤1划分得到的各个特定操作类型和图层子数据集的操作量时间序列；
[0011]步骤3，归一化步骤2中统计得到的每个操作量时间序列；
[0012]步骤4，计算步骤3归一化后的各个操作量时间序列间的DTW距离矩阵W；
[0013]步骤5，变换步骤4计算得到的操作量时间序列间的DTW距离矩阵为凝聚矩阵W
′
，凝聚矩阵W
′
是距离矩阵W的上三角矩阵的一维表示；
[0014]步骤6，基于步骤5得到的操作量时间序列间的DTW凝聚矩阵W
′
，用DTW距离替换聚类中各操作量时间序列之间的欧式距离衡量相似度，并基于Single
‑
Link方法自底向上层次聚类操作量时间序列，聚类得到相似的特定操作类型和图层操作量时间序列；
[0015]步骤7，合并步骤6聚类得到的相似操作量时间序列对应的特定操作类型和图层子数据集；
[0016]步骤8，基于国土规划空间分析任务号，提取步骤7合并后数据集中同一国土规划空间分析项目的日志记录；
[0017]步骤9，提取步骤8中同一国土规划空间分析项目“同一次操作”下的日志记录；
[0018]步骤10，若步骤9中国土规划空间分析项目日志“同一次操作”下的记录耗时超过阈值(α为经验值)，则判定该空间分析项目日志记录为异常操作；
[0019]步骤11，若步骤9中国土规划空间分析项目日志“同一次操作”下的记录耗时小于等于α，则根据步骤9中同一国土规划空间分析项目“同一次操作”下的日志记录的返回面积、耗时信息判断其是否为异常操作。
[0020]而且，所述步骤3中归一化公式如下：
[0021][0022]其中，X
′
为归一化后操作量时间序列值，X为原始操作量时间序列值，X
min
为最小操作量时间序列值，X
max
为最大操作量时间序列值。
[0023]而且，所述步骤4中DTW距离矩阵W的计算方式如下：假定任意两个时间序列L
Ai,Li
(S,t)＝{S
ii
(t1),S
ii
(t2),
…
,S
ii
(t
i
)}和L
Aj,Lj
(S,t)＝{S
jj
(t1),S
jj
(t2),
…
,S
jj
(t
i
)}，S(t)表示时间t对应的时间序列值，Ai、Li表示第i个时间序列的操作类型和图层，若L
Ai,Li
(S,t)有n个数据点，L
Aj,Lj
(S,t)有m个数据点，计算两个序列各个点之间的距离，得到m
×
n的距离矩阵M：...

【技术保护点】

【技术特征摘要】
1.一种基于时间序列的空间分析异常检测方法，其特征在于，包括如下步骤：步骤1，依据空间分析操作类型、具体的分析图层将图层分析日志原始数据集划分为特定操作类型和图层的子数据集，若子数据集为空，则不进行后续操作；步骤2，统计步骤1划分得到的各个特定操作类型和图层子数据集的操作量时间序列；步骤3，归一化步骤2中统计得到的每个操作量时间序列；步骤4，计算步骤3归一化后的各个操作量时间序列间的DTW距离矩阵W；步骤5，变换步骤4计算得到的操作量时间序列间的DTW距离矩阵为凝聚矩阵W
′
，凝聚矩阵W
′
是距离矩阵W的上三角矩阵的一维表示；步骤6，基于步骤5得到的操作量时间序列间的DTW凝聚矩阵W
′
，用DTW距离替换聚类中各操作量时间序列之间的欧式距离衡量相似度，并基于Single
‑
Link方法自底向上层次聚类操作量时间序列，聚类得到相似的特定操作类型和图层操作量时间序列；步骤7，合并步骤6聚类得到的相似操作量时间序列对应的特定操作类型和图层子数据集；步骤8，基于国土规划空间分析任务号，提取步骤7合并后数据集中同一国土规划空间分析项目的日志记录；步骤9，提取步骤8中同一国土规划空间分析项目“同一次操作”下的日志记录；步骤10，若步骤9中国土规划空间分析项目日志“同一次操作”下的记录耗时超过阈值α，α为经验值，则判定该空间分析项目日志记录为异常操作；步骤11，若步骤9中国土规划空间分析项目日志“同一次操作”下的记录耗时小于等于α，则根据步骤9中同一国土规划空间分析项目“同一次操作”下的日志记录的返回面积、耗时信息判断其是否为异常操作。2.如权利要求1所述的一种基于时间序列的空间分析异常检测方法，其特征在于：所述步骤3中归一化公式如下：其中，X
′
为归一化后操作量时间序列值，X为原始操作量时间序列值，X
min
为最小操作量时间序列值，X
max
为最大操作量时间序列值。3.如权利要求1所述的一种基于时间序列的空间分析异常检测方法，其特征在于：所述步骤4中DTW距离矩阵W的计算方式如下：假定任意两个时间序列L
Ai,Li
(S,t)＝{S
ii
(t1),S
ii
(t2),
…
,S
ii
(t
i
)}和L
Aj,Lj
(S,t)＝{S
jj
...

【专利技术属性】
技术研发人员：李锐，吴华意，宋旭颖，董朝阳，赖英杰，洪勇，闫科，
申请(专利权)人：武汉光谷信息技术股份有限公司，
类型：发明
国别省市：