一种面向并发数据分析任务的性能瓶颈分析系统技术方案

本发明专利技术涉及一种面向并发数据分析任务的性能瓶颈分析系统，所述系统包括：PeBAO框架，用于对数据分析系统提供性能指标异常检测、任务性能瓶颈判定、瓶颈相关性分析和瓶颈优化建议功能。本发明专利技术通过PeBAO框架，用于对数据分析系统提供性能指标异常检测、任务性能瓶颈判定、瓶颈相关性分析和瓶颈优化建议；能够准确的分析任务与性能瓶颈的相关性，解决了运维人员难以准确还原瓶颈产生时的运行情况的问题，能够准确的定位性能瓶颈，并提供瓶颈分析报告。告。告。

【技术实现步骤摘要】
一种面向并发数据分析任务的性能瓶颈分析系统


[0001]本专利技术涉及计算机应用
，尤其涉及面向并发数据分析任务的性能瓶颈分析系统。

技术介绍

[0002]随着各领域数据量和用户数量的不断增加，数据分析系统在处理并发任务时会出现任务执行时间过长、系统响应速度慢等性能问题，这些问题将直接关系到用户体验和企业利益。
[0003]随着大数据时代的到来，用于分析和挖掘数据内部规律的产品层出不穷，但只有高质量的产品及高效的软件服务才能为企业保持顾客粘性，由独立厂商OLAP研究机构提出的FASMI(Fast Analysis of Shared Multi
‑
dimensional Information)特征表明：对于用户的大部分数据分析要求，系统应该能够在5秒内作出反应；对于简单的分析要求，系统应该能够在1秒内作出反应；而对于极少数的分析要求，响应时间可能超过20秒。
[0004]传统的性能分析仅仅通过观察系统资源(CPU、IO、内存)的使用情况对系统性能进行研究，停留在狭义的性能指标表象阶段。这样的方法缺乏对性能瓶颈更深层次的挖掘，运维人员往往还需要结合性能指标与系统内部运行情况(系统日志)进行更深层次的性能瓶颈相关性分析。
[0005]而数据分析系统支持多用户并发操作，并发任务会产生集CPU、IO、内存瓶颈于一体的混合瓶颈；在现有技术中，由于性能瓶颈具有持续时间不定，不可复现等特点，运维人员难以准确还原瓶颈产生时系统的运行情况，导致无法准确定位性能瓶颈并提供瓶颈分析报告。<br/>
技术实现思路

[0006]为了解决现有技术存在的上述技术缺陷，本专利技术提供了一种面向并发数据分析任务的性能瓶颈分析系统，可以有效解决
技术介绍
中的问题。
[0007]为了解决上述技术问题，本专利技术提供的技术方案具体如下：
[0008]本专利技术实施例公开了一种面向并发数据分析任务的性能瓶颈分析系统，所述系统包括：PeBAO框架，用于对数据分析系统提供性能指标异常检测、任务性能瓶颈判定、瓶颈相关性分析和瓶颈优化建议功能。
[0009]在上述任一方案中优选的是，PeBAO框架包括：
[0010]时间序列异常检测模块，用于对数据分析系统采集性能指标数据，识别异常时间序列，并将异常时间序列输出至性能瓶颈判定模块；
[0011]性能瓶颈判定模块，用于收集异常时间段内执行的所有数据分析任务，将查询语句的结构特征和执行特征输入随机森林分类算法，判定每个任务的性能瓶颈等级，并将中等级性能瓶颈和高等级性能瓶颈类别的任务集合发送至性能瓶颈相关性分析及优化模块；
[0012]性能瓶颈相关性分析及优化模块，用于对任务与瓶颈的相关程度和查询操作与瓶
颈的相关程度进行了量化，并结合启发式规则为每个数据分析任务提供查询优化建议。
[0013]在上述任一方案中优选的是，时间序列异常检测过程包括性能指标监控、时间序列数据获取、异常检测算法、时间序列异常判定和异常时间序列的输出。
[0014]在上述任一方案中优选的是，异常检测算法的处理流程如下：
[0015]在时间序列异常检测模块获取一段数据分析系统的性能指标数据后，对性能指标数据进行数据清洗；
[0016]对清洗完成的性能指标数据进行模式分片处理，将整段时序数据划分为若干时间窗口，每一个时间窗口为一个模式；其中，模式分片包含了固定分片和动态分片两种方法；
[0017]提取每一个模式的时序特征，并根据相似性度量方法计算模式之间的距离；
[0018]根据模式之间的距离求取所有模式的相关因子和异常因子，用于量化每一个模式的异常程度。
[0019]在上述任一方案中优选的是，时间序列异常判定可设置参数m和r，用于过滤异常时间序列；过滤过程为：对于连续的m个模式，其异常程度总是大于r，则将m个模式组成的时间序列区间输出为异常时间序列。
[0020]在上述任一方案中优选的是，输出异常时间序列后，性能瓶颈判定模块获取异常时间区间内正在执行的数据分析任务进行性能瓶颈等级判定。
[0021]在上述任一方案中优选的是，通过建立任务性能瓶颈判定模型对任务与性能瓶颈的相关性进行分析，任务性能瓶颈判定模型通过查询语句的性能特征判定查询语句的性能瓶颈等级，性能特征包括结构特征和执行特征。
[0022]在上述任一方案中优选的是，性能瓶颈相关性分析及优化模块包括查询解析器和性能优化器；查询解析器包括SQL解析器和Explain解析器。
[0023]在上述任一方案中优选的是，性能优化器包括启发式规则库和性能瓶颈相关性量化方法；其中，启发式规则库中存储中众多数据库运维人员的运维经验和基本的数据库优化原则。
[0024]在上述任一方案中优选的是，性能瓶颈相关性分析及优化模块将SQL语句解析结果传输至启发式规则库中进行筛选，得出相应的SQL改写优化建议和索引优化建议。
[0025]与现有技术相比，本专利技术的有益效果：
[0026]本专利技术提供了一种面向并发数据分析任务的性能瓶颈分析系统，通过PeBAO框架，用于对数据分析系统提供性能指标异常检测、任务性能瓶颈判定、瓶颈相关性分析和瓶颈优化建议；能够准确的分析任务与性能瓶颈的相关性，解决了运维人员难以准确还原瓶颈产生时的运行情况的问题，能够准确的定位性能瓶颈，并提供瓶颈分析报告。
附图说明
[0027]附图用于对本专利技术的进一步理解，与本专利技术的实施例一起用于解释本专利技术，并不构成对本专利技术的限制。
[0028]图1是本专利技术一种面向并发数据分析任务的性能瓶颈分析系统的PeBAO框架结构示意图；
[0029]图2是本专利技术一种面向并发数据分析任务的性能瓶颈分析系统中时间序列异常检测过程的流程图；
[0030]图3是本专利技术一种面向并发数据分析任务的性能瓶颈分析系统中任务性能瓶颈判定模型的示意图；
[0031]图4是本专利技术一种面向并发数据分析任务的性能瓶颈分析系统中性能瓶颈优化模块整体结构示意图；
[0032]图5是本专利技术一种面向并发数据分析任务的性能瓶颈分析系统中EXPLAIN关键字查询结果的示意图；
[0033]图6是本专利技术一种面向并发数据分析任务的性能瓶颈分析系统中EXPLAIN查询成本结构示意图；
[0034]图7是本专利技术一种面向并发数据分析任务的性能瓶颈分析系统中基于启发式规则的索引优化算法的流程图。
具体实施方式
[0035]为了使本专利技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本专利技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本专利技术，并不用于限定本专利技术。
[0036]为了更好地理解上述技术方案，下面将结合说明书附图及具体实施方式对本专利技术技术方案进行详细说明。
[0037]本专利技术提供了一种面向并发数据分析任务的性能瓶颈分析系统，所述系统包括PeBAO框架，用于对数据分析系统提供性能指标异常检测、任务性能瓶颈判定、瓶颈本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种面向并发数据分析任务的性能瓶颈分析系统，其特征在于：所述系统包括：PeBAO框架，用于对数据分析系统提供性能指标异常检测、任务性能瓶颈判定、瓶颈相关性分析和瓶颈优化建议功能。2.根据权利要求1所述的面向并发数据分析任务的性能瓶颈分析系统，其特征在于：PeBAO框架包括：时间序列异常检测模块，用于对数据分析系统采集性能指标数据，识别异常时间序列，并将异常时间序列输出至性能瓶颈判定模块；性能瓶颈判定模块，用于收集异常时间段内执行的所有数据分析任务，将查询语句的结构特征和执行特征输入随机森林分类算法，判定每个任务的性能瓶颈等级，并将中等级性能瓶颈和高等级性能瓶颈类别的任务集合发送至性能瓶颈相关性分析及优化模块；性能瓶颈相关性分析及优化模块，用于对任务与瓶颈的相关程度和查询操作与瓶颈的相关程度进行了量化，并结合启发式规则为每个数据分析任务提供查询优化建议。3.根据权利要求2所述的面向并发数据分析任务的性能瓶颈分析系统，其特征在于：时间序列异常检测过程包括性能指标监控、时间序列数据获取、异常检测算法、时间序列异常判定和异常时间序列的输出。4.根据权利要求3所述的面向并发数据分析任务的性能瓶颈分析系统，其特征在于：异常检测算法的处理流程如下：在时间序列异常检测模块获取一段数据分析系统的性能指标数据后，对性能指标数据进行数据清洗；对清洗完成的性能指标数据进行模式分片处理，将整段时序数据划分为若干时间窗口，每一个时间窗口为一个模式；其中，模式分片包含了固定分片和动态分片两种方法；提取每一个模式的时序特征，并根据相似性度量方法计算模式之间的距离；根据模式...

【专利技术属性】
技术研发人员：李晖，闵圣天，丁玺润，
申请(专利权)人：贵州优联博睿科技有限公司，
类型：发明
国别省市：