【技术实现步骤摘要】
本公开的实施方式涉及大数据，更具体地，本公开的实施方式涉及商业智能系统的性能分析方法、介质、装置和计算设备。
技术介绍
1、本部分旨在为本公开的实施方式提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。
2、商业智能(business intelligence，简称bi)系统是指采用现代数据仓库技术、线上分析处理技术、数据挖掘和数据展现技术进行数据分析以实现数据填报、数据处理等功能的系统。在使用商业智能系统进行数据分析的过程中，容易出现数据查询异常的问题。
3、为了确定数据查询异常的具体原因，相关技术中通常是通过技术人员在商业智能系统上找到查询异常的数据，然后通过浏览器调试模式找到该异常数据对应的结构化查询语句(structured query language，简称sql)，技术人员将该sql交给数据库管理员(database administrator，简称dba)，以使dba重新执行该sql，并通过人工查看执行计划等方式确定数据查询异常的具体原因，最后针对确定出的具体原因给出解决方案。但是通过这种方式来确定数据查询异常的具体原因，存在效率低的问题。
4、因此，亟需一种可以提高对数据查询异常的具体原因进行确定的效率的方案。
技术实现思路
1、本公开提供一种商业智能系统的性能分析方法、介质、装置和计算设备，以提高对数据查询异常的具体原因进行确定的效率。
2、在本公开实施方式的第一方面中，提供了一种商业智能系统的性能分
3、在本公开的一个实施例中，规范指标项包括以下中的至少一类：对应于sql查询请求的数据类规范指标项；对应于sql查询请求的表元数据类规范指标项；对应于sql查询请求的阶段类规范指标项。
4、在本公开的另一个实施例中，数据类规范指标项包括以下至少一项：sql查询请求的返回数据量、sql查询请求的返回数据行数、sql查询请求使用的内存峰值、sql查询请求的查询耗时、数据源负载量；表元数据类规范指标项包括以下至少一项：sql查询请求所使用的表的表存储格式、表是否开启分区、表分区字段和表分区数；阶段类规范指标项包括以下至少一项：sql查询请求的当前所处阶段、当前所处阶段的开始时刻、当前所处阶段的结束时刻，其中，当前所处阶段为以下之一：准备阶段、执行阶段和数据获取阶段。
5、在本公开的又一个实施例中，当前所处阶段为执行阶段时，sql查询请求包含多种sql算子，阶段类规范指标项还包括以下至少一项：每种sql算子的耗时、每种sql算子的内存使用信息、每种sql算子的扫描数据量。
6、在本公开的再一个实施例中，基于性能诊断规则，对标准指标结果进行诊断，得到数据源的性能诊断结果，包括：响应于标准指标结果中至少一个标准指标结果对应的指标值大于性能诊断规则中与至少一个标准指标结果对应的指标诊断阈值，确定性能诊断结果为数据源的性能存在异常。
7、在本公开的再一个实施例中，sql查询请求包含scan算子；基于性能诊断规则，对标准指标结果进行诊断，得到数据源的性能诊断结果，包括：在标准指标结果中，确定scan算子对应的第一指标结果；基于性能诊断规则，对第一指标结果进行诊断，得到性能诊断结果。
8、在本公开的再一个实施例中，数据源包含至少一个第一原始表，和/或至少一个sql逻辑表；性能分析方法还包括：对至少一个sql逻辑表进行解析处理，得到至少一个sql逻辑表对应的至少一个第二原始表；响应于性能诊断结果为数据源的性能存在异常，根据数据源的表匹配映射关系，确定数据源的性能异常问题对应的第一原始表和/或第二原始表，数据源的性能异常问题中包括原始表的标识信息，表匹配映射关系用于表示异常问题中包括的原始表的标识信息与数据源中包括的原始表的标识信息之间的映射关系；输出数据源的性能异常问题，以及数据源的性能异常问题对应的第一原始表的标识信息和/或第二原始表的标识信息。
9、在本公开的再一个实施例中，sql查询请求包含join算子；基于性能诊断规则，对标准指标结果进行诊断，得到数据源的性能诊断结果，包括：对执行性能日志进行解析，得到join算子映射关系，join算子映射关系用于表示数据源中进行join运算的原始表之间的映射关系；在标准指标结果中，确定与join算子映射关系对应的第二指标结果；基于性能诊断规则，对第二指标结果进行诊断，得到性能诊断结果。
10、在本公开的再一个实施例中，还包括：响应于性能诊断结果为数据源的性能存在异常，输出数据源的性能异常问题，以及数据源的性能异常问题对应的join运算节点。
11、在本公开的再一个实施例中，还包括：响应于性能诊断结果为数据源的性能存在异常，根据数据源的性能异常问题，确定并输出性能异常问题对应的优化策略。
12、在本公开的再一个实施例中，性能异常问题和优化策略之间的对应关系包括如下至少一项：若性能异常问题为对数据源中任意一个或多个原始表进行join运算时的扫描数据量大于第一阈值，则优化策略为维值加速和/或物化视图；若性能异常问题为数据源中进行join运算的原始表的个数大于第二阈值，则优化策略为物化视图；若性能异常问题为sql查询请求的返回数据量大于第三阈值或sql查询请求的查询耗时大于第四阈值，则优化策略为调整数据源中原始表的列的个数和/或调整数据源中原始表的文本字段的数据量；若性能异常问题为sql查询请求中sql算子执行扫描文件时的平均耗时大于第五阈值，且扫描文件的个数大于第六阈值，则优化策略为合并扫描文件；若性能异常问题为sql查询请求中sql算子的扫描数据量大于第七阈值，则优化策略为分区筛选和/或调整数据源中原始表的列的个数。
13、在本公开的再一个实施例中，sql查询请求的数量为至少两个，至少两个sql查询请求中每个sql查询请求的数据源均不同。
14、在本公开的再一个实施例中，数据源包括clickhouse和impala。
15、在本公开的再一个实施例中，获取相应数据源的执行性能日志，包括：采用数据源提供的接口，在sql查询请求的数据源中获取执行性能日志；或，执行性能日志查询语句，在数据源中查询执行性能日志。
16、在本公开实施方式的第二方面中，提供了一种介质，介质中存储有计算机执行指令，计算机执行指令被执行时用于实现如第一方面的商业智能系统的性能分析方法。
17、在本公开实施方式的第三方面中，提供了一种商业智能系统的性能分析装置，包括：获取模块，用于响应于商业智能系统本文档来自技高网...
【技术保护点】
1.一种商业智能系统的性能分析方法，包括：
2.根据权利要求1所述的性能分析方法，所述规范指标项包括以下中的至少一类：
3.根据权利要求2所述的性能分析方法，所述数据类规范指标项包括以下至少一项：所述SQL查询请求的返回数据量、所述SQL查询请求的返回数据行数、所述SQL查询请求使用的内存峰值、所述SQL查询请求的查询耗时、所述数据源负载量；
4.根据权利要求3所述的性能分析方法，所述当前所处阶段为所述执行阶段时，所述SQL查询请求包含多种SQL算子，所述阶段类规范指标项还包括以下至少一项：每种SQL算子的耗时、每种SQL算子的内存使用信息、每种SQL算子的扫描数据量。
5.根据权利要求1至4中任一项所述的性能分析方法，所述基于性能诊断规则，对所述标准指标结果进行诊断，得到所述数据源的性能诊断结果，包括：
6.根据权利要求1至4中任一项所述的性能分析方法，所述SQL查询请求包含Scan算子；所述基于性能诊断规则，对所述标准指标结果进行诊断，得到所述数据源的性能诊断结果，包括：
7.根据权利要求6所述的性能分析
8.一种介质，所述介质中存储有计算机执行指令，所述计算机执行指令被执行时用于实现如权利要求1至7中任一项所述的商业智能系统的性能分析方法。
9.一种商业智能系统的性能分析装置，包括：
10.一种计算设备，包括：处理器，以及与所述处理器连接的存储器；
...【技术特征摘要】
1.一种商业智能系统的性能分析方法，包括：
2.根据权利要求1所述的性能分析方法，所述规范指标项包括以下中的至少一类：
3.根据权利要求2所述的性能分析方法，所述数据类规范指标项包括以下至少一项：所述sql查询请求的返回数据量、所述sql查询请求的返回数据行数、所述sql查询请求使用的内存峰值、所述sql查询请求的查询耗时、所述数据源负载量；
4.根据权利要求3所述的性能分析方法，所述当前所处阶段为所述执行阶段时，所述sql查询请求包含多种sql算子，所述阶段类规范指标项还包括以下至少一项：每种sql算子的耗时、每种sql算子的内存使用信息、每种sql算子的扫描数据量。
5.根据权利要求1至4中任一项所述的性能分析方法，所述基于性...
【专利技术属性】
技术研发人员：胡雪亮，张佃鹏，顾平，林欧亚，陈子瑜，胡凡，何李夫，温正湖，汤职，
申请(专利权)人：杭州网易数之帆科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。