Spark应用的性能分析方法及相关产品技术

技术编号:41175512 阅读:20 留言:0更新日期:2024-05-07 22:11
本申请公开了一种Spark应用的性能分析方法及相关产品,该方法包括:获取Spark应用的多维指标数据;对所述多维指标数据进行性能诊断和分析,得到所述Spark应用的分析结果,所述分析结果包括诊断结果和诊断建议。采用本申请,能够解决现有技术中存在的影响原有的服务功能、降低服务质量和安全性等技术问题。

【技术实现步骤摘要】

本申请实施例涉及计算机,涉及但不限于一种spark应用的性能分析方法及相关产品。


技术介绍

1、随着计算机技术的不断发展,越来越多的技术应用于各行各业中,传统计算机技术正逐步改革与创新,spark技术也不例外。其中,spark技术是专为大规模数据处理而设计的快速通用的计算引擎。spark使用了内存运算技术,能在数据尚未写入硬盘时在内存分析计算。现有的spark应用性能分析会使用到大数据组件(如hadoop或spark),在数据采集时需部署至hadoop集群的机器上。这会对hadoop生态具有入侵性,会影响其原有的服务功能,降低产品的服务质量和安全性。


技术实现思路

1、有鉴于此,本申请实施例提供的一种spark应用的性能分析方法及相关产品,能够解决现有技术中存在的影响原有的服务功能、降低服务质量和安全性等技术问题。

2、第一方面,本申请实施例提供一种spark应用的性能分析方法,包括:

3、获取spark应用的多维指标数据;

4、对所述多维指标数据进行性能诊断和分析,得到所本文档来自技高网...

【技术保护点】

1.一种Spark应用的性能分析方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述对所述多维指标数据进行性能诊断和分析,得到所述Spark应用的分析结果包括:

3.根据权利要求2所述的方法,其特征在于,所述对所述多维指标数据进行指标数值计算包括:

4.根据权利要求2所述的方法,其特征在于,所述对所述多维指标数据进行指标文本计算包括:

5.根据权利要求4所述的方法,其特征在于,所述确定所述第i行指标是否与所述指标规则总数中的每条指标规则匹配包括:

6.根据权利要求1所述的方法,其特征在于,所述获取Sp...

【技术特征摘要】

1.一种spark应用的性能分析方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述对所述多维指标数据进行性能诊断和分析,得到所述spark应用的分析结果包括:

3.根据权利要求2所述的方法,其特征在于,所述对所述多维指标数据进行指标数值计算包括:

4.根据权利要求2所述的方法,其特征在于,所述对所述多维指标数据进行指标文本计算包括:

5.根据权利要求4所述的方法,其特征在于,所述确定所述第i行指标是否与所述指标规则总数中的每条指标规则匹配包括:

6.根据权利要求1所述的方法,其特征在于,...

【专利技术属性】
技术研发人员:庄泽波王小由李想刘海锋
申请(专利权)人:北京欧珀通信有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1