System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() Spark应用的性能分析方法及相关产品技术_技高网

Spark应用的性能分析方法及相关产品技术

技术编号:41175512 阅读:3 留言:0更新日期:2024-05-07 22:11
本申请公开了一种Spark应用的性能分析方法及相关产品,该方法包括:获取Spark应用的多维指标数据;对所述多维指标数据进行性能诊断和分析,得到所述Spark应用的分析结果,所述分析结果包括诊断结果和诊断建议。采用本申请,能够解决现有技术中存在的影响原有的服务功能、降低服务质量和安全性等技术问题。

【技术实现步骤摘要】

本申请实施例涉及计算机,涉及但不限于一种spark应用的性能分析方法及相关产品。


技术介绍

1、随着计算机技术的不断发展,越来越多的技术应用于各行各业中,传统计算机技术正逐步改革与创新,spark技术也不例外。其中,spark技术是专为大规模数据处理而设计的快速通用的计算引擎。spark使用了内存运算技术,能在数据尚未写入硬盘时在内存分析计算。现有的spark应用性能分析会使用到大数据组件(如hadoop或spark),在数据采集时需部署至hadoop集群的机器上。这会对hadoop生态具有入侵性,会影响其原有的服务功能,降低产品的服务质量和安全性。


技术实现思路

1、有鉴于此,本申请实施例提供的一种spark应用的性能分析方法及相关产品,能够解决现有技术中存在的影响原有的服务功能、降低服务质量和安全性等技术问题。

2、第一方面,本申请实施例提供一种spark应用的性能分析方法,包括:

3、获取spark应用的多维指标数据;

4、对所述多维指标数据进行性能诊断和分析,得到所述spark应用的分析结果,所述分析结果包括诊断结果和诊断建议。

5、第二方面,本申请实施例提供一种spark应用的性能分析装置,包括:

6、获取模块,用于获取spark应用的多维指标数据;

7、处理模块,用于对所述多维指标数据进行性能诊断和分析,得到所述spark应用的分析结果,所述分析结果包括诊断结果和诊断建议。

8、第三方面,本申请实施例提供一种计算机设备,包括存储器和处理器,所述存储器存储有可在处理器上运行的计算机程序,所述处理器执行所述程序时实现本申请实施例所述的方法。

9、第四方面,本申请实施例提供一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现本申请实施例提供的所述的方法。

10、第五方面,本申请实施例提供了一种计算机程序产品,所述计算机程序产品包括计算机程序,当所述计算机程序被处理器执行时实现本申请实施例提供的所述的方法。

11、与现有技术相比,本申请至少具有如下有益效果:

12、本申请实施例中,计算机设备获取spark应用的多维指标数据;对所述多维指标数据进行性能诊断和分析,得到所述spark应用的分析结果,所述分析结果包括诊断结果和诊断建议。可见,本申请能根据spark应用的多维指标数据来进行多维指标的性能诊断和分析,得到最终的分析结果,相比于现有技术来说,本申请并不依赖部署的hadoop或spark集群,从而不会造成影响产品的服务质量和安全性等问题。且本申请采用多维指标分析,能提升性能分析的精确性,提升用户使用体验。

本文档来自技高网...

【技术保护点】

1.一种Spark应用的性能分析方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述对所述多维指标数据进行性能诊断和分析,得到所述Spark应用的分析结果包括:

3.根据权利要求2所述的方法,其特征在于,所述对所述多维指标数据进行指标数值计算包括:

4.根据权利要求2所述的方法,其特征在于,所述对所述多维指标数据进行指标文本计算包括:

5.根据权利要求4所述的方法,其特征在于,所述确定所述第i行指标是否与所述指标规则总数中的每条指标规则匹配包括:

6.根据权利要求1所述的方法,其特征在于,所述获取Spark应用的多维指标数据包括:

7.一种Spark应用的性能分析装置,其特征在于,包括:

8.一种计算机设备,包括存储器和处理器,所述存储器存储有可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现权利要求1至6任一项所述的方法。

9.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该计算机程序被处理器执行时实现如权利要求1至6任一项所述的方法。

10.一种计算机程序产品,其特征在于,所述计算机程序产品包括计算机程序,当所述计算机程序被处理器执行时实现如上权利要求1至6任一项所述的方法。

...

【技术特征摘要】

1.一种spark应用的性能分析方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述对所述多维指标数据进行性能诊断和分析,得到所述spark应用的分析结果包括:

3.根据权利要求2所述的方法,其特征在于,所述对所述多维指标数据进行指标数值计算包括:

4.根据权利要求2所述的方法,其特征在于,所述对所述多维指标数据进行指标文本计算包括:

5.根据权利要求4所述的方法,其特征在于,所述确定所述第i行指标是否与所述指标规则总数中的每条指标规则匹配包括:

6.根据权利要求1所述的方法,其特征在于,...

【专利技术属性】
技术研发人员:庄泽波王小由李想刘海锋
申请(专利权)人:北京欧珀通信有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1