【技术实现步骤摘要】
本申请实施例涉及计算机,涉及但不限于一种spark应用的性能分析方法及相关产品。
技术介绍
1、随着计算机技术的不断发展,越来越多的技术应用于各行各业中,传统计算机技术正逐步改革与创新,spark技术也不例外。其中,spark技术是专为大规模数据处理而设计的快速通用的计算引擎。spark使用了内存运算技术,能在数据尚未写入硬盘时在内存分析计算。现有的spark应用性能分析会使用到大数据组件(如hadoop或spark),在数据采集时需部署至hadoop集群的机器上。这会对hadoop生态具有入侵性,会影响其原有的服务功能,降低产品的服务质量和安全性。
技术实现思路
1、有鉴于此,本申请实施例提供的一种spark应用的性能分析方法及相关产品,能够解决现有技术中存在的影响原有的服务功能、降低服务质量和安全性等技术问题。
2、第一方面,本申请实施例提供一种spark应用的性能分析方法,包括:
3、获取spark应用的多维指标数据;
4、对所述多维指标数据进行性
...【技术保护点】
1.一种Spark应用的性能分析方法,其特征在于,所述方法包括:
2.根据权利要求1所述的方法,其特征在于,所述对所述多维指标数据进行性能诊断和分析,得到所述Spark应用的分析结果包括:
3.根据权利要求2所述的方法,其特征在于,所述对所述多维指标数据进行指标数值计算包括:
4.根据权利要求2所述的方法,其特征在于,所述对所述多维指标数据进行指标文本计算包括:
5.根据权利要求4所述的方法,其特征在于,所述确定所述第i行指标是否与所述指标规则总数中的每条指标规则匹配包括:
6.根据权利要求1所述的方法,其特
...【技术特征摘要】
1.一种spark应用的性能分析方法,其特征在于,所述方法包括:
2.根据权利要求1所述的方法,其特征在于,所述对所述多维指标数据进行性能诊断和分析,得到所述spark应用的分析结果包括:
3.根据权利要求2所述的方法,其特征在于,所述对所述多维指标数据进行指标数值计算包括:
4.根据权利要求2所述的方法,其特征在于,所述对所述多维指标数据进行指标文本计算包括:
5.根据权利要求4所述的方法,其特征在于,所述确定所述第i行指标是否与所述指标规则总数中的每条指标规则匹配包括:
6.根据权利要求1所述的方法,其特征在于,...
【专利技术属性】
技术研发人员:庄泽波,王小由,李想,刘海锋,
申请(专利权)人:北京欧珀通信有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。