数据处理方法及装置、非易失性存储介质、电子设备制造方法及图纸

技术编号:46624175 阅读:1 留言:0更新日期:2025-10-14 21:19
本申请公开了一种数据处理方法及装置、非易失性存储介质、电子设备。其中,该方法包括:获取针对大数据集群的目标测试场景,生成目标测试场景对应的测试数据集;将用于执行测试数据集的可执行程序封装为性能测试工具的测试任务集合,并通过性能测试工具中的多个对象分别执行测试任务集合中的测试任务;采集每个测试任务的第一性能指标,接收性能测试工具发送的第一性能指标,并采集大数据集群中各节点的资源利用率指标以及节点中的大数据组件的第二性能指标;对第一性能指标和资源利用率指标进行关联可视化,以及对第二性能指标进行可视化。本申请解决了大数据集群测试中工具分散、集成成本高以及监控数据碎片化的技术问题。

【技术实现步骤摘要】

本申请涉及大数据测试领域,具体而言,涉及一种数据处理方法及装置、非易失性存储介质、电子设备


技术介绍

1、相关大数据性能测试方法在应对海量、复杂且多样的数据时面临诸多挑战,需要超越传统数据管理方案的专业技术。以下是一些描述现有技术的例子:基于大数据基准测试工具 (例如hibench)的测试方案:手动执行hibench测试,需登录集群节点运行脚本,通过日志文件收集结果,耗时且无法动态调整负载;使用性能测试工具(例如hmeter):jmeter等工具需编写复杂脚本整合测试组件,不同大数据装置需重复适配,通用性低;监控和告警工具和可视化工具独立部署,需手动关联压测数据与资源指标,定位瓶颈效率低。

2、上述方法虽然在大数据组件测试目的上有一定效果,但仍然存在工具分散、集成成本高以及监控数据碎片化等技术问题。

3、针对上述的问题,目前尚未提出有效的解决方案。


技术实现思路

1、本申请提供了一种数据处理方法及装置、非易失性存储介质、电子设备,以至少解决大数据集群测试中工具分散、集成成本高以及监控本文档来自技高网...

【技术保护点】

1.一种数据处理方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,所述方法还包括:

3.根据权利要求1所述的方法,其特征在于,所述方法还包括:

4.根据权利要求1所述的方法,其特征在于,所述方法还包括:

5.根据权利要求1所述的方法,其特征在于,包括:

6.根据权利要求5所述的方法,其特征在于,包括:

7.根据权利要求1所述的方法,其特征在于,通过可视化工具中的仪表盘对所述第一性能指标和所述资源利用率指标进行关联可视化,以及对所述第二性能指标进行可视化之后,所述方法还包括:>

8.一种数据...

【技术特征摘要】

1.一种数据处理方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,所述方法还包括:

3.根据权利要求1所述的方法,其特征在于,所述方法还包括:

4.根据权利要求1所述的方法,其特征在于,所述方法还包括:

5.根据权利要求1所述的方法,其特征在于,包括:

6.根据权利要求5所述的方法,其特征在于,包括:

7.根据权利要求1所述的方法,其特征在于,通过可视化工具中的仪表盘对所述第一性能指标和所述资源利用率指标进行关联可视化,以及对所述第二性能指标进行可视化之后,所述方法还包括:...

【专利技术属性】
技术研发人员:黎耘恺
申请(专利权)人:中电信人工智能科技北京有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1