【技术实现步骤摘要】
本公开实施例涉及计算机,尤其涉及一种dpu节点的性能测试方法、装置、设备及存储介质。
技术介绍
1、spark(即apache spark)是专为大规模数据处理而设计的快速通用计算引擎,使用与hadoop相似的开源集群计算环境。spark sql是spark的计算模块之一,专门用于处理结构化的数据。spark sql允许用户使用标准的sql语句来执行sql的查询和读写,也可以使用hive sql来执行对hive仓库的查询和读写。现在的spark sql基于spark框架,其全部的计算基于cpu进行,cpu除了需要维持整个计算的调度之外,还需要额外的算力进行数据密集计算。但是,cpu作为通用处理芯片,在大数据高密集型的数据计算上并无明显优势,这使得spark sql基于cpu运算时计算算力成为性能的主要瓶颈。然而,基于kpu架构的dpu作为专用的数据处理芯片,在处理复杂的数据计算时相比于cpu拥有极高的性能提升,因此将sparksql的数据计算由cpu卸载到dpu,可以极大的提升spark sql的性能,加速在大数据场景下spark sq
...【技术保护点】
1.一种DPU节点的性能测试方法,其特征在于,由预设性能测试系统执行,所述预设性能测试系统包括命令行交互模块、测试集数据生成模块、测试用例生成模块、集群部署模块和性能测试模块,所述方法包括:
2.根据权利要求1所述的方法,其特征在于,所述通过所述命令行交互模块,响应于用户的交互操作,获取目标测试集、目标测试数据量和测试集群的目标规模信息,包括:
3.根据权利要求1所述的方法,其特征在于,所述利用所述目标测试用例对所述测试集群进行测试,得到所述待测DPU节点的目标性能测试结果,包括:
4.根据权利要求3所述的方法,其特征在于,还包括:
5.根...
【技术特征摘要】
1.一种dpu节点的性能测试方法,其特征在于,由预设性能测试系统执行,所述预设性能测试系统包括命令行交互模块、测试集数据生成模块、测试用例生成模块、集群部署模块和性能测试模块,所述方法包括:
2.根据权利要求1所述的方法,其特征在于,所述通过所述命令行交互模块,响应于用户的交互操作,获取目标测试集、目标测试数据量和测试集群的目标规模信息,包括:
3.根据权利要求1所述的方法,其特征在于,所述利用所述目标测试用例对所述测试集群进行测试,得到所述待测dpu节点的目标性能测试结果,包括:
4.根据权利要求3所述的方法,其特征在于,还包括:
5.根据权利要求1所述...
【专利技术属性】
技术研发人员:刘昱泽,陈岩,张宇,
申请(专利权)人:中科驭数北京科技有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。