分布式系统平台的性能优化方法及装置制造方法及图纸

技术编号:17784146 阅读:78 留言:0更新日期:2018-04-22 15:33
本发明专利技术公开了一种分布式系统平台的性能优化方法及装置,涉及信息技术领域,可以提高分布式系统平台中分区数量的调整效率,可以提升分布式系统的性能优化效果,所述方法包括:获取携带有分区数量配置信息的配置文件,所述配置文件是在分布式系统平台接收任务时传入的;解析所述配置文件,得到所述分区数量配置信息;根据所述分区数量配置信息,对所述分布式系统平台中的分区数量进行更新。本发明专利技术适用于分布式系统平台的性能优化。

【技术实现步骤摘要】
分布式系统平台的性能优化方法及装置
本专利技术涉及信息
,尤其涉及一种分布式系统平台的性能优化方法及装置。
技术介绍
近些年来,随着信息技术的飞速发展,分布式系统得到广泛应用,分布式系统是建立在网络之上的软件系统,处理各项协助的任务,然后整合出结果。而分布式系统中的并行运算性能与分区数量相关,例如,spark是一个大数据分布式系统计算平台,不仅实现了MapReduce的算子map函数和reduce函数及计算模型,还提供更为丰富的算子,Partition分区的数量确定了spark并行运算的能力,Partition分区数量越多,spark并发能力相对更好。目前,分区数量是通过编码的方式,并使用相应的API(ApplicationProgrammingInterface,应用程序编程接口)接口进行设置,相当于将分区数量和具体的代码融合在了一起。然而,在对分布式系统进行性能优化的情况下,当需要不断调整分区数量时,通过上述设置分区数量的方式,每次都需要修改代码并重新打包,会造成分区数量的调整效率较低,进而影响了分布式系统的性能优化。
技术实现思路
鉴于上述问题,提出了本专利技术以便提供一种克服上述问题或者至少部分地解决上述问题的分布式系统平台的性能优化方法及装置。为了达到上述目的,本专利技术主要提供如下技术方案:一方面,本专利技术提供了一种分布式系统平台的性能优化方法,该方法包括:获取携带有分区数量配置信息的配置文件,所述配置文件是在分布式系统平台接收任务时传入的;解析所述配置文件,得到所述分区数量配置信息;根据所述分区数量配置信息,对所述分布式系统平台中的分区数量进行更新。进一步地,所述获取携带有分区数量配置信息的配置文件之前,所述方法还包括:将所述分布式系统平台中需要设置的分区数量通过预设全局标识符进行替代;根据接收到的配置文件的配置指令,对所述配置文件的分区数量配置信息中与所述预设全局标识符对应的分区数量进行配置;所述获取携带有分区数量配置信息的配置文件,具体包括:获取配置后的所述配置文件。具体地,所述根据所述分区数量配置信息,对所述分布式系统平台中的分区数量进行更新,具体包括:将所述分布式系统平台中与所述预设全局标识符对应的分区数量,替换为所述分区数量配置信息中与所述预设全局标识符对应的分区数量。进一步地,所述方法还包括:按照预定时间间隔检测所述分布式系统平台是否接收到新的配置文件;所述获取携带有分区数量配置信息的配置文件,具体包括:若是,则获取所述分布式系统平台最新接收到的配置文件。进一步地,所述方法还包括:触发所述分布式系统平台根据更新后的分区数量划分分区,以使得所述分布式系统平台通过划分后的分区执行所述提交任务。另一方面,本专利技术提供了一种分布式系统平台的性能优化装置,该装置包括:获取单元,可以用于获取携带有分区数量配置信息的配置文件,所述配置文件是在分布式系统平台接收任务时传入的;解析单元,可以用于解析所述配置文件,得到所述分区数量配置信息;更新单元,可以用于根据所述分区数量配置信息,对所述分布式系统平台中的分区数量进行更新。进一步地,所述装置还包括:替代单元和配置单元;所述替代单元,用于将所述分布式系统平台中需要设置的分区数量通过预设全局标识符进行替代;所述配置单元,用于根据接收到的配置文件的配置指令,对所述配置文件的分区数量配置信息中与所述预设全局标识符对应的分区数量进行配置;所述获取单元,具体用于获取配置后的所述配置文件。具体地,所述更新单元,具体用于将所述分布式系统平台中与所述预设全局标识符对应的分区数量,替换为所述分区数量配置信息中与所述预设全局标识符对应的分区数量。进一步地,所述装置还包括:检测单元;所述检测单元,用于按照预定时间间隔检测所述分布式系统平台是否接收到新的配置文件;所述获取单元,具体用于若所述检测单元检测出分布式系统平台接收到了新的配置文件,则获取所述分布式系统平台最新接收到的配置文件。进一步地,所述装置还包括:触发单元,用于触发所述分布式系统平台根据更新后的分区数量划分分区,以使得所述分布式系统平台通过划分后的分区执行所述提交任务。借由上述技术方案,本专利技术实施例提供的技术方案至少具有下列优点:本专利技术提供的一种分布式系统平台的性能优化方法及装置,首先获取携带有分区数量配置信息的配置文件,配置文件是在分布式系统平台接收任务时传入的;然后解析所述配置文件,得到分区数量配置信息;最后根据所述分区数量配置信息,对所述分布式系统平台中的分区数量进行更新。与目前每次都需要修改代码并重新打包来调整分区数量相比,本专利技术将配置好的配置文件提交到分布式系统平台进行解析,以便根据配置文件中携带的分区数量配置信息进行调整分区数量,可以实现每次进行分布式系统性能优化时,只需要修改外部配置文件,即可修改分区数量,不需要每次都进行修改代码并重新打包,进而大大节约了调优时间,提高了分区数量的调整效率,从而提升了分布式系统的性能优化效果。附图说明通过阅读下文优选实施方式的详细描述,各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的,而并不认为是对本专利技术的限制。而且在整个附图中,用相同的参考符号表示相同的部件。在附图中:图1示出了本专利技术实施例提供的一种分布式系统平台的性能优化方法流程示意图;图2示出了本专利技术实施例提供的另一种分布式系统平台的性能优化方法流程示意图;图3示出了本专利技术实施例提供的一种分布式系统平台的性能优化装置结构示意图;图4示出了本专利技术实施例提供的另一种分布式系统平台的性能优化装置结构示意图。具体实施方式下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例,然而应当理解,可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反,提供这些实施例是为了能够更透彻地理解本公开,并且能够将本公开的范围完整的传达给本领域的技术人员。本专利技术实施例提供的一种分布式系统平台的性能优化方法,如图1所示,该方法包括:101、获取携带有分区数量配置信息的配置文件。其中,配置文件是在分布式系统平台接收任务时传入的。配置文件中的具体内容可以由技术人员根据需要调整的分区数量预先进行编写配置。分区数量配置信息中包含需要配置的分区数量。该分区数量可以为每个弹性分布式数据集的分区数据量。对于本专利技术实施例的执行主体可以为配置在分布式系统中用于调整分区数量的装置。具体地,可以预先设置一个全局标识符,用于表示分区数量,即分布式系统中需要设置分区数量的地方,都可以用这个全局标识符表示,然后该全局标识符可以通过配置文件进行设置,该配置文件通过提交任务时传入到分布式系统中,当调整分区数量的装置检测到分布式系统接收到配置文件时,可以获取该配置文件,以便对该配置文件进行解析。102、解析配置文件,得到分区数量配置信息。例如,解析传入的外部配置文件,根据预先定义好的配置项获取得到该配置文件中包含的分区数量配置信息,进而可以得到需要配置的分区数量。103、根据分区数量配置信息,对分布式系统平台中的分区数量进行更新。具体地,在获取得到需要配置的分区数量后,可以为将分布式系统平台中的分区数量替换为这个获取得到的分区数量,实现分布式系统中的分区数量调整,进而在执行具体的任务时,本文档来自技高网...
分布式系统平台的性能优化方法及装置

【技术保护点】
一种分布式系统平台的性能优化方法,其特征在于,包括:获取携带有分区数量配置信息的配置文件,所述配置文件是在分布式系统平台接收任务时传入的;解析所述配置文件,得到所述分区数量配置信息;根据所述分区数量配置信息,对所述分布式系统平台中的分区数量进行更新。

【技术特征摘要】
1.一种分布式系统平台的性能优化方法,其特征在于,包括:获取携带有分区数量配置信息的配置文件,所述配置文件是在分布式系统平台接收任务时传入的;解析所述配置文件,得到所述分区数量配置信息;根据所述分区数量配置信息,对所述分布式系统平台中的分区数量进行更新。2.根据权利要求1所述的分布式系统平台的性能优化方法,其特征在于,所述获取携带有分区数量配置信息的配置文件之前,所述方法还包括:将所述分布式系统平台中需要设置的分区数量通过预设全局标识符进行替代;根据接收到的配置文件的配置指令,对所述配置文件的分区数量配置信息中与所述预设全局标识符对应的分区数量进行配置;所述获取携带有分区数量配置信息的配置文件,具体包括:获取配置后的所述配置文件。3.根据权利要求2所述的分布式系统平台的性能优化方法,其特征在于,所述根据所述分区数量配置信息,对所述分布式系统平台中的分区数量进行更新,具体包括:将所述分布式系统平台中与所述预设全局标识符对应的分区数量,替换为所述分区数量配置信息中与所述预设全局标识符对应的分区数量。4.根据权利要求1所述的分布式系统平台的性能优化方法,其特征在于,所述获取携带有分区数量配置信息的配置文件之前,所述方法还包括:按照预定时间间隔检测所述分布式系统平台是否接收到新的配置文件;若是,则获取所述分布式系统平台最新接收到的配置文件。5.根据权利要求1至4任一项所述的分布式系统平台的性能优化方法,其特征在于,所述根据所述分区数量配置信息,对所述分布式系统平台中的分区数量进行更新之后,所述方法还包括:触发所述分布式系统平台根据更新后的分区数量划分分区,以使得所述分布式系统平台通过划分后的分区执行所述提交...

【专利技术属性】
技术研发人员:严波
申请(专利权)人:北京国双科技有限公司
类型:发明
国别省市:北京,11

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1