一种数据处理守护进程的数据分区配置方法、装置及设备制造方法及图纸

技术编号:20865155 阅读:20 留言:0更新日期:2019-04-17 09:06
本申请公开了一种数据处理守护进程的数据分区配置方法,包括:确定本集群节点中数据处理守护进程的第一数量;获取各个数据处理守护进程的进程标识号;确定本集群节点中的可用磁盘;将可用磁盘中第一数量个第一子存储空间确定为与各个数据处理守护进程一一对应的日志分区,将可用磁盘中第一数量个第二子存储空间确定为与各个数据处理守护进程一一对应的缓存分区;生成并运行各个数据处理守护进程的配置文件。通过部署于集群节点中而自动化运行,本申请极大地提高了数据分区配置的效率和可靠性,降低了人力成本。本申请还公开了一种数据处理守护进程的数据分区配置装置、设备及计算机可读存储介质,同样具有上述有益效果。

【技术实现步骤摘要】
一种数据处理守护进程的数据分区配置方法、装置及设备
本申请涉及分布式存储
,特别涉及一种数据处理守护进程的数据分区配置方法、装置、设备及计算机可读存储介质。
技术介绍
随着虚拟化和云计算等技术在企业数据中心的大规模应用,分布式存储系统中的数据处理量和复杂度也不断增大。守护进程是一类在后台运行、并且不受任何终端控制的特殊进程,其中,数据处理守护进程是保障存储集群节点正常进行数据处理的关键服务。对于集群节点中的每一个数据处理守护进程,都需要预先为其配置好对应的日志分区和缓存分区。然而,现有技术中一般是由专业技术人员通过手动输入相关指令而实现对分区配置的,效率较低。鉴于此,提供一种解决上述问题的方法是本领域技术人员所亟需解决的。
技术实现思路
本申请的目的在于提供一种数据处理守护进程的数据分区配置方法、装置、设备及计算机可读存储介质,以便有效地提高对集群节点中各个数据处理守护进程进行数据分区配置的效率和可靠性,并降低人力成本。为解决上述技术问题,第一方面,本申请提供了一种数据处理守护进程的数据分区配置方法,应用于集群节点,包括:确定本集群节点中数据处理守护进程的第一数量;获取各个所述数据处理守护进程的进程标识号;确定本集群节点中的可用磁盘;将所述可用磁盘中第一数量个第一子存储空间确定为与各个所述数据处理守护进程一一对应的日志分区,将所述可用磁盘中第一数量个第二子存储空间确定为与各个所述数据处理守护进程一一对应的缓存分区;生成并运行各个所述数据处理守护进程的配置文件。可选地,所述获取各个所述数据处理守护进程的标识号包括:判断本集群节点是否为主节点;若是,则接收各个集群节点发送的所述第一数量;向集群监控守护进程申请获取各个集群节点中各个数据处理守护进程的进程标识号,并发送至对应的集群节点;若否,则将本集群节点的所述第一数量发送至主节点;接收所述主节点发送的进程标识号。可选地,所述将所述可用磁盘中第一数量个第一子存储空间确定为与各个所述数据处理守护进程一一对应的日志分区包括:将所述可用磁盘中第一数量个预设大小的所述第一子存储空间确定为与各个所述数据处理守护进程一一对应的日志分区;所述将所述可用磁盘中第一数量个第二子存储空间确定为与各个所述数据处理守护进程一一对应的缓存分区包括:将所述可用磁盘中的剩余空间划分为第一数量个所述第二子存储空间,以便作为与各个所述数据处理守护进程一一对应的缓存分区。可选地,在所述确定本集群节点中的可用磁盘之后,还包括:判断所述可用磁盘的第二数量是否大于零;若是,则继续执行所述将所述可用磁盘中第一数量个预设大小的所述第一子存储空间确定为与各个所述数据处理守护进程一一对应的日志分区的步骤;若否,则生成报错提示信息。可选地,在所述将所述可用磁盘中第一数量个预设大小的所述第一子存储空间确定为与各个所述数据处理守护进程一一对应的日志分区之前,还包括:确定第二数量个所述可用磁盘的总存储空间;判断所述总存储空间是否大于第一数量个预设大小的所述第一子存储空间;若是,则继续执行所述将所述可用磁盘中第一数量个预设大小的所述第一子存储空间确定为与各个所述数据处理守护进程一一对应的日志分区的步骤;若否,则生成报错提示信息。可选地,第一数量个预设大小的所述第一子存储空间均匀分布在第二数量个所述可用磁盘中。可选地,第i个所述数据处理守护进程对应的日志分区位于第i%S+1个所述可用磁盘中;其中,i=1,2,…,N;N为所述第一数量;S为所述第二数量;%为取余运算。第二方面,本申请还公开了一种数据处理守护进程的数据分区配置装置,应用于集群节点,包括:第一确定模块,用于确定本集群节点中数据处理守护进程的第一数量;获取模块,用于获取各个所述数据处理守护进程的进程标识号;第二确定模块,用于确定本集群节点中的可用磁盘;分配模块,用于将所述可用磁盘中第一数量个第一子存储空间确定为与各个所述数据处理守护进程一一对应的日志分区,将所述可用磁盘中第一数量个第二子存储空间确定为与各个所述数据处理守护进程一一对应的缓存分区;执行模块,用于生成并运行各个所述数据处理守护进程的配置文件。第三方面,本申请还公开了一种数据处理守护进程的数据分区配置设备,应用于集群节点,包括:存储器,用于存储计算机程序;处理器,用于执行所述计算机程序以实现如上所述的任一种数据处理守护进程的数据分区配置方法的步骤。第四方面,本申请还公开了一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机程序,所述计算机程序被处理器执行时用以实现如上所述的任一种数据处理守护进程的数据分区配置方法的步骤。本申请所提供的数据处理守护进程的数据分区配置方法应用于集群节点,包括:确定本集群节点中数据处理守护进程的第一数量;获取各个所述数据处理守护进程的进程标识号;确定本集群节点中的可用磁盘;将所述可用磁盘中第一数量个第一子存储空间确定为与各个所述数据处理守护进程一一对应的日志分区,将所述可用磁盘中第一数量个第二子存储空间确定为与各个所述数据处理守护进程一一对应的缓存分区;生成并运行各个所述数据处理守护进程的配置文件。可见,通过部署于集群节点中而自动化运行,本申请可准确高效地自动确定出本集群节点中的数据处理守护进程以及可用磁盘,进而为各个数据处理守护进程分配并设置一一对应的日志分区和缓存分区,极大地提高了对集群节点中各个数据处理守护进程进行数据分区配置的效率和可靠性,降低了人力成本。此外,本申请还使得在各个集群节点中并发进行配置、以及在本集群节点中对多个数据处理守护进程并发进行配置成为了可能,从而进一步有效提高了数据分区配置的处理效率。本申请所提供的数据处理守护进程的数据分区配置装置、设备及计算机可读存储介质可以实现上述数据处理守护进程的数据分区配置方法,同样具有上述有益效果。附图说明为了更清楚地说明现有技术和本申请实施例中的技术方案,下面将对现有技术和本申请实施例描述中需要使用的附图作简要的介绍。当然,下面有关本申请实施例的附图描述的仅仅是本申请中的一部分实施例,对于本领域普通技术人员来说,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图,所获得的其他附图也属于本申请的保护范围。图1为本申请所提供的数据处理守护进程的数据分区配置方法在一种具体实施方式中的流程图;图2为本申请所提供的数据处理守护进程的数据分区配置方法在另一种具体实施方式中的流程图;图3为本申请所提供的一种数据处理守护进程的数据分区配置装置的结构框图。具体实施方式本申请的核心在于提供一种数据处理守护进程的数据分区配置方法、装置、设备及计算机可读存储介质,以便有效地提高对集群节点中各个数据处理守护进程进行数据分区配置的效率和可靠性,并降低人力成本。为了对本申请实施例中的技术方案进行更加清楚、完整地描述,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行介绍。显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。本申请实施例公开了一种数据处理守护进程的数据分区配置方法,应用与集群节点,参照图1所示,该方法主要包括以下步骤:S1:确定本集群节点中数据处理守护进本文档来自技高网...

【技术保护点】
1.一种数据处理守护进程的数据分区配置方法,其特征在于,应用于集群节点,包括:确定本集群节点中数据处理守护进程的第一数量;获取各个所述数据处理守护进程的进程标识号;确定本集群节点中的可用磁盘;将所述可用磁盘中第一数量个第一子存储空间确定为与各个所述数据处理守护进程一一对应的日志分区,将所述可用磁盘中第一数量个第二子存储空间确定为与各个所述数据处理守护进程一一对应的缓存分区;生成并运行各个所述数据处理守护进程的配置文件。

【技术特征摘要】
1.一种数据处理守护进程的数据分区配置方法,其特征在于,应用于集群节点,包括:确定本集群节点中数据处理守护进程的第一数量;获取各个所述数据处理守护进程的进程标识号;确定本集群节点中的可用磁盘;将所述可用磁盘中第一数量个第一子存储空间确定为与各个所述数据处理守护进程一一对应的日志分区,将所述可用磁盘中第一数量个第二子存储空间确定为与各个所述数据处理守护进程一一对应的缓存分区;生成并运行各个所述数据处理守护进程的配置文件。2.根据权利要求1所述的数据分区配置方法,其特征在于,所述获取各个所述数据处理守护进程的标识号包括:判断本集群节点是否为主节点;若是,则接收各个集群节点发送的所述第一数量;向集群监控守护进程申请获取各个集群节点中各个数据处理守护进程的进程标识号,并发送至对应的集群节点;若否,则将本集群节点的所述第一数量发送至主节点;接收所述主节点发送的进程标识号。3.根据权利要求1所述的数据分区配置方法,其特征在于,所述将所述可用磁盘中第一数量个第一子存储空间确定为与各个所述数据处理守护进程一一对应的日志分区包括:将所述可用磁盘中第一数量个预设大小的所述第一子存储空间确定为与各个所述数据处理守护进程一一对应的日志分区;所述将所述可用磁盘中第一数量个第二子存储空间确定为与各个所述数据处理守护进程一一对应的缓存分区包括:将所述可用磁盘中的剩余空间划分为第一数量个所述第二子存储空间,以便作为与各个所述数据处理守护进程一一对应的缓存分区。4.根据权利要求3所述的数据分区配置方法,其特征在于,在所述确定本集群节点中的可用磁盘之后,还包括:判断所述可用磁盘的第二数量是否大于零;若是,则继续执行所述将所述可用磁盘中第一数量个预设大小的所述第一子存储空间确定为与各个所述数据处理守护进程一一对应的日志分区的步骤;若否,则生成报错提示信息。5.根据权利要求4所述的数据分区配置方法,其特征在于,在所述将所述可用...

【专利技术属性】
技术研发人员:史宗华
申请(专利权)人:浪潮北京电子信息产业有限公司
类型:发明
国别省市:北京,11

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1