数据处理方法、装置及系统制造方法及图纸

公开了一种数据处理方法、装置及系统，所述方法应用于监控系统的控制设备，所述监控系统还包括多个服务器节点和分布式存储设备，其中所述多个服务器节点包括主节点和多个备节点；所述方法包括：将主节点的监控数据映射至分布式存储设备；对所述主节点进行状态监测，得到所述主节点的状态监测结果；响应于所述监测结果指示所述主节点停止工作，使所述多个备节点中的目标备节点处于活跃状态，并将所述目标备节点的监控数据映射至所述分布式存储设备，以使所述主节点的监控数据和所述目标备节点的监控数据存储于相同的存储空间。

Data processing method, device and system

【技术实现步骤摘要】
数据处理方法、装置及系统
本公开涉及分布式存储
，具体涉及一种数据处理方法、装置及系统。
技术介绍
监控系统是日常集群运维的必不可少的工具，它的作用包括实时监控、告警、辅助决策等，可以帮助运维人员快速高效的处理集群问题。目前对于使用了多个监控服务器、需要部署多个监控数据库进行监控数据存储的监控方案，并不能保证数据的强一致性。
技术实现思路
本公开提供一种数据处理方案。根据本公开的一方面，提供一种数据处理方法。所述方法应用于监控系统的控制设备，所述监控系统还包括多个服务器节点和分布式存储设备，其中所述多个服务器节点包括主节点和多个备节点；所述方法包括：将主节点的监控数据映射至分布式存储设备；对所述主节点进行状态监测，得到所述主节点的状态监测结果；响应于所述监测结果指示所述主节点停止工作，使所述多个备节点中的目标备节点处于活跃状态，并将所述目标备节点的监控数据映射至所述分布式存储设备，以使所述主节点的监控数据和所述目标备节点的监控数据存储于相同的存储空间。结合本公开提供的任一实施方式，所述分布式存储设备包括Ceph块设备，其中，所述服务器节点上配置有Ceph客户端；所述将主节点的数据映射至分布式存储设备包括：通过所述主节点上的Ceph客户端，将所述Ceph块设备添加至所述主节点，作为所述主节点的数据存储目录。结合本公开提供的任一实施方式，所述多个服务器节点具有相同的配置文件，且利用相同的监控采集器进行数据采集。结合本公开提供的任一实施方式，所述方法还包括：所述方法还包括：响应于所述监测结果指示所述主节点停止工作，将所述主节点上所添加的分布式存储设备卸载。根据本公开的一方面，提供一种数据处理装置。所述装置应用于监控系统，所述监控系统还包括多个服务器节点和分布式存储设备，其中所述多个服务器节点包括主节点和多个备节点；所述装置包括：映射单元，用于将主节点的监控数据映射至分布式存储设备；监测单元，用于对所述主节点进行状态监测，得到所述主节点的状态监测结果；切换单元，用于响应于所述监测结果指示所述主节点停止工作，使所述多个备节点中的目标备节点处于活跃状态，并将所述目标备节点的监控数据映射至所述分布式存储设备，以使所述主节点的监控数据和所述目标备节点的监控数据存储于相同的存储空间。结合本公开提供的任一实施方式，所述分布式存储设备为Ceph块设备，其中，所述服务器节点上配置有Ceph客户端；所述映射单元具体用于：通过所述主节点上的Ceph客户端，将Ceph块设备添加至所述主节点，作为所述主节点的数据存储目录。结合本公开提供的任一实施方式，所述多个服务器节点具有相同的配置文件，且利用相同的监控采集器进行数据采集。结合本公开提供的任一实施方式，所述装置还包括卸载单元，用于响应于所述监测结果包括所述主节点停止工作，将所述主节点上所添加的分布式存储设备卸载。根据本公开的一方面，提供一种数据处理装置，包括存储器、处理器，所述存储器用于存储可在处理器上运行的计算机指令，所述处理器用于在执行所述计算机指令时实现本公开任一实施方式所述的数据处理方法。根据本公开的一方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现本公开任一实施方式所述的数据处理方法。根据本公开的一方面，提供一种监控系统，所述系统包括多个服务器节点、分布式存储设备、控制设备；所述分布式存储设备用于存储所述多个服务器节点的监控数据；所述控制设备为如本公开任一实施方式所述的数据处理装置。结合本公开提供的任一实施方式，所述系统还包括监控采集器，用于采集所述多个服务器的监控数据。本公开任一实施方式所提出的数据处理方法、装置及存储介质，通过对监控系统中主节点进行状态监测，在所述监测结果指示所述主节点停止工作的情况下，使目标备节点处于活跃状态，并将所述目标备节点的监控数据映射至所述分布式存储设备，以使所述主节点的监控数据和所述目标备节点的监控数据存储于相同的存储空间中，保证了监控系统分布式存储的监控数据的强一致性。附图说明为了更清楚地说明本说明书一个或多个实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书一个或多个实施例中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。图1为本公开至少一个实施例提供的一种数据处理方法的流程图；图2为本公开至少一个实施例提供的一种监控系统的示意图；图3为本公开至少一个实施例提供的一种数据处理装置的结构示意图；图4为本公开至少一个实施例提供的一种数据处理装置的结构图。具体实施方式为了使本
的人员更好地理解本说明书一个或多个实施例中的技术方案，下面将结合本说明书一个或多个实施例中的附图，对本说明书一个或多个实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本说明书一部分实施例，而不是全部的实施例。基于本说明书一个或多个实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都应当属于本公开保护的范围。本公开至少一个实施例提供了一种数据处理方法，如图1所示，图1示出了该数据处理方法的流程，所述方法应用于监控系统的控制设备，所述监控系统还包括多个服务器节点，其中所述多个服务器节点包括一个处于活跃状态的主节点和多个处于待机状态的备节点，所述方法可以包括：在步骤101中，将主节点的监控数据映射至分布式存储设备。所述多个服务器节点，是服务器集群中的多个节点，其可以应用于WEB(WorldWideWeb，全球广域网)、FTP(FileTransferProtocol，文件传输协议)、VPN(VirtualPrivateNetwork，虚拟专用网)服务等等。在本公开实施例中，所述服务器节点通常为单点存储的节点，并且在所述多个服务器节点中，在同一时间最多有一个服务器节点是处于活跃状态的主节点，其他是处于待机状态的备节点。分布式存储设备通常包括多个存储节点，并且所述多个存储节点通过网络进行互联，各个存储节点都参与数据的存储，在步骤102中，对所述主节点进行状态监测，获取所述主节点的状态监测结果。对所述主节点进行状态监测，例如可以使被监测的主节点定期(以固定的频率)发送状态信息，如果在设定时间内没有收到状态信息，即认为被监测的主节点失效。该状态信息还可以包括被监测的主节点的其他附加信息。根据对所述主节点进行状态监测的监测结果，即可以确定所述主节点是处于工作状态的(有效的)，或者所述主节点已经停止工作(失效的)。在步骤103中，响应于所述监测结果指示所述主节点停止工作，使所述多个备节点中的目标备节点处于活跃状态，并将所述目标备节点的监控数据映射至所述分布式存储设备，以使所述主节点的监控数据和所述目标备节点的监控数据存储于相同的存储空间。...

【技术保护点】
1.一种数据处理方法，其特征在于，应用于监控系统的控制设备，所述监控系统还包括多个服务器节点和分布式存储设备，其中所述多个服务器节点包括主节点和多个备节点；所述方法包括：/n将主节点的监控数据映射至分布式存储设备；/n对所述主节点进行状态监测，得到所述主节点的状态监测结果；/n响应于所述监测结果指示所述主节点停止工作，使所述多个备节点中的目标备节点处于活跃状态，并将所述目标备节点的监控数据映射至所述分布式存储设备，以使所述主节点的监控数据和所述目标备节点的监控数据存储于相同的存储空间。/n

【技术特征摘要】
1.一种数据处理方法，其特征在于，应用于监控系统的控制设备，所述监控系统还包括多个服务器节点和分布式存储设备，其中所述多个服务器节点包括主节点和多个备节点；所述方法包括：
将主节点的监控数据映射至分布式存储设备；
对所述主节点进行状态监测，得到所述主节点的状态监测结果；
响应于所述监测结果指示所述主节点停止工作，使所述多个备节点中的目标备节点处于活跃状态，并将所述目标备节点的监控数据映射至所述分布式存储设备，以使所述主节点的监控数据和所述目标备节点的监控数据存储于相同的存储空间。


2.根据权利要求1所述的方法，其特征在于，所述分布式存储设备包括Ceph块设备，其中，所述服务器节点上配置有Ceph客户端；
所述将主节点的数据映射至分布式存储设备包括：
通过所述主节点上的Ceph客户端，将所述Ceph块设备添加至所述主节点，作为所述主节点的数据存储目录。


3.根据权利要求1或2所述的方法，其特征在于，所述多个服务器节点具有相同的配置文件，且利用相同的监控采集器进行数据采集。


4.根据权利要求1至3中任一项所述的方法，其特征在于，所述方法还包括：响应于所述监测结果指示所述主节点停止工作，将所述主节点上所添加的分布式存储设备卸载。


5.一种数据处理装置，其特征在于，应用于监控系统，所述监控系统还包括多个服务器节点和分布式存储设备，其中所述多个服务器节点包括主节点和多个备节点；所述装置包括：
映射单元，用于将主节点的监控数据映射至分布式存储设备；
监测单元，用于对所述主节点进行状态监测，得到所述主节点的状态监测结果；
切换单元，用于响应于所述监测结果指示所...

【专利技术属性】
技术研发人员：陈剑飞，
申请(专利权)人：上海商汤智能科技有限公司，
类型：发明
国别省市：上海;31