分布式系统中的数据统计方法、装置、设备及存储介质制造方法及图纸

技术编号:43880444 阅读:23 留言:0更新日期:2024-12-31 19:04
本申请公开了一种分布式系统中的数据统计方法、装置、设备及存储介质,分布式系统包括一个主节点和多个从节点,方法应用于任一从节点,包括:接收主节点发送的目标子任务,目标子任务由主节点对应用任务进行子任务划分得到;执行目标子任务,获取其在执行过程中产生的执行日志;对本地日志文件加锁;若加锁成功,则将加锁时间之前的临时日志和执行日志保存至本地日志文件;若加锁失败,则将执行日志作为临时日志生成临时日志文件;根据主节点下发的日志拉取请求将本地日志文件上传至主节点,以使其对各从节点的本地日志文件进行合并处理,获得应用任务的日志文件。本方案可以在分布式系统中实现任意应用软件的性能数据统计,具有较高的应用价值。

【技术实现步骤摘要】

本申请涉及分布式系统,特别涉及一种分布式系统中的数据统计方法,还涉及一种分布式系统中的数据统计装置、电子设备以及计算机可读存储介质。


技术介绍

1、在当今互联网时代,分布式系统已经成为支撑各类大规模应用的关键基础设施。随着用户数量的急剧增长和业务的日益复杂,对系统性能的要求也越来越高。客户端作为与用户直接交互的端点,其性能表现直接影响着用户体验和业务的成功与否。准确、全面地统计客户端性能数据,对于了解系统的运行状况、发现潜在问题、优化系统性能以及保障服务质量具有至关重要的意义。

2、某些分布式系统计应用软件在提交任务运行的过程中,会将应用任务由一个主节点进行任务的划分,划分为多个子任务,这些子任务被分发到集群的每个从节点上进行运行计算,最终运行结果反馈给主节点。在这一过程中,一部分软件自带有性能统计功能,另外一部分则没有。在最终结果展示的过程中,或者在技术人员对问题定位分析的过程中,任务运作过程中的性能数据是其中非常重要的一部分数据,但是,由于分布式集群客户端节点之间的隔离,使得这部分报告难以生成,现有的统计报告无外乎都是将本节点运行子任务的性本文档来自技高网...

【技术保护点】

1.一种分布式系统中的数据统计方法,其特征在于,所述分布式系统包括一个主节点和多个从节点,所述主节点与各所述从节点通信连接,所述方法应用于所述分布式系统中的任一从节点,包括:

2.根据权利要求1所述的分布式系统中的数据统计方法,其特征在于,若所述加锁结果为加锁失败,则将所述执行日志作为临时日志生成对应的临时日志文件,包括:

3.根据权利要求1或2所述的分布式系统中的数据统计方法,其特征在于,还包括:

4.根据权利要求3所述的分布式系统中的数据统计方法,其特征在于,对所述主节点进行心跳监测,以确定所述主节点的运行状态,包括:

<p>5.根据权利要求...

【技术特征摘要】

1.一种分布式系统中的数据统计方法,其特征在于,所述分布式系统包括一个主节点和多个从节点,所述主节点与各所述从节点通信连接,所述方法应用于所述分布式系统中的任一从节点,包括:

2.根据权利要求1所述的分布式系统中的数据统计方法,其特征在于,若所述加锁结果为加锁失败,则将所述执行日志作为临时日志生成对应的临时日志文件,包括:

3.根据权利要求1或2所述的分布式系统中的数据统计方法,其特征在于,还包括:

4.根据权利要求3所述的分布式系统中的数据统计方法,其特征在于,对所述主节点进行心跳监测,以确定所述主节点的运行状态,包括:

5.根据权利要求3所述的分布式系统中的数据统计方法,其特征在于,当所述主节点的运行状态为异常...

【专利技术属性】
技术研发人员:李航王帅阳贾涛
申请(专利权)人:济南浪潮数据技术有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1