分布式系统的集群分析方法、系统、目标设备及存储介质技术方案

本申请公开了一种分布式系统的集群分析方法、系统、目标设备及存储介质，首先基于通信连接，将名字节点中的元数据的镜像文件以及第一编辑日志同步至独立于分布式系统的目标设备，然后在目标设备上按照第一编辑日志对镜像文件进行编辑，得到更新后的镜像文件，并生成更新后的镜像文件对应的集群数据分析信息，实现对于分布式的集群分析，避免了频繁对名字节点发起shell请求，减少了名字节点的性能损失。

【技术实现步骤摘要】

本申请涉及分布式系统，具体涉及一种分布式系统的集群分析方法、系统、目标设备及存储介质。

技术介绍

1、hdfs(hadoop distributed file system，hadoop分布式文件系统)设置有namenode(名字节点)和datanode(数据节点)。namenode是hdfs的管理节点，namenode中存储的元数据用于记录hdfs的各个节点中的各个目录下的各个文件的描述性信息，例如文件的命名空间、访问时间、修改时间、文件块大小等描述性信息。

2、为了对分布式系统所在的集群进行治理，经常需要查看分布式系统的各个节点中的各个目录下的各个文件的大小、数量等信息，以进行集群分析。目前，一般是通过hdfs提供的shell命令，对namenode中存储的元数据进行查询，来查看指定目录下的文件。但对于大规模的集群来说，hdfs的各个节点中可能存在大量的文件或目录，频繁的shell请求会占用过多namenode的资源，造成na menode的性能损失过大。

技术实现思路

1、本申请提供一种分布本文档来自技高网...

【技术保护点】

1.一种分布式系统的集群分析方法，其特征在于，应用于独立于所述分布式系统的目标设备，所述方法包括：

2.如权利要求1所述的分布式系统的集群分析方法，其特征在于，所述生成所述更新后的镜像文件对应的集群数据分析信息，包括：

3.如权利要求2所述的分布式系统的集群分析方法，其特征在于，所述将所述更新后的镜像文件备份至预设的在线分析处理数据库之前，还包括：

4.如权利要求1所述的分布式系统的集群分析方法，其特征在于，所述文件目录的描述性信息包括所述文件目录的占用存储容量，所述生成所述更新后的镜像文件对应的集群数据分析信息之后，还包括：>

5.如权利要...

【技术特征摘要】

1.一种分布式系统的集群分析方法，其特征在于，应用于独立于所述分布式系统的目标设备，所述方法包括：

2.如权利要求1所述的分布式系统的集群分析方法，其特征在于，所述生成所述更新后的镜像文件对应的集群数据分析信息，包括：

3.如权利要求2所述的分布式系统的集群分析方法，其特征在于，所述将所述更新后的镜像文件备份至预设的在线分析处理数据库之前，还包括：

4.如权利要求1所述的分布式系统的集群分析方法，其特征在于，所述文件目录的描述性信息包括所述文件目录的占用存储容量，所述生成所述更新后的镜像文件对应的集群数据分析信息之后，还包括：

5.如权利要求1所述的分布式系统的集群分析方法，其特征在于，所述按照所述多个第一编辑日志对所述镜像文件进行编辑，得到所述更新后的镜像文件，包括：

6.如权利要求1所述的分布式系统的集群分析方法，其特征在于，所述分布式系统还包括与所述名字节点对应的备用节点，所述名字节点与所述备...

【专利技术属性】
技术研发人员：谢坚鑫，
申请(专利权)人：顺丰科技有限公司，
类型：发明
国别省市：