分布式文件系统日志改进方法、系统、设备和存储介质技术方案

本发明专利技术提出了分布式文件系统日志改进方法、系统、设备和存储介质，该方法包括按照分布式文件系统的使用情况，将分布式文件系统日志按照场景分类；对分类后的每个场景分别通过配置项配置日志开关；配置日志开关之后，分别对每个场景中流程代码的关键位置添加重要级别日志，以及根据所述日志开关的状态确定是否输出。以及通过分布式文件系统自带的动态生效命令进行动态调整，基于该方法，还提出了分布式文件系统日志改进系统、设备和存储介质。本发明专利技术解决HDFS使用和定位问题时的DEBUG日志冗余繁杂、无法快速找到有用信息的弊端，提升HDFS使用过程中出现问题时的定位效率，提升HDFS日志系统的可用性、易用性和实用性。易用性和实用性。易用性和实用性。

【技术实现步骤摘要】
分布式文件系统日志改进方法、系统、设备和存储介质


[0001]本专利技术属于分布式文件系统日志管理
，特别涉及分布式文件系统日志改进方法、系统、设备和存储介质。

技术介绍

[0002]Hadoop实现的一个分布式文件系统(Hadoop Distributed File System)。HDFS作为一个比较成熟的分布式文件系统，在大数据技术体系中占据着重要位置。
[0003]但分布式文件系统的日志系统却不够灵活易用，在使用时比较困难。当前HDFS服务端的日志分级较少，完全依赖于Log4j中的日志级别，一共有TRACE、INFO、DEBUG、WARN、ERROR五级，默认打印的日志等级为INFO，调整打印日志等级时需要全局调整或单个类调整，全局调整时需要重启服务，因此在使用时面临以下问题：(1)日志打印级别默认为INFO，INFO级别日志无法获取到有用的日志信息，比如某些场景下需要查看上层应用调用了HDFS的哪个RPC接口，默认的日志级别则不会打印相关调用信息；(2)调整全局日志打印级别为DEBUG时，需要重新启动服务，影响业务正常使本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.分布式文件系统日志改进方法，其特征在于，包括以下步骤：按照分布式文件系统的使用情况，将分布式文件系统日志按照场景分类；对分类后的每个场景分别通过配置项配置日志开关；配置日志开关之后，分别对每个场景中流程代码的关键位置添加重要级别日志，以及根据所述日志开关的状态确定是否输出。2.根据权利要求1所述的分布式文件系统日志改进方法，其特征在于，所述方法还包括通过ReconfigurationServlet工具实现配置项变更，分别添加每个场景日志动态修改时的处理实现，然后通过分布式文件系统自带的动态生效命令进行动态调整。3.根据权利要求2所述的分布式文件系统日志改进方法，其特征在于，在所述日志改进之后还包括：在服务器启动时读取配置文件中配置项，如果无配置项，则日志为关闭状态；动态调整日志开关，执行参数动态调整命令；以及根据日志开关的状态决定是否打印日志。4.根据权利要求1所述的分布式文件系统日志改进方法，其特征在于，所述按照分布式文件系统的使用情况，将分布式文件系统日志按照场景分类具体包括：按照分布式文件系统的使用情况，将分布式文件系统日志按照场景分类为读场景、写场景和除读写之外的第三场景；所述读场景包括元数据的获取文件信息、获取给定文件偏移和数据长度的所有数据块的数据节点，以及数据传输时读取指定块号的块到文件；所述写场景包括元数据的创建、元数据的增加块、元数据的应用和元数据的截取；以及数据传输时写块命令和接收包；所述除读写之外的第三场景包括删除和重命名。5.根据权利要求...

【专利技术属性】
技术研发人员：贾涛，王帅阳，刘少荘，
申请(专利权)人：苏州浪潮智能科技有限公司，
类型：发明
国别省市：