分布式数据采集方法和系统技术方案

本发明专利技术实施例公开了一种分布式数据采集方法和系统，涉及计算机技术领域。该实施例中的方法包括：配置管理模块统一管理JMX接口池的采集配置信息；分布式数据采集模块根据所述采集配置信息进行数据采集，并将采集的数据发送至分布式数据存储模块；分布式数据存储模块对所述采集的数据进行时序存储；数据展示模块对所述分布式数据存储模块中的数据进行展示。通过以上方法，能够极大地提高JMX格式数据采集的吞吐量，保证采集过程中每个环节的高可用、高可靠、可扩展性，保证数据在采集过程中的稳定性和可维护性。

【技术实现步骤摘要】
分布式数据采集方法和系统
本专利技术涉及计算机
，尤其涉及一种分布式数据采集方法和系统。
技术介绍
随着开源技术社区的发展，热衷于使用开源软件的公司越来越多。比如，Hadoop、Storm、Spark、HBase等与大数据相关的开源软件得到了广泛应用。这些开源软件的接口规范大多是基于JMX(Java管理扩展)的标准。在这样的背景下，基于JMX标准的数据采集工作显得特别重要。现有基于JMX标准的数据采集、存储、展示大多是采用现成的开源监视工具，比如Open-Falcon、Flume、Nagios、Ganglia等。不同用户可选择符合自己需求的场景来使用。在实现本专利技术过程中，专利技术人发现现有技术中至少存在如下问题：现有开源监视工具往往只能满足业务比较单一、采集数据量较少的需求，而对于采集数据量较多、业务场景较复杂、展示要求比较高的情况则无法满足。比如，现有开源监视工具的软件配置比较繁琐，基于软件的二次开发和利用需要增加更多的成本；现有开源监视工具的数据展示不够友好；现有开源监视工具的数据存储量有限、数据吞吐量较少。当存储的数据量达到TB以上时，现有开源监视工具的各种性能问题接本文档来自技高网...

【技术保护点】
1.一种分布式数据采集方法，其特征在于，所述方法包括：配置管理模块统一管理JMX接口池的采集配置信息；分布式数据采集模块根据所述采集配置信息进行数据采集，并将采集的数据发送至分布式数据存储模块；分布式数据存储模块对所述采集的数据进行时序存储；数据展示模块对所述分布式数据存储模块中的数据进行展示。

【技术特征摘要】
1.一种分布式数据采集方法，其特征在于，所述方法包括：配置管理模块统一管理JMX接口池的采集配置信息；分布式数据采集模块根据所述采集配置信息进行数据采集，并将采集的数据发送至分布式数据存储模块；分布式数据存储模块对所述采集的数据进行时序存储；数据展示模块对所述分布式数据存储模块中的数据进行展示。2.根据权利要求1所述的方法，其特征在于，所述采集配置信息包括：业务类型、URL和采集规则。3.根据权利要求1所述的方法，其特征在于，所述方法还包括：在分布式数据采集模块根据所述采集配置信息进行数据采集的步骤之前，根据一致性哈希算法对分布式数据采集模块中的采集客户端进行分布式部署。4.根据权利要求2所述的方法，分布式数据采集模块根据所述采集配置信息进行数据采集的步骤包括：分布式数据采集模块基于线程池的任务调度策略向所述URL请求数据，并将获取的数据进行归并整理，然后将归并整理后的数据发送至分布式数据存储模块；其中，所述归并整理后的数据包括：指标名、指标值、时间戳、标签名、标签值。5.根据权利要求1所述的方法，其特征在于，分布式数据存储模块对所述采集的数据进行时序存储的步骤包括：根据预设的映射规则对指标名、标签名、标签值分别进行映射，生成与指标名、标签名、标签值分别对应的唯一标识；根据生成的唯一标识和所述时间戳生成结构化数据库的行键名，并将预设时间段内的指标值存入所述行键名对应的列。6.根据权利要求1所述的方法，其特征在于，所述方法还包括：在分布式数据采集模块根据所述采集配置信息进行数据采集的步骤之后，分布式数据采集模块将采集的数据发送至消息订阅模块，并由消息订阅模块将所述采集的数据发送至分布式数据存储模块。7.根据权利要求1所述的方法，其特征在于，数据展示模块对所述分布式数据存储模块中的数据进行展示的步骤包括：数据展示模块向分布式数据存储模块发送获取待展示数据的请求，并通过预先定制的可视化界面对所述待展示数据进行展示。8.一种分布式数据采集系统，其特征在于，包括：配置管理模块，用于统一管理JMX接口池的采集配置信息；分布式数据采集模...

【专利技术属性】
技术研发人员：夏阳，
申请(专利权)人：北京京东尚科信息技术有限公司，北京京东世纪贸易有限公司，
类型：发明
国别省市：北京,11