一种数据采集方法及数据采集系统技术方案

本发明专利技术公开了一种数据采集方法及数据采集系统，所述数据采集系统包括可视化配置平台、采集系统服务端、采集客户端、数据处理的接收端和数据清洗模块；所述可视化配置平台统一管理分布在各个服务器上的采集配置，实现简单配置统一管理；所述采集系统服务端负责指令转发，实现内网穿透；所述采集客户端包括系统采集客户端和服务器采集客户端，将支持远程访问数据的采集任务分配至系统采集客户端，本地数据采集任务则分配至服务器采集客户端；所述数据清洗模块负责接收所有客户端采集上报数据。本发明专利技术能够支持多种数据源数据采集，并提供采集配置统一管理，降低用户使用投入，方便后期对服务器的运维管理，进而保障用户服务健康稳定。定。定。

【技术实现步骤摘要】
一种数据采集方法及数据采集系统


[0001]本专利技术涉及数据采集
，具体来说，涉及一种数据采集方法及数据采集系统。

技术介绍

[0002]随着互联网时代的发展，信息化已经渗透到每一个行业与领域，这也促使网络规模持续扩大，因此对于网络服务器等设备的管理需求也越发迫切。通过采集数据，为用户实时提供数据内容，从而提供数据报表，实时异常告警等能力，实现及时准确定位问题，降低损失风险。
[0003]目前数据采集业内常见的方案有Prometheus,Datadog,Beats等。这些方案都比较依赖用户自行安装配置，对于用户的技术要求较高，需要用户投入一定工作量的学习研究，具有相对较高的门槛。且以上采集配置都分散在各个服务器上，不利于后期管理维护。针对相关技术问题，目前尚未提出有效的解决方案。

技术实现思路

[0004]针对相关技术中的问题，本专利技术提出一种数据采集方法及数据采集系统，以克服现有相关技术所存在的上述技术问题，本专利技术的目的是为了实现数据采集的远程配置，用户可以通过可视化操作平台，简易实现数据采集配置，大大降本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据采集系统，其特征在于，所述数据采集系统包括可视化配置平台、采集系统服务端、采集客户端、数据处理的接收端和数据清洗模块；所述可视化配置平台作为整个采集系统的入口，统一管理分布在各个服务器上的采集配置，实现简单配置统一管理，所述可视化配置平台为研发采集配置管理平台；所述采集系统服务端作为可视化配置平台和采集客户端的通信桥梁，负责指令转发，实现内网穿透；所述采集客户端作为核心部分，所述采集客户端包括系统采集客户端和服务器采集客户端，将支持远程访问数据的采集任务分配至系统采集客户端，并针对系统采集客户端提供插件式可拓展能力，本地数据采集任务则分配至服务器采集客户端；所述数据清洗模块负责接收所有客户端采集上报数据，实现采集数据最后的统一治理。2.根据权利要求1所述的一种数据采集系统，其特征在于，所述采集配置管理平台和所述采集系统服务端通过Rest通信，所述采集配置管理平台在数据采集系统中主要承担提供用户接入入口，采集配置翻译和采集配置转发的职责。3.根据权利要求1所述的一种数据采集系统，其特征在于，所述采集系统服务端与采集客户端通过Http/2协议进行通信连接，接收来自采集系统服务端指令，方便灵活的支持用户在采集配置管理平台上管理的采集任务。4.根据权利要求1所述的一种数据采集系统，其特征在于，所述采集客户端作为数据采集系统基础组件。5.一种如权利要求1
‑

【专利技术属性】
技术研发人员：张浩，
申请(专利权)人：杭州云掣科技有限公司，
类型：发明
国别省市：