一种基于分布式架构的大数据采集平台系统技术方案

本发明专利技术涉及计算机技术领域，公开了一种基于分布式架构的大数据采集平台系统，包括客户端采集服务及客户端

【技术实现步骤摘要】
一种基于分布式架构的大数据采集平台系统


[0001]本专利技术涉及计算机
，特别是一种基于分布式架构的大数据采集平台系统
。

技术介绍

[0002]大数据开发过程中，除了需要采集关系型数据库的数据，还可能需要采集日志数据
、
传输报文数据，实际使用场景中产生如下问题：需要一个能够提供高速
、
可靠的数据流通道服务；在数据采集的过程中往往需要对数据发送端进行身份认证，以及有效时长的限制，需要有同一的认证配置中心；需要能够提供订阅的功能，将数据主动推送给数据使用者，且该功能需要稳定可靠
、
高效；由于数据采集
/
分发服务需要持续对外提供服务，那么对数据采集
/
分发服务也要求具备稳定可靠
、
高效的特点；需要能够简单高效的进行服务的安装部署，日志查阅，数据流监控等，而不是手动部署，登录服务器查阅运行日志，流量监控等；需要简单高效的对消息队列进行设置使用以及监控，观察监控数据流
。
[0003]因此在
Flume
的基础上，开发出一个数据采集平台，来解决实际使用中的一系列问题，让数据开发人员真正能够快速通过配置的方式，完成所有的大数据开发，提高开发效率
。

技术实现思路

[0004]本专利技术的目的在于提供一种基于分布式架构的大数据采集平台系统，包括客户端采集服务及客户端
SDK
包
、
数据交换服务
、
数据分发服务
、
监控服务和
Web
服务五个模块；其中，客户端采集服务及客户端
SDK
包提供数据采集
、
数据缓存
、
数据发送
、Metric
指标监控功能，用户将客户端采集服务部署在需要的服务器上，通过配置采集指定的数据文件，数据将发往数据交换服务上，或者用户使用
SDK
包，通过调用
API
的方式将数据发送到数据交换服务上；其中，数据交换服务提供身份验证
、
数据接收
、
高可用方案功能，对于客户端采集服务或客户端
SDK
包发送过来的数据进行身份认证，有效保护数据的安全性，验证通过后，将数据发往指定的消息队列中，供下游数据使用；其中，数据分发服务提供数据分发
、Metrics
指标监控，通过数据分发服务，方便用户进行消息的订阅，数据分发服务将从消息队列中获取用户需要的数据，并主动推动给用户；其中，监控服务提供状态监控
、
进程启停
、
日志操作功能，对后台服务进行有效监控，包括进程启停
、
日志查阅
、
状态监控；
其中，
Web
服务提供监控信息展示
、
进程启停可视化操作
、
认证信息生成
、
消息队列的创建功能，通过
Web
服务，用户实现在界面上配置需要的后台服务，并且通过一键启停等功能，简单高效的控制数据采集的后台服务，最大程度的简化数据开发过程的繁琐流程；其中的数据采集具体实现步骤如下：
S1
：注册
/
登录数据采集平台；
S2
：创建项目，创建项目时需要指定
Zookeeper
集群相关信息，以及
Redis
集群的相关信息，
Zookeeper
集群能够为后台服务提供高可用服务，
Redis
集群能够为数据交换服务提供身份认证
、
鉴权功能；
S3
：添加服务器节点信息，采集平台将通过
ssh
服务安装部署相应的应用程序到服务器节点上；
S4
：添加可用的消息队列及相应的
Topic
，后台数据交换服务接收到数据后，可以借数据发往消息队列中，供下游数据消费者使用；
S5
：在指定的项目中，添加认证信息；
S6
：在指定的项目中，添加分组及组内的订阅信息，如果不需要进行数据分发服务，此步骤可跳过；
S7
：在指定的项目中，创建监控服务，以此来监控
、
管理后台数据服务；
S8
：在指定的监控服务下，添加数据交换服务或数据分发服务，数据交换服务能够接收用户通过
http
请求发送来的数据，并对发送者的身份进行验证，然后将数据发送到消息队列中，供下游数据使用者使用；数据分发服务可以向不同的分发组中的订阅者推送消息队列中的数据；
S9
：数据采集开始并直至完成
。
[0005]本专利技术具有以下有益效果：支持使用客户端服务
、SDK
包的方式对数据文件进行数据采集；支持数据传输身份认证，保证数据的安全性；支持对所有后台服务节点进行状态监控，进程启停，运行日志下载
/
查看等；支持订阅
/
发布模式的数据推送；支持每日海量的日志等数据的采集
。
附图说明
[0006]图1为本专利技术的一种实施例的流程导向图
。
[0007]图2为本专利技术中
S2
的示意图
。
[0008]图3为本专利技术中
S3
的示意图
。
[0009]图4为本专利技术中
S4
的示意图
。
[0010]图5为本专利技术中
S5
的示意图
。
[0011]图6为本专利技术中
S8
的示意图
。
实施方式
[0012]为了使本专利技术的目的
、
技术方案及优点更加清楚明白，以下结合实施例，对本专利技术进行进一步详细说明
。
[0013]本专利技术公开了一种基于分布式架构的大数据采集平台系统，包括客户端采集服务及客户端
SDK
包
、
数据交换服务
、
数据分发服务
、
监控服务和
Web
服务五个模块；其中，客户端采集服务及客户端
SDK
包提供数据采集
、
数据缓存
、
数据发送
、Metric
指标监控功能，用户将客户端采集服务部署在需要的服务器上，通过配置采集指定的数据文件，数据将发往数据交换服务上，或者用户使用
SDK
包，通过调用
API
的方式将数据发送到数据交换服务上；其中，数据交换服务提供身份验证
、
数据接收
、
高可用方案功能，对于客户端采集服务或客户端
SDK
包发送过来的数据进行身份认证，有效保护数据的安全性，验证通过本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种基于分布式架构的大数据采集平台系统，其特征在于：包括客户端采集服务及客户端
SDK
包
、
数据交换服务
、
数据分发服务
、
监控服务和
Web
服务五个模块；其中，客户端采集服务及客户端
SDK
包提供数据采集
、
数据缓存
、
数据发送
、Metric
指标监控等功能，用户将客户端采集服务部署在需要的服务器上，通过配置采集指定的数据文件，数据将发往数据交换服务上，或者用户使用
SDK
包，通过调用
API
的方式将数据发送到数据交换服务上；其中，数据交换服务提供身份验证
、
数据接收
、
高可用方案功能，对于客户端采集服务或客户端
SDK
包发送过来的数据进行身份认证，有效保护数据的安全性，验证通过后，将数据发往指定的消息队列中，供下游数据使用；其中，数据分发服务提供数据分发
、Metrics
指标监控，通过数据分发服务，方便用户进行消息的订阅，数据分发服务将从消息队列中获取用户需要的数据，并主动推动给用户；其中，监控服务提供状态监控
、
进程启停
、
日志操作功能，对后台服务进行有效监控，包括进程启停
、
日志查阅
、
状态监控等；其中，
Web
服务提供监控信息展示
、
进程启停可视化操作
、
认证信息生成
、
消息队列的创建功能，通过
Web...

【专利技术属性】
技术研发人员：邵健锋，朱国全，方友仓，洪森权，
申请(专利权)人：深圳市今天国际物流技术股份有限公司，
类型：发明
国别省市：