【技术实现步骤摘要】
本专利技术涉及大数据应用领域，具体涉及一种数据实时收集系统及方法。
技术介绍
随着互联网科技的迅猛发展，在对数据的大量处理中会产生海量的数据，对于如何利用海量的数据，已经成为大数据的应用领域不断探讨的话题。目前，对系统产生的大数据的收集还停留在比较传统的阶段，例如直接将服务器产生的数据写入磁盘，并在磁盘中的历史数据的量达到足够大的情况下才对大数据进行分析。显然，现有的对大数据的利用远远不能满足当前大数据应用的使用需求，也就是说，目前需要一个更专业的大数据收集系统能够满足各种应用对大数据的使用需求。
技术实现思路
有鉴于此，本专利技术提供了一种数据实时收集系统及方法，能够对海量数据进行实时采集，并及时得到数据分析结果，以供大数据应用使用。本专利技术提供了一种数据实时收集系统，所述系统包括数据采集客户端、数据分发集群、数据分析集群、结果保存库；所述数据采集客户端，用于实时采集数据源服务器的数据，并将所述数据下发至所述数据分发集群；所述数据分发集群，用于将所述数据实时发送至所述数据分析集群；所述数据分析集群，用于对来自所述数据分发集群的数据进行分析，得到分析结果，并发送至...
【技术保护点】
一种数据实时收集系统，其特征在于，所述系统包括数据采集客户端、数据分发集群、数据分析集群、结果保存库；所述数据采集客户端，用于实时采集数据源服务器的数据，并将所述数据下发至所述数据分发集群；所述数据分发集群，用于将所述数据实时发送至所述数据分析集群；所述数据分析集群，用于对来自所述数据分发集群的数据进行分析，得到分析结果，并发送至所述结果保存库中；所述结果保存库，用于存储所述分析结果，以供大数据应用使用。
【技术特征摘要】
1.一种数据实时收集系统，其特征在于，所述系统包括数据采集客户端、数据分发集群、数据分析集群、结果保存库；所述数据采集客户端，用于实时采集数据源服务器的数据，并将所述数据下发至所述数据分发集群；所述数据分发集群，用于将所述数据实时发送至所述数据分析集群；所述数据分析集群，用于对来自所述数据分发集群的数据进行分析，得到分析结果，并发送至所述结果保存库中；所述结果保存库，用于存储所述分析结果，以供大数据应用使用。2.根据权利要求1所述的系统，其特征在于，所述数据分析集群包括离线数据分析集群和\\或实时数据分析集群；所述离线数据分析集群，用于对来自所述数据分发集群的数据做离线分析，得到离线分析结果，并发送至所述结果保存库中；和\\或，所述实时数据分析集群，用于对来自所述数据分发集群的数据做实时分析，得到实时分析结果，并发送至所述结果保存库中。3.根据权利要求2所述的系统，其特征在于，所述数据分析集群包括离线数据分析集群和实时数据分析集群；所述数据分发集群，具体用于将所述数据分别实时发送至所述离线数据分析集群和所述实时数据分析集群。4.根据权利要求3所述的系统，其特征在于，所述数据分发集群为Flume集群。所述数据采集客户端，具体用于将采集到的数据封装成消息流以远程过程调用PRC的方式下发至所述Flume集群。5.根据权利要求2-4中任一项所述的系统，其特征在于，所述离线数据分析集群包括：HDFS数据存储集群，用于利用Hadoop分布式文件系统，将来自所述数据分发集群的数据进行存储；Spark离线分析集群，用于利用Spark集群，对所述HDFS数据存储集群中的数据进行离线分析。6.根据权利要求2-4中任一项所述的系统，其特征在于，所述实时数据分析集群包括：Kafka数据存储集群，用于利用Kafka集群，将来自所述数据分发集群的数据进行存储；Spark实时分析集群，用于利用Spark Streaming实时计算框架，对所述Kafka数据存储集群中的数据进行实时分析。7.一种数据实时收集方法，其特征在于，所述方法应用于数据实时收集系统，所述数据实时收集系统包括数据采集客户端、数据分发集群、数据分析集群、结果保存库；所述数据采集客户端实时采集数据源服务器的数据，并将所述数据下发至所述数据分发集群；所述数据分发集群将所述数据实时发送至所述数据分析集群；所述数据分析集群对来自所述数据分发集群的数据进行分析...
【专利技术属性】
技术研发人员：和宏涛，李晓轩，杨声钢，杨森，
申请(专利权)人：中国农业银行股份有限公司，
类型：发明
国别省市：北京;11
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。