一种大数据采集系统和方法技术方案

本发明专利技术涉及一种大数据采集系统和方法，所述大数据采集系统包括：数据采集模块、数据汇聚模块和数据接收模块；所述数据采集模块包括一个或多个agent单元；所述agent单元部署在要采集的数据设备上，所述agent单元用于采集运行数据，并将该数据发送给数据汇聚模块进行聚合和预处理；所述数据接收模块用于接收数据汇聚模块上传的处理数据，并对该数据进行加工处理，并将处理后的数据进行存储和展示；本发明专利技术的系统通过数据汇聚模块对采集的数据进行预处理，能够降低数据传输量和传输频率，便于数据更稳定的传送给数据接收模块；通过在数据采集模块上设置存储单元，能够降低数据泄露和丢失的概率，有利于提高采集系统的安全性。

A Large Data Acquisition System

【技术实现步骤摘要】
一种大数据采集系统和方法
本专利技术涉及数据采集
，具体涉及一种大数据采集系统和方法。
技术介绍
随着科技的不断进步，尤其是移动互联网、物联网等技术的飞速发展，全球数据量出现了爆炸式增长。不仅是数据量越来越大，数据类型多，而且处理实时性要满足要求，这些都给大数据的采集处理带来了很大挑战。大数据的采集主要是运用互联网技术实现远程数据采集，通过采集软件在互联网中进行采集和传递，并经过多次汇聚转发，最终发送给大数据平台作为分析和应用的数据源。现有的大数据的采集面临的主要问题是：数据源实时产生的数据量巨大，数据传输频率高，对采集服务器和传输网络的压力非常大，在传输网络不稳定的情况下，数据采集传输过程易发生数据泄露、丢失等问题，数据的安全性较差。
技术实现思路
有鉴于此，本专利技术的目的在于克服现有技术的不足，提供一种大数据采集系统和方法。为实现以上目的，本专利技术采用如下技术方案：一种大数据采集系统，包括：数据采集模块、数据汇聚模块和数据接收模块；其中，所述数据采集模块包括：一个或多个agent单元；所述agent单元部署在要采集的数据设备上，所述数据设备上的每一个应用软件与一个所述age本文档来自技高网...

【技术保护点】
1.一种大数据采集系统，其特征在于，包括：数据采集模块、数据汇聚模块和数据接收模块；其中，所述数据采集模块包括：一个或多个agent单元；所述agent单元部署在要采集的数据设备上，所述数据设备上的每一个应用软件与一个所述agent单元相对应，所述agent单元用于采集与其相对应的应用软件的运行数据，并将该采集数据发送给所述数据汇聚模块进行数据聚合和预处理，并将预处理后的数据发送给所述数据接收模块；数据接收模块，用于接收所述数据汇聚模块上传的处理后数据，对该数据进行加工处理，并将处理后的数据进行存储和展示。

【技术特征摘要】
1.一种大数据采集系统，其特征在于，包括：数据采集模块、数据汇聚模块和数据接收模块；其中，所述数据采集模块包括：一个或多个agent单元；所述agent单元部署在要采集的数据设备上，所述数据设备上的每一个应用软件与一个所述agent单元相对应，所述agent单元用于采集与其相对应的应用软件的运行数据，并将该采集数据发送给所述数据汇聚模块进行数据聚合和预处理，并将预处理后的数据发送给所述数据接收模块；数据接收模块，用于接收所述数据汇聚模块上传的处理后数据，对该数据进行加工处理，并将处理后的数据进行存储和展示。2.根据权利要求1所述的采集系统，其特征在于，所述数据采集模块还包括：存储单元；当传输网络连接超时或数据传输失败时，所述存储单元用于保存该条数据信息，并每隔一段时间进行数据重传，当累计重传次数超过重传上限次数时，停止重传，并将该数据保存在所述存储单元中；其中，相同一条数据重传的时间间隔是递增的；当所述存储单元存满数据时，按照数据的存储先后时间顺序进行数据丢弃。3.根据权利要求1所述的采集系统，其特征在于，所述数据汇聚模块对采集数据进行预处理，包括：对所述采集数据进行压缩处理，以减少所述采集数据的数据大小；对应的，所述数据接收模块对接收的相互间进行解压缩处理。4.根据权利要求1所述的采集系统，其特征在于，还包括：配置模块；所述配置模块包括：心跳服务器、配置接口和配置信息数据库；其中，所述心跳服务器，用于通过所述配置接口从所述配置信息数据库中获取第一配置信息，并将所述第一配置信息下发给所述agent单元；所述配置信息数据库，用于存储该数据采集系统的配置信息。5.根据权利要求4所述的采集系统，其特征在于，还包括：监测告警模块；所述监测告警模块包括：数据监测单元和告警单元；所述数据监测单元与所述心跳服务器连接，...

【专利技术属性】
技术研发人员：王江，胡湿，黄福鑫，
申请(专利权)人：北京云基数技术有限公司，
类型：发明
国别省市：北京,11