一种基于大数据的数据采集系统及采集方法技术方案

本发明专利技术提供一种基于大数据的数据采集系统及采集方法，涉及数据采集系统领域。该基于大数据的数据采集系统及采集方法，该数据采集系统包含有数据管理模块、数据采集模块、系统监控模块和硬件管理模块四个功能模块，所述数据采集模块通过数据库采集、系统日志采集、文件文本采集和传感器数据采集四种方式采集方式进行数据采集，所述数据库采集模块包含有关系型数据库采集、NoSQL数据库采集和网络爬虫采集三种采集方式。本发明专利技术能够实现大规模的数据采集，无论是来自企业内部的各种业务系统、服务器日志，还是外部的社交媒体、传感器网络等，可以在短时间内收集大量的数据，满足大数据分析的需求。

【技术实现步骤摘要】

本专利技术涉及数据采集系统领域，具体为一种基于大数据的数据采集系统及采集方法。

技术介绍

1、随着网络数字化的发展，各个领域的数据量呈爆炸式增长，传统的数据采集系统面临着巨大的挑战，一方面数据来源日益多样化，传统的数据库或者网络数据均呈爆炸指数级增长，同时企业和组织对数据的实时性和准确性要求越来越高，在快速变化的市场环境中，及时获取准确的数据对于做出明智的决策至关重要，大数据技术的出现为解决这些问题提供了新的思路，基于大数据的数据采集系统能够处理大规模、多样化的数据，实现高效的数据整合和实时采集，从而可以快速处理海量数据，并提供准确、可靠的数据支持，因此本专利技术提出了一种基于大数据的数据采集系统，为企业和机构提供更全面化的数据采集方案。

技术实现思路

1、(一)解决的技术问题

2、针对现有技术的不足，本专利技术提供了一种基于大数据的数据采集系统及采集方法，大数据采集系统通过传感器和在网络服务器上建立数据库采集工具从而进行硬件数据采集和网络数据采集两种采集方式，并且在采集模块应对服务器内部数据和网本文档来自技高网...

【技术保护点】

1.一种基于大数据的数据采集系统，其特征在于：该数据采集系统包含有数据管理模块、数据采集模块、系统监控模块和硬件管理模块四个功能模块，所述数据采集模块通过数据库采集、系统日志采集、文件文本采集和传感器数据采集四种方式采集方式进行数据采集，所述数据库采集模块包含有关系型数据库采集、NoSQL数据库采集和网络爬虫采集三种采集方式，所述系统日志采集模块包含有本地日志系统数据采集和集中式日志系统数据采集，所述文件文本采集模块包含有文本文件数据采集和二进制文件数据采集，所述传感器数据采集包含有工业传感器设备采集和物联网设备采集，所述数据管理模块包含有数据接口管理功能、数据传输管理功能、数据分析管理...

【技术特征摘要】

1.一种基于大数据的数据采集系统，其特征在于：该数据采集系统包含有数据管理模块、数据采集模块、系统监控模块和硬件管理模块四个功能模块，所述数据采集模块通过数据库采集、系统日志采集、文件文本采集和传感器数据采集四种方式采集方式进行数据采集，所述数据库采集模块包含有关系型数据库采集、nosql数据库采集和网络爬虫采集三种采集方式，所述系统日志采集模块包含有本地日志系统数据采集和集中式日志系统数据采集，所述文件文本采集模块包含有文本文件数据采集和二进制文件数据采集，所述传感器数据采集包含有工业传感器设备采集和物联网设备采集，所述数据管理模块包含有数据接口管理功能、数据传输管理功能、数据分析管理功能和数据存储管理功能四个功能模块，所述系统监控模块包含有性能监控模块、数据监控模块、报警装置和安全管理模块，所述硬件管理模块包含有数据库传输模块和网络服务器模块。

2.根据权利要求1所述的一种基于大数据的数据采集系统及采集方法，其特征在于：所述数据采集模块的关系型数据库利用数据库连接工具jdbc和odbc直接连接关系型数据库，通过编写sql查询语句从数据库中提取所需数据，可以按照特定的条件字段进行筛选和聚合，所述nosql数据库采集针对非关系型数据库使用相应的数据库驱动和api进行数据采集，并根据nosql数据库的特点mongodb使用基于文档的查询语言，hbase则通过表扫描和过滤器进行数据检索，所述网络爬虫收集功能通过编写网络爬虫程序，自动访问网页并提取其中的有用信息，所述本地日志系统采集对服务器和应用程序生成的大量的系统日志，记录系统运行状态、用户行为信息使用日志采集工具logstash定期收集，对日志数据进行解析过滤和转换提取信息。

3.根据权利要求1所述的一种基于大数据的数据采集系统，其特征在于：所述文本文件采集模块的文本文件数据采集通过识别csv、xml、json格式的文件的数据，数据采集系统可以定期读取这些文件，将数据导入到数据库或进行分析，所述二进制文件数据采集通过二进制文件解析工具来读取和处理这些二进制文件中的数据，所述传感器数据采集模块的工业传感器设备模块通过有线或无线方式连接工业生产中的一些传感器，实时采集传感器数据，所述物联网设备模块通过蓝牙、wi-fi的连接方式连接智能电子设备并对其采集的数据传输到采集系统中。

4.根据权利要求1所述的一种基于大数据的数据采集系统，其特征在于：所述数据接口管理模块包含有识别数据源功能和数据源分类标记功能，所述识别数据源功能连接各种不同类型的数据源，企业内部数据库、外部api接口、网络爬虫目标网站、传感器设备，所述数据源分类标记功能对接收的数据进行分类标记，使得每个数据均可准确定位，所述数据传输管理功能包含有传输协议统一功能和断点保护续传功能，所述断点保护续传功能在数据传输过程中如果出现网络中断情况，能够在恢复连接后从断点处继续传输，避免数据丢失。

【专利技术属性】
技术研发人员：梁啸，梁德明，吕萍，
申请(专利权)人：南京景乐信息科技有限公司，
类型：发明
国别省市：