【技术实现步骤摘要】
本专利技术涉及大数据，尤其涉及一种大数据分类采集系统。
技术介绍
1、大数据或称巨量资料，指的是所涉及的资料量规模巨大到无法透过主流软件工具，在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯，“大数据”是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力来适应海量、高增长率和多样化的信息资产，随着云时代的来临，大数据也吸引了越来越多的关注，大数据与云计算的关系就像一枚硬币的正反面一样密不可分，大数据必然无法用单台的计算机进行处理，必须采用分布式架构，它的特色在于对海量数据进行分布式数据挖掘，但它必须依托云计算的分布式处理、分布式数据库和云存储、虚拟化技术。
2、目前大数据采集系统对数据进行采集处理的过程中，由于采集的数据量巨大，且杂乱无序，且通常将数据都集中采集后再进行分类处理，数据冗余，处理量较大，花费处理的时间过长，降低系统的处理效率。
技术实现思路
1、针对上述问题，本专利技术提供一种大数据分类采集系统，为解决上述问题，本专利技术所采用的技术方案是：
2、一种大数据分类采集系统，包括中央控制系统、数据采集单元以及数据缓存单元，所述中央控制系统通过无线与数据采集单元实现双向连接，所述数据采集单元的输出端与数据缓存单元的输入端电性连接；
3、包括抗干扰模块、数据库以及人工交互单元，所述中央控制系统通过无线与抗干扰模块实现双向连接，所述抗干扰模块用于在数据传输过程中防止信号受到外部干扰，保证传输过程中数据的稳
4、还包括无线传输模块以及无线与显示模块，所述中央控制系统通过无线与无线传输模块实现双向连接，所述无线传输模块通过无线与显示模块实现双向连接，所述显示模块用于将传输的数据信息进行可视化展示。
5、优选地，所述数据缓存单元通过无线与中央控制系统实现双向连接，中央控制系统通过无线与数据库实现双向连接。
6、优选地，所述数据采集单元包括日志采集模块、网络数据采集模块和数据库采集模块，通过日志、网络数据以及相关企业数据库各渠道进行数据采集，数据来源更加广泛，提供可靠的数据保证。
7、优选地，所述数据缓存单元包括缓存模块，所述缓存模块的输入端与多通道接收模块的输出端电性连接，所述多通道接收模块将传输的不同来源的数据通过多通道分别进行接收，增加数据传输的稳定性，提升数据传输速度，所述缓存模块的输入端与预处理单元的输出端电性连接，缓存模块的输入端与删除模块的输出端电性连接，所述删除模块用于将缓存模块中已上传至数据库中的数据进行删除，扩展缓存模块中缓存空间，减轻缓存压力。
8、优选地，所述预处理单元包括清洗模块、集成和转换模块和数据分类模块，所述预处理单元对采集的数据进行预处理分类，前期对数据进行处理，提高后续数据的处理速度，防止数据丢失。
9、优选地，所述数据库包括储存模块，所述储存模块通过无线与备份模块实现双向连接，所述备份模块的输出端与云端服务器的输入端电性连接，所述备份模块用于将储存模块中的数据进行备份，并上传至云端服务器中进行云储存，防止数据丢失，扩大储存空间，所述云端服务器通过无线与防护模块实现双向连接，储存模块通过无线与防护模块实现双向连接，所述储存模块通过无线与更新模块实现双向连接。
10、优选地，所述人工交互单元包括信息输入模块、检索模块和图像查看模块，所述信息输入模块用于将查询数据时的查询信息进行输入，所述检索模块用于根据输入信息对系统中的相关数据进行检索，所述图像查看模块用于对显示模块中显示的数据信息进行查看。
11、本专利技术的有益效果为：
12、1.通过数据采集单元将数据采集后上传至数据缓存单元，多通道接收模块将传输的不同来源的数据通过多通道分别进行接收，增加数据传输的稳定性，提升数据传输速度，缓存模块将数据进行缓存，预处理单元将缓存的数据进行预处理分类，前期对数据进行处理，提高后续数据的处理速度，防止数据丢失。
13、2.通过数据采集单元对数据进行采集的过程中，通过日志、网络数据以及相关企业数据库各渠道进行数据采集，数据来源更加广泛，提供可靠的数据保证。
14、3.数据处理分类后通过储存模块对数据信息进行储存，并通过备份模块能够将数据进行备份上传至云端服务器进行储存，防止误操作后数据丢失，提升数据的安全性，且扩展了储存空间。
本文档来自技高网...【技术保护点】
1.一种大数据分类采集系统，其特征在于，包括中央控制系统(1)、数据采集单元(2)以及数据缓存单元(3)，所述中央控制系统(1)通过无线与数据采集单元(2)实现双向连接，所述数据采集单元(2)的输出端与数据缓存单元(3)的输入端电性连接；
2.根据权利要求1所述的一种大数据分类采集系统，其特征在于，所述数据缓存单元(3)通过无线与中央控制系统(1)实现双向连接，中央控制系统(1)通过无线与数据库(5)实现双向连接。
3.根据权利要求2所述的一种大数据分类采集系统，其特征在于，所述数据采集单元(2)包括日志采集模块(21)、网络数据采集模块(22)和数据库采集模块(23)，通过日志、网络数据以及相关企业数据库各渠道进行数据采集，数据来源更加广泛，提供可靠的数据保证。
4.根据权利要求3所述的一种大数据分类采集系统，其特征在于，所述数据缓存单元(3)包括缓存模块(31)，所述缓存模块(31)的输入端与多通道接收模块(32)的输出端电性连接，所述多通道接收模块(32)将传输的不同来源的数据通过多通道分别进行接收，增加数据传输的稳定性，提升数据传输速度
5.根据权利要求4所述的一种大数据分类采集系统，其特征在于，所述预处理单元(33)包括清洗模块(331)、集成和转换模块(332)和数据分类模块(333)，所述预处理单元(33)对采集的数据进行预处理分类，前期对数据进行处理，提高后续数据的处理速度，防止数据丢失。
6.根据权利要求1所述的一种大数据分类采集系统，其特征在于，所述数据库(5)包括储存模块(51)，所述储存模块(51)通过无线与备份模块(52)实现双向连接，所述备份模块(52)的输出端与云端服务器(53)的输入端电性连接，所述备份模块(52)用于将储存模块(51)中的数据进行备份，并上传至云端服务器(53)中进行云储存，防止数据丢失，扩大储存空间，所述云端服务器(53)通过无线与防护模块(54)实现双向连接，储存模块(51)通过无线与防护模块(54)实现双向连接，所述储存模块(51)通过无线与更新模块(55)实现双向连接。
7.根据权利要求1所述的一种大数据分类采集系统，其特征在于，所述人工交互单元(6)包括信息输入模块(61)、检索模块(62)和图像查看模块(63)，所述信息输入模块(61)用于将查询数据时的查询信息进行输入，所述检索模块(62)用于根据输入信息对系统中的相关数据进行检索，所述图像查看模块(63)用于对显示模块(8)中显示的数据信息进行查看。
...【技术特征摘要】
1.一种大数据分类采集系统，其特征在于，包括中央控制系统(1)、数据采集单元(2)以及数据缓存单元(3)，所述中央控制系统(1)通过无线与数据采集单元(2)实现双向连接，所述数据采集单元(2)的输出端与数据缓存单元(3)的输入端电性连接；
2.根据权利要求1所述的一种大数据分类采集系统，其特征在于，所述数据缓存单元(3)通过无线与中央控制系统(1)实现双向连接，中央控制系统(1)通过无线与数据库(5)实现双向连接。
3.根据权利要求2所述的一种大数据分类采集系统，其特征在于，所述数据采集单元(2)包括日志采集模块(21)、网络数据采集模块(22)和数据库采集模块(23)，通过日志、网络数据以及相关企业数据库各渠道进行数据采集，数据来源更加广泛，提供可靠的数据保证。
4.根据权利要求3所述的一种大数据分类采集系统，其特征在于，所述数据缓存单元(3)包括缓存模块(31)，所述缓存模块(31)的输入端与多通道接收模块(32)的输出端电性连接，所述多通道接收模块(32)将传输的不同来源的数据通过多通道分别进行接收，增加数据传输的稳定性，提升数据传输速度，所述缓存模块(31)的输入端与预处理单元(33)的输出端电性连接，缓存模块(31)的输入端与删除模块(34)的输出端电性连接，所述删除模块(34)用于将缓存模块(31)中已上传至数据库(5)中的数据进行删除，扩展缓存模...
【专利技术属性】
技术研发人员：范里，
申请(专利权)人：天翼视讯传媒有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。