一种大数据安全存储校验系统技术方案

本发明专利技术公开了一种大数据安全存储校验系统，包括大数据存储库、云端服务器、日志数据库、信息过滤模块、数据采集模块和安全控制模块以及校检模块，所述数据采集模块对网络数据进行采集并将采集数据发送至信息过滤模块，所述信息过滤模块对采集的数据进行分类，并将采集数据的分类信息发送至云端服务器内，所述云端服务器根据数据需求，将对应分类的数据传授至大数据存储库内进行存储，并通过日志数据库进行数据传输日志备份，所述安全控制模块调取信息过滤模块内的数据，对采集的数据进行检查预警，所述校检模块能够调取日志数据库内的数据，对大数据存储库的内数据来源进行查验。

【技术实现步骤摘要】
一种大数据安全存储校验系统
本专利技术涉及一种校检系统，具体涉及一种大数据安全存储校验系统。
技术介绍
随着电子信息技术的发展，人们使用网络的频率越来越高，大数据提出的同时，人们也逐渐体会到信息高速发展带来的隐患，安全问题成为网络浏览的重要问题，隐私泄露、财产被骗等等，没有一个安全的网络环境对于使用者的影响非常大，为此，我们提出了一种基于大数据平台的网络安全实施系统及方法。安全是企业进行正常生产经营活动的前提。隐患存在于企业的各系统中，及时发现、识别、处理隐患信息对于企业防范隐患，预防事故，保障生产经营活动有序进行十分重要。随着计算机技术、信息技术的发展，企业的各部门、各经营活动会产生大量的数据信息和信息交换行为。实现隐患信息的全时空采集，并利用大数据技术实现企业隐患动态预警，提高对隐患的反应速度和反映效率对于保障企业持续经营十分重要。同时，通过对数据的深度挖掘为企业决策提供依据也成为企业发展的趋势。该专利技术旨在提出一种隐患信息采集处理系统，通过使用上述系统，可对企业隐患信息进行全时空的监测和预警，实现每个人自身及其周围的人、机、环都是安全的，预防事故发生。
技术实现思路
本专利技术所要解决的技术问题是目前大数据的数据来源安全并能够保证，并且，尚未新成一种校检机制，能够对大数据库内的数据进行来源追溯，在出现安全问题后无法及时补充数据，造成一定损失，目的在于提供一种大数据安全存储校验系统，解决上述的问题。本专利技术通过下述技术方案实现：一种大数据安全存储校验系统，包括大数据存储库、云端服务器、日志数据库、信息过滤模块、数据采集模块和安全控制模块以及校检模块，所述数据采集模块对网络数据进行采集并将采集数据发送至信息过滤模块，所述信息过滤模块对采集的数据进行分类，并将采集数据的分类信息发送至云端服务器内，所述云端服务器根据数据需求，将对应分类的数据传授至大数据存储库内进行存储，并通过日志数据库进行数据传输日志备份，所述安全控制模块调取信息过滤模块内的数据，对采集的数据进行检查预警，所述校检模块能够调取日志数据库内的数据，对大数据存储库的内数据来源进行查验。目前的大数据存储库内存储的数据往往是采用网络爬虫进行采集，后在大数据存储库内进行分类存储，这样做会使得大数据存储库内有很多杂余碎片数据，这样会使得系统反应慢，不利于大数据的存储和调取。而本申请中，采用的技术是将在大数据存储库内的分类存储放置在外部，将数据信息采集过后利用信息过滤模块将碎片信息进行过滤，并将数据分类规整，这样就会将碎片信息和多余数据抵挡在大数据存储库外，保证大数据存储库的运行速度以及调取速度。并在数据分类时，通过安全控制模块对采集数据进行安全筛查，避免出现木马数据和一些病毒数据进入到大数据存储库内，破坏内部数据，而校检模块能够对日志数据库内的数据来源进行检查。进一步地，还包括流量控制模块，所述流量控制模块与数据采集模块和信息过滤模块连接，控制数据采集模块采集数据量进入信息过滤模块。通过流量控制模块能够将信息过滤模块内的流入信息进行控制，避免出现数据过多造成信息过滤模块无法处理的情况。进一步地，还包括无线网络端，所述无线网络端为系统内各个模块提供网络通讯，让各个模块之间能够进行无线数据传输，所述数据采集模块通过无线网络端，能够实时进行数据采集。设置的无线网络端让系统内的各个模块能够及时的进行数据的交互传输，能够为系统的各个模块提供一个数据交流平台，其中的数据采集模块能够通过无线网络端实时进行数据的采集，便于对各类数据进行收集，实现一个网络爬虫的效果。进一步地，所述日志数据库存储分类数据种类和传输至大数据存储库的时间，所述日志数据库数据溢出后将最早存储的数据内容进行覆盖。为了避免出现日志数据库内的最新数据遗失的情况，采用这种覆盖式数据式的存储方式，能够有效避免最新产生的数据遗失。而较早的数据内容能够通过移动硬盘进行导出，节省存储空间。本专利技术与现有技术相比，具有如下的优点和有益效果：1、本专利技术一种大数据安全存储校验系统，能够有效提高大数据存储库内的数据调取数据速度，并且其内部的碎片化信息少，便于读取；2、本专利技术一种大数据安全存储校验系统，设置有日志数据库，能够将存储数据的来源和时间进行备份，保证能够在第一时间进行数据追溯。附图说明此处所说明的附图用来提供对本专利技术实施例的进一步理解，构成本申请的一部分，并不构成对本专利技术实施例的限定。在附图中：图1为本专利技术系统流程图。具体实施方式为使本专利技术的目的、技术方案和优点更加清楚明白，下面结合实施例和附图，对本专利技术作进一步的详细说明，本专利技术的示意性实施方式及其说明仅用于解释本专利技术，并不作为对本专利技术的限定。实施例如图1所示，本专利技术一种大数据安全存储校验系统，一种大数据安全存储校验系统，包括大数据存储库、云端服务器、日志数据库、信息过滤模块、数据采集模块和安全控制模块以及校检模块，所述数据采集模块对网络数据进行采集并将采集数据发送至信息过滤模块，所述信息过滤模块对采集的数据进行分类，并将采集数据的分类信息发送至云端服务器内，所述云端服务器根据数据需求，将对应分类的数据传授至大数据存储库内进行存储，并通过日志数据库进行数据传输日志备份，所述安全控制模块调取信息过滤模块内的数据，对采集的数据进行检查预警，所述校检模块能够调取日志数据库内的数据，对大数据存储库的内数据来源进行查验。目前的大数据存储库内存储的数据往往是采用网络爬虫进行采集，后在大数据存储库内进行分类存储，这样做会使得大数据存储库内有很多杂余碎片数据，这样会使得系统反应慢，不利于大数据的存储和调取。而本申请中，采用的技术是将在大数据存储库内的分类存储放置在外部，将数据信息采集过后利用信息过滤模块将碎片信息进行过滤，并将数据分类规整，这样就会将碎片信息和多余数据抵挡在大数据存储库外，保证大数据存储库的运行速度以及调取速度。并在数据分类时，通过安全控制模块对采集数据进行安全筛查，避免出现木马数据和一些病毒数据进入到大数据存储库内，破坏内部数据，而校检模块能够对日志数据库内的数据来源进行检查。本系统内还包括流量控制模块，所述流量控制模块与数据采集模块和信息过滤模块连接，控制数据采集模块采集数据量进入信息过滤模块。通过流量控制模块能够将信息过滤模块内的流入信息进行控制，避免出现数据过多造成信息过滤模块无法处理的情况。本系统内还包括无线网络端，所述无线网络端为系统内各个模块提供网络通讯，让各个模块之间能够进行无线数据传输，所述数据采集模块通过无线网络端，能够实时进行数据采集。设置的无线网络端让系统内的各个模块能够及时的进行数据的交互传输，能够为系统的各个模块提供一个数据交流平台，其中的数据采集模块能够通过无线网络端实时进行数据的采集，便于对各类数据进行收集，实现一个网络爬虫的效果。所述日志数据库存储分类数据种类和传输至大数据存储库的时间，所述日志数据库数据溢出后将最早存储的数据内容进行覆盖。为了避免出现日志数据库内的最新数据遗失的情况，采用这种覆盖式数据式的存储方式，能够有效避免最新产生的数据遗失。而较早的数据内容能够通过移动硬盘进行导出，节省存储空间。以上所述的具体实施方式，对本专利技术的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本专利技术的具体实施本文档来自技高网...

【技术保护点】
1.一种大数据安全存储校验系统，其特征在于，包括大数据存储库、云端服务器、日志数据库、信息过滤模块、数据采集模块和安全控制模块以及校检模块，所述数据采集模块对网络数据进行采集并将采集数据发送至信息过滤模块，所述信息过滤模块对采集的数据进行分类，并将采集数据的分类信息发送至云端服务器内，所述云端服务器根据数据需求，将对应分类的数据传授至大数据存储库内进行存储，并通过日志数据库进行数据传输日志备份，所述安全控制模块调取信息过滤模块内的数据，对采集的数据进行检查预警，所述校检模块能够调取日志数据库内的数据，对大数据存储库的内数据来源进行查验。

【技术特征摘要】
1.一种大数据安全存储校验系统，其特征在于，包括大数据存储库、云端服务器、日志数据库、信息过滤模块、数据采集模块和安全控制模块以及校检模块，所述数据采集模块对网络数据进行采集并将采集数据发送至信息过滤模块，所述信息过滤模块对采集的数据进行分类，并将采集数据的分类信息发送至云端服务器内，所述云端服务器根据数据需求，将对应分类的数据传授至大数据存储库内进行存储，并通过日志数据库进行数据传输日志备份，所述安全控制模块调取信息过滤模块内的数据，对采集的数据进行检查预警，所述校检模块能够调取日志数据库内的数据，对大数据存储库的内数据来源进行查验。2.根据权利要...

【专利技术属性】
技术研发人员：赵世，
申请(专利权)人：安徽一一八六物联科技有限公司，
类型：发明
国别省市：安徽,34