通过数据收集进行防丢失的大数据系统技术方案

本发明专利技术公开了通过数据收集进行防丢失的大数据系统，包括数据采集模块、信息过滤模块、数据存储模块、日志备份模块、安全监控模块和数据溢出警示模块，所述数据采集模块在网络上进行目标数据的采集，并将采集数据发送至信息过滤模块，所述信息过滤模块将数据采集模块的数据进行整理并分类，将分类后的数据发送至安全监控模块和数据存储模块，所述数据存储模块将数据资料进行存储保存，所述日志备份模块在数据存储模块接入资料时，从数据存储模块内调取接入数据来源信息，并将其来源信息进行备份存储，所述安全监控模块对数据采集模块采集的数据进行监控，将异常的采集数据进行隔离。

Big data system for loss prevention through data collection

【技术实现步骤摘要】
通过数据收集进行防丢失的大数据系统
本专利技术涉及一种数据防丢失系统，具体涉及通过数据收集进行防丢失的大数据系统。
技术介绍
随着大数据时代的来临，用户群体的迅速扩张，用户对数据的稳定性、可靠性和安全性的要求越来越高。数据采集处理和存储服务是配电自动化系统的基本功能，也是实现馈线故障自动处理、实时拓扑分析和电网动态着色等高级应用的基础。而在大容量情况下进行压力测试，即短时间内模拟大量遥信和遥测变化，就有可能导致配电自动化系统丢失实时数据，此时要进行计算机节点或通讯链路的切换，切换过程中一般也会丢失实时数据。常见的用于配电自动化系统防止数据丢失的方法是利用数据缓存技术，该技术可在一定程度上缓解计算机节点或通讯链路的切换过程中丢失实时信息的情况，但难点是缓存时间的选择：缓存的时间过长，会对系统性能造成较大的影响，而缓存时间过短又可能导致实时信息丢失。另外，用于数据存储的商用数据库异常，也会造成历史数据丢失。
技术实现思路
本专利技术所要解决的技术问题是目前的数据收集时，不能够有效对数据来源进行备份存储，对数据类型分类设置，并且在采集时，可能将异常的危险数据存储至数据库内，影响其他数据的安全，目的在于提供通过数据收集进行防丢失的大数据系统，解决上述的问题。本专利技术通过下述技术方案实现：通过数据收集进行防丢失的大数据系统，包括数据采集模块、信息过滤模块、数据存储模块、日志备份模块、安全监控模块和数据溢出警示模块，所述数据采集模块在网络上进行目标数据的采集，并将采集数据发送至信息过滤模块，所述信息过滤模块将数据采集模块的数据进行整理并分类，将分类后的数据发送至安全监控模块和数据存储模块，所述数据存储模块将数据资料进行存储保存，所述日志备份模块在数据存储模块接入资料时，从数据存储模块内调取接入数据来源信息，并将其来源信息进行备份存储，所述安全监控模块对数据采集模块采集的数据进行监控，将异常的采集数据进行隔离，所述数据溢出警示模块在数据存储模块存储量达到总存储量80％以上时，进行警示。目前的数据存储模块内存储的数据往往是采用网络爬虫进行采集，后在数据存储模块内进行分类存储，这样做会使得数据存储模块内有很多杂余碎片数据，这样会使得系统反应慢，不利于数据的存储和调取。而本申请中，采用的技术是将在数据存储模块内的分类存储放置在外部，将数据信息采集过后利用信息过滤模块将碎片信息进行过滤，并将数据分类规整，所述信息过滤模块在进行数据整理时，将数据中的亢余变量进行剔除，通过JavaScript重新对数据进行架构，将数据进行重新排列。这样就会将碎片信息和多余数据抵挡在数据存储模块外，保证数据存储模块的运行速度以及调取速度。所述日志备份模块，能够对进入数据存储模块的数据来源进行存储，仅存储数据来源所需要的存储空间小，并且存储到存储的来源后，方便进行追溯和二级数据的获取，并且将存储的数据来源进行确定后，避免出现未检查到的异常文件影响到数据存储模块后，无法进行追查的情况，因为数据存储模块和日志备份模块是分开的两个结构，彼此之间不会受到数据的影响。而数据溢出警示模块能够帮助工作人员确认数据存储模块的容量，避免出现存储容量溢出后造成的数据遗失。进一步地，系统内还包括设置有流量控制模块，所述流量控制模块与数据采集模块和信息过滤模块连接，控制数据采集模块采集数据量进入信息过滤模块。通过流量控制模块能够将信息过滤模块内的流入信息进行控制，避免出现数据过多造成信息过滤模块无法处理的情况。进一步地，系统内还包括设置有无线网络端，所述无线网络端为系统内各个模块提供网络通讯，让各个模块之间能够进行无线数据传输，所述数据采集模块通过无线网络端，能够实时进行数据采集。设置的无线网络端让系统内的各个模块能够及时的进行数据的交互传输，能够为系统的各个模块提供一个数据交流平台，其中的数据采集模块能够通过无线网络端实时进行数据的采集，便于对各类数据进行收集，实现一个网络爬虫的效果。进一步地，系统内还包括设置有移动端，所述日志备份模块和安全监控模块以及数据溢出警示模块与移动端连接，将数据信息实时发送至移动端。移动端的设置能够让工作人员远程对数据存储模块的状态进行监控，能够及时的了解到现场的情况进行处理。进一步地，所述移动端包括手机、笔记本电脑、PC机、车载电脑。移动端采用这些设备，能够覆盖目前使用的大多数移动设备，能够在第一时间将数据传输到移动端内后，让用户及时能够了解目前的状态。本专利技术与现有技术相比，具有如下的优点和有益效果：1、本专利技术通过数据收集进行防丢失的大数据系统，能够有效提高大数据存储库内的数据调取数据速度，并且其内部的碎片化信息少，便于读取；2、本专利技术通过数据收集进行防丢失的大数据系统，通过日志备份模块和移动端，能够第一时间对数据来源进行保存备份，并发送用户进行了解。附图说明此处所说明的附图用来提供对本专利技术实施例的进一步理解，构成本申请的一部分，并不构成对本专利技术实施例的限定。在附图中：图1为本专利技术系统流程图。具体实施方式为使本专利技术的目的、技术方案和优点更加清楚明白，下面结合实施例和附图，对本专利技术作进一步的详细说明，本专利技术的示意性实施方式及其说明仅用于解释本专利技术，并不作为对本专利技术的限定。实施例如图1所示，本专利技术通过数据收集进行防丢失的大数据系统，通过数据收集进行防丢失的大数据系统，包括数据采集模块、信息过滤模块、数据存储模块、日志备份模块、安全监控模块和数据溢出警示模块，所述数据采集模块在网络上进行目标数据的采集，并将采集数据发送至信息过滤模块，所述信息过滤模块将数据采集模块的数据进行整理并分类，将分类后的数据发送至安全监控模块和数据存储模块，所述数据存储模块将数据资料进行存储保存，所述日志备份模块在数据存储模块接入资料时，从数据存储模块内调取接入数据来源信息，并将其来源信息进行备份存储，所述安全监控模块对数据采集模块采集的数据进行监控，将异常的采集数据进行隔离，所述数据溢出警示模块在数据存储模块存储量达到总存储量80％以上时，进行警示。目前的数据存储模块内存储的数据往往是采用网络爬虫进行采集，后在数据存储模块内进行分类存储，这样做会使得数据存储模块内有很多杂余碎片数据，这样会使得系统反应慢，不利于数据的存储和调取。而本申请中，采用的技术是将在数据存储模块内的分类存储放置在外部，将数据信息采集过后利用信息过滤模块将碎片信息进行过滤，并将数据分类规整，这样就会将碎片信息和多余数据抵挡在数据存储模块外，保证数据存储模块的运行速度以及调取速度。所述日志备份模块，能够对进入数据存储模块的数据来源进行存储，仅存储数据来源所需要的存储空间小，并且存储到存储的来源后，方便进行追溯和二级数据的获取，并且将存储的数据来源进行确定后，避免出现未检查到的异常文件影响到数据存储模块后，无法进行追查的情况，因为数据存储模块和日志备份模块是分开的两个结构，彼此之间不会受到数据的影响。而数据溢出警示模块能够帮助工作人员确认数据存储模块的容量，避免出现存储容量溢出后造成的数据遗失。系统内还包括设置有流量控制模块，所述流量控制模块与数据采集模块和信息过滤模块连接，控制数据采集模块采集数据量进入信息过滤模块。通过流量控制模块能够将信息过滤模块内的流入信息进行控制，避免出现数据过多造成信息过滤本文档来自技高网...

【技术保护点】
1.通过数据收集进行防丢失的大数据系统，包括数据采集模块、信息过滤模块、数据存储模块、日志备份模块、安全监控模块和数据溢出警示模块，所述数据采集模块在网络上进行目标数据的采集，并将采集数据发送至信息过滤模块，所述信息过滤模块将数据采集模块的数据进行整理并分类，将分类后的数据发送至安全监控模块和数据存储模块，所述数据存储模块将数据资料进行存储保存，所述日志备份模块在数据存储模块接入资料时，从数据存储模块内调取接入数据来源信息，并将其来源信息进行备份存储，所述安全监控模块对数据采集模块采集的数据进行监控，将异常的采集数据进行隔离，所述数据溢出警示模块在数据存储模块存储量达到总存储量80％以上时，进行警示，其特征在于，所述信息过滤模块在进行数据整理时，将数据中的亢余变量进行剔除，通过JavaScript重新对数据进行架构，将数据进行重新排列，还包括设置有流量控制模块，所述流量控制模块与数据采集模块和信息过滤模块连接，控制数据采集模块采集数据量进入信息过滤模块，还包括设置有无线网络端，所述无线网络端为系统内各个模块提供网络通讯，让各个模块之间能够进行无线数据传输，所述数据采集模块通过无线网络端，能够实时进行数据采集。...

【技术特征摘要】
1.通过数据收集进行防丢失的大数据系统，包括数据采集模块、信息过滤模块、数据存储模块、日志备份模块、安全监控模块和数据溢出警示模块，所述数据采集模块在网络上进行目标数据的采集，并将采集数据发送至信息过滤模块，所述信息过滤模块将数据采集模块的数据进行整理并分类，将分类后的数据发送至安全监控模块和数据存储模块，所述数据存储模块将数据资料进行存储保存，所述日志备份模块在数据存储模块接入资料时，从数据存储模块内调取接入数据来源信息，并将其来源信息进行备份存储，所述安全监控模块对数据采集模块采集的数据进行监控，将异常的采集数据进行隔离，所述数据溢出警示模块在数据存储模块存储量达到总存储量80％以上时，进行警示，其特征在于，所述信息过滤模块在进行数据整理时，将数据中的...

【专利技术属性】
技术研发人员：徐伟，
申请(专利权)人：徐伟，
类型：发明
国别省市：四川,51