一种大数据存储系统技术方案

本发明专利技术提供了一种大数据存储系统，该大数据存储系统通过对从互联网伺服器抓取得到的原始数据进行相应的数据状态确定处理，以此确定该原始数据为正常状态数据还是异常状态数据，继而还对该原始数据进行相应的筛选处理，以对相应的异常状态数据进行修复处理和剔除处理，从而避免该原始数据中存在的异常状态数据对后续数据的存储产生不良影响，并且该该大数据存储系统还能够对经过筛选处理的数据依次进行加密处理和整合与存储处理，以完成对该原始数据的存储，该大数据存储系统不仅能够对大数据进行有效的区分筛选处理，并且还能够对数据进行相应的安全加密，从而保证大数据存储系统的正常稳定工作。

【技术实现步骤摘要】
一种大数据存储系统
本专利技术涉及数据存储设备的
，特别涉及一种大数据存储系统。
技术介绍
随着电子信息技术和云顿数据处理技术的发展，互联网数据的数据量不仅呈现爆发式的增长，并且互联网数据的数据类型也越来也多以及数据结构也越来越复杂。为了便于后续对互联网数据进行快速的和精确的定位查找与计算处理，需要对互联网数据进行针对性的存储。但是，由于互联网数据的数据资源庞大，为了适应不同数据资源自身特点，需要开发不同的大数据存储系统对其进行相应的保存，这不仅耗费较大的人力物力来进行相应的大数据存储系统研发和优化，并且这一过程的耗时较长，其无法适应于互联网的发展变化速度。此外，现有的大数据存储系统只是专注于如何快速地和最大容量地存储相关大数据，这就使得该大数据存储系统通常只是关注如何提高存储空间的利用效率，其并未对大数据存储系统中的数据存储安全性进行有效的改进。可见，现有技术的大数据存储系统并不能有效地对大数据进行区分筛选和安全加密，这严重地影响大数据存储系统的正常工作。
技术实现思路
针对现有技术存在的缺陷，本专利技术提供一种大数据存储系统，该大数据存储系统包括数据抓取模块、数据状态确定模块、数据筛选模块、数据加密模块和数据整理模块；其中，该数据抓取模块用于互联网伺服器进行通信连接，以此抓取获得来自该互联网伺服器的原始数据；该数据状态确定模块用于根据该原始数据的数据属性信息，确定该原始数据对应的正常与否状态；该数据筛选模块用于根据该原始数据对应的正常与否状态，对该原始数据进行筛选处理，以此得到预筛选数据；该数据加密模块用于对该预筛选数据进行加密处理，以此得到加密数据；该数据整理模块用于对该加密数据进行整合与存储处理；可见，该大数据存储系统通过对从互联网伺服器抓取得到的原始数据进行相应的数据状态确定处理，以此确定该原始数据为正常状态数据还是异常状态数据，继而还对该原始数据进行相应的筛选处理，以对相应的异常状态数据进行修复处理和剔除处理，从而避免该原始数据中存在的异常状态数据对后续数据的存储产生不良影响，并且该该大数据存储系统还能够对经过筛选处理的数据依次进行加密处理和整合与存储处理，以完成对该原始数据的存储，该大数据存储系统不仅能够对大数据进行有效的区分筛选处理，并且还能够对数据进行相应的安全加密，从而保证大数据存储系统的正常稳定工作。本专利技术提供一种大数据存储系统，其特征在于：所述大数据存储系统包括数据抓取模块、数据状态确定模块、数据筛选模块、数据加密模块和数据整理模块；其中，所述数据抓取模块用于互联网伺服器进行通信连接，以此抓取获得来自所述互联网伺服器的原始数据；所述数据状态确定模块用于根据所述原始数据的数据属性信息，确定所述原始数据对应的正常与否状态；所述数据筛选模块用于根据所述原始数据对应的正常与否状态，对所述原始数据进行筛选处理，以此得到预筛选数据；所述数据加密模块用于对所述预筛选数据进行加密处理，以此得到加密数据；所述数据整理模块用于对所述加密数据进行整合与存储处理；进一步，所述数据抓取模块包括网络接合子模块、数据传输感应子模块、数据同步子模块和数据摘选子模块；其中，所述网络接合子模块用于与所述互联网伺服器进行通信连接，以接收来自所述互联网伺服器的原始数据；所述数据传输感应子模块用于感应所述网络接合子模块接收所述原始数据的数据传输属性信息；所述数据同步子模块用于根据所述原始数据的类型属性信息，对所述原始数据进行时钟同步处理；所述数据摘选子模块用于根据所述数据传输属性信息和/或所述时钟同步处理的结果，对所述原始数据进行摘选处理，以此抓取得到相应的原始数据；进一步，所述数据传输感应子模块包括数据传输容量感应单元和数据传输速率感应单元；其中，所述数据传输容量感应单元用于感应所述网络接合子模块接收所述原始数据的数据传输容量信息，以作为一部分所述数据传输属性信息；所述数据传输速率感应单元用于感应所述网络接合子模块接收所述原始数据的数据传输速率信息，以作为一部分所述数据传输属性信息；或者，所述数据同步子模块包括数据结构状态确定单元、数据传输时序确定单元和同步化执行单元；其中，所述数据结构状态确定单元用于确定所述原始数据相互之间的数据异构化状态差异；所述数据传输时序确定单元用于确定所述原始数据传送到所述网络接合子模块对应的时序信息；所述同步化执行单元用于根据所述数据异构化状态差异和所述时序信息，对所述原始数据进行所述时钟同步处理；进一步，所述数据状态确定模块包括数据预处理子模块、数据特征值计算子模块和数据正常/异常判断子模块；其中，所述数据预处理子模块用于根据所述数据属性信息，对所述原始数据进行预处理，以此得到预处理数据；所述数据特征值计算子模块用于计算获得所述预处理数据对应的特征值；所述数据正常/异常判断子模块用于根据所述特征值，判断其对应的原始数据是处于正常状态还是异常状态；进一步，所述数据预处理子模块包括数据脱壳单元、数据滤波处理和数据降维处理；其中，所述数据脱壳单元用于对所述原始数据进行数据隐藏外壳摘脱处理；所述数据滤波处理用于对经过所述数据隐藏外壳摘脱处理的原始数据进行卡尔曼滤波处理；所述数据降维处理用于对经过所述卡尔曼滤波处理的原始数据进行数据空间维度降低处理；或者，所述数据特征值计算子模块包括数据矩阵变换单元和矩阵特征值计算单元；其中，所述数据矩阵变换单元用于根据所述预处理数据，变换得到在数据熵上相关联的数据矩阵；所述矩阵特征值计算单元用于对所述数据矩阵进行关于矩阵特征方程的解算处理，以此得到所述特征值；或者，所述数据正常/异常判断子模块包括特征值比较单元和数据状态确定单元；其中，所述特征值比较单元用于将所述特征值与预设特征阈值进行比较处理；所述数据状态确定单元用于根据所述比较处理的结果，确定所述原始数据是处于正常状态还是异常状态；进一步，所述数据筛选模块包括数据区分子模块、数据修复子模块和数据剔除子模块；其中，所述数据区分子模块用于根据所述原始数据对应的正常与否状态，对所述原始数据进行区分处理，以此得到正常状态数据和异常状态数据；所述数据修复子模块用于对所述异常状态进行适应性的数据修复处理；所述数据剔除子模块用于根据所述区分处理的结果和/或所述数据修复处理的结果，对所述原始数据进行剔除处理，以此得到所述预筛选数据；进一步，所述数据区分子模块包括数据寄存单元和数据更新单元；其中，所述数据寄存单元用于分别寄存所述区分处理得到的所述正常状态数据和所述异常状态数据；所述更新单元用于根据所述区分处理的进度，对所述数据寄存单元寄存的不同数据进行更新处理；或者，所述数据修复子模块包括数据缺失状态确定单元和数据补充单元；其中，所述数据缺失状态确定单元用于确定所述异常状态数据的数据块缺失信息；...

【技术保护点】
1.一种大数据存储系统，其特征在于：/n所述大数据存储系统包括数据抓取模块、数据状态确定模块、数据筛选模块、数据加密模块和数据整理模块；其中，/n所述数据抓取模块用于互联网伺服器进行通信连接，以此抓取获得来自所述互联网伺服器的原始数据；/n所述数据状态确定模块用于根据所述原始数据的数据属性信息，确定所述原始数据对应的正常与否状态；/n所述数据筛选模块用于根据所述原始数据对应的正常与否状态，对所述原始数据进行筛选处理，以此得到预筛选数据；/n所述数据加密模块用于对所述预筛选数据进行加密处理，以此得到加密数据；/n所述数据整理模块用于对所述加密数据进行整合与存储处理。/n

【技术特征摘要】
1.一种大数据存储系统，其特征在于：
所述大数据存储系统包括数据抓取模块、数据状态确定模块、数据筛选模块、数据加密模块和数据整理模块；其中，
所述数据抓取模块用于互联网伺服器进行通信连接，以此抓取获得来自所述互联网伺服器的原始数据；
所述数据状态确定模块用于根据所述原始数据的数据属性信息，确定所述原始数据对应的正常与否状态；
所述数据筛选模块用于根据所述原始数据对应的正常与否状态，对所述原始数据进行筛选处理，以此得到预筛选数据；
所述数据加密模块用于对所述预筛选数据进行加密处理，以此得到加密数据；
所述数据整理模块用于对所述加密数据进行整合与存储处理。


2.如权利要求1所述的大数据存储系统，其特征在于：
所述数据抓取模块包括网络接合子模块、数据传输感应子模块、数据同步子模块和数据摘选子模块；其中，
所述网络接合子模块用于与所述互联网伺服器进行通信连接，以接收来自所述互联网伺服器的原始数据；
所述数据传输感应子模块用于感应所述网络接合子模块接收所述原始数据的数据传输属性信息；
所述数据同步子模块用于根据所述原始数据的类型属性信息，对所述原始数据进行时钟同步处理；
所述数据摘选子模块用于根据所述数据传输属性信息和/或所述时钟同步处理的结果，对所述原始数据进行摘选处理，以此抓取得到相应的原始数据。


3.如权利要求2所述的大数据存储系统，其特征在于：
所述数据传输感应子模块包括数据传输容量感应单元和数据传输速率感应单元；其中，
所述数据传输容量感应单元用于感应所述网络接合子模块接收所述原始数据的数据传输容量信息，以作为一部分所述数据传输属性信息；
所述数据传输速率感应单元用于感应所述网络接合子模块接收所述原始数据的数据传输速率信息，以作为一部分所述数据传输属性信息；
或者，
所述数据同步子模块包括数据结构状态确定单元、数据传输时序确定单元和同步化执行单元；其中，
所述数据结构状态确定单元用于确定所述原始数据相互之间的数据异构化状态差异；
所述数据传输时序确定单元用于确定所述原始数据传送到所述网络接合子模块对应的时序信息；
所述同步化执行单元用于根据所述数据异构化状态差异和所述时序信息，对所述原始数据进行所述时钟同步处理。


4.如权利要求1所述的大数据存储系统，其特征在于：
所述数据状态确定模块包括数据预处理子模块、数据特征值计算子模块和数据正常/异常判断子模块；其中，
所述数据预处理子模块用于根据所述数据属性信息，对所述原始数据进行预处理，以此得到预处理数据；
所述数据特征值计算子模块用于计算获得所述预处理数据对应的特征值；
所述数据正常/异常判断子模块用于根据所述特征值，判断其对应的原始数据是处于正常状态还是异常状态。


5.如权利要求4所述的大数据存储系统，其特征在于：
所述数据预处理子模块包括数据脱壳单元、数据滤波处理和数据降维处理；其中，
所述数据脱壳单元用于对所述原始数据进行数据隐藏外壳摘脱处理；
所述数据滤波处理用于对经过所述数据隐藏外壳摘脱处理的原始数据进行卡尔曼滤波处理；
所述数据降维处理用于对经过所述卡尔曼滤波处理的原始数据进行数据空间维度降低处理；
或者，
所述数据特征值计算子模块包括数据矩阵变换单元和矩阵特征值计算单元；其中，
所述数据矩阵变换单元用于根据所述预处理数据，变换得到在数据熵上相关联的数据矩阵；
所述矩阵特征值计算单元用于对所述数据矩阵进行关于矩阵特征方程的解算处理，以此得到所述特征值；
或者，
所述数据正常/异常判断子模块包括特征值比较单元和数据状态确定单元；其中，
所述特征值比较单元用于将所述特征值与预设特...

【专利技术属性】
技术研发人员：罗颖，陈恭祥，
申请(专利权)人：深圳市中盛瑞达科技有限公司，
类型：发明
国别省市：广东;44