一种大数据应用安全管控系统技术方案

本发明专利技术属于大数据技术领域，且公开了一种大数据应用安全管控系统，该大数据应用安全管控系统设置有多个存储分析服务器子组件，每一个储存分析服务器子组件均设置有基础配置库，管控方法具体操作步骤如下：数据收集：S11：存储分析服务器子组件针对具体的服务器配置下载能够处理的最大限度的数据量；S12：对数据信息进行分析判定并计算权重值。本发明专利技术通过对数据进行预处理并判定计算权重值，能够对数据的重要程度进行判定，从而对数据的质量进行管控，并且通过对数据进行分级，能够有效的增加数据的重要程度，通过对数据建立数据模型，能够便于对数据进行分析，数据分析的方式便于维护和开发，且成本较低。且成本较低。且成本较低。

【技术实现步骤摘要】
一种大数据应用安全管控系统


[0001]本专利技术属于大数据
，具体为一种大数据应用安全管控系统。

技术介绍

[0002]大数据又称巨量资料，是指所涉及到的资料量规模巨大到无法用现有的主流软软件工具在合理的时间内进行管理、处理，并且整理提取为可以帮助企业经营决策更为积极的讯息，大数据具有大量、高速、多样、低价值密度、真实性五大特点，大数据的应用时大数据创造价值的关键，随着大数据技术的飞速发展，大数据已经融入各行各业，大数据行业正在快速发展为新一代信息技术和服务行业，同时，在大数据飞速发展的时代，各行业数据规模也在飞速增长，如何确保网络数据的安全性、可用性和保密性成为了企业和政府机构健康发展所要考虑的核心问题。
[0003]现有的大数据应用安全管控方式较为简陋，仅仅是对数据进行预处理，对大数据的处理程度不高，当需要对大数据进行分析时，耗费的时间较长，且对信息的提取速度较慢，信息的关联程度不高，无法便捷的对大数据进行了解与提取，从而影响工作效率，由此可以看出其大数据的应用安全管控缺乏及时性和完整性，且数据的质量难以让人满意。

技术实现思路

[0004]本专利技术的目的在于提供一种大数据应用安全管控系统，具有管控好效果好和数据质量高的优点。
[0005]为了实现上述目的，本专利技术提供如下技术方案：一种大数据应用安全管控系统，该大数据应用安全管控系统设置有多个存储分析服务器子组件，每一个储存分析服务器子组件均设置有基础配置库，管控方法具体操作步骤如下：
[0006]数据收集：<br/>[0007]S11：存储分析服务器子组件针对具体的服务器配置下载能够处理的最大限度的数据量；
[0008]S12：对数据信息进行分析判定并计算权重值；
[0009]数据分类：
[0010]S21：提供一种关系表达式；
[0011]S22：依据S21中的关系表达式针对不同的存储分析服务器子组件中的信息数据进行筛选，首先筛选出重复数据，接着筛选出相近或者类似的数据信息，并对数据信息进行甄别，判定其重要与合理性；
[0012]S23：对筛选出的信息数据进行分级与分类，按照判定的重要程度进行排布，并且在分级好后上传至云端服务器；
[0013]数据分析：
[0014]S31：对云端服务器中的信息数据进行汇总；
[0015]S32：对云端数据建立数据模型；
[0016]S33：对数据模型进行分析，秉承由权重值高到低的顺序进行分析；
[0017]建立数据库：
[0018]S41：对云端上传的数据建立索引表，方便搜索检查与引用；
[0019]S42：对数据进行分类压缩保存，减少空间的占用。
[0020]优选的，所述多个存储分析服务器子组件按照顺序进行编号排序，通过设置由多个存储分析服务器子组件，能够对大数据进行较多的下载处理，并且进行编号排序能够较为便捷的匹配数据，使分类后的上传到云端后数据能够保持连贯性。
[0021]优选的，所述S11中存储分析服务器子组件下载的最大限度的数据量需要是完整的句段，并且剩余的数据按照排序顺序的下一存储分析服务器子组件进行下载接收，存储分析服务器子组件下载的最大限度的数据量需要是完整的句段，这样能够使数据不会断层，保证了连贯性，通过按照顺序的下载方式，能够使数据保持一致性。
[0022]优选的，所述S12中对数据的分析判定通过上传信息时设置实名认证，对数据上传者的信息进行分析判定，并且通过信息身份与内容重要程度配合计算信息权重值，按照信息的权重值不同进而对数据进行安全管控，权重值的高低与管控的程度成正比，通过对信息内容进行分析判定，能够对信息进行分级，便于针对性的进行管控，并且设置实名认证一定程度上的避免了垃圾数据，对信息内容重要程度的判定以信息相关性为主，以关键字的匹配为辅，信息的相关性越高，信息内容的重要程度越高。
[0023]优选的，所述S22中对合理的数据进行保存，对判定相近或者类似的数据进行编组，对判定为重复的数据进行压缩打包，并按照一周一次的清理方式进行处理，通过对重复数据的筛选，能够较大程度上降低数据对服务器的压力，同时增加数据的有效性和价值，一周一次的清理能够保证服务器内存不会产生较大程度的负担，保证服务器的性能，对判定相近或者类似的数据进行编组处理，能够在对数据进行提取时，能够更为快捷的找到类比数据，便于对数据的分析。
[0024]优选的，所述S23中对信息数据的分级采用参考权重值的方法，而分类则采用数据的相似程度进行归纳，并且对每一则信息进行类别标注，方便后期检索，通过权重值对信息数据进行分级，能够保证数据的重要程度，并且能够通过这种形式对重点、重要的数据进行汇总，方便对数据的查询，降低寻找数据时耗费的时间，提高寻找效率。
[0025]优选的，所述S32中的数据模型的建立首先通过对数据进行总结、分析和推导等过程从而建立实体联系模型，接着把实体联系模型向关系模型进行转化，通过建立数据模型的形式，能够方便使用者对数据进行分析，能够更加灵活的分析和解释数据，使税局堆栈变得更加模块化，能够产生极大的好处。
[0026]优选的，所述S33中的数据分析基于JStorm与Spark Streaming构建实时计算平台，实时计算使用JStorm，离线计算使用Hive或Spark，通过这种形式，实现流式与离线计算引擎的统一，并且开发和维护成本降低，通过最小的成本获得更高的效益，并且许多公司部门都是基于Spark SQL与MLlib 开发离线任务与算法模型，大大降低了用户使用Spark的学习成本。
[0027]优选的，所述S42中客户端在通过索引对信息数据进行查取时，提取该数据信息所在的压缩资源包，展开压缩资源包后匹配信息数据并传输至客户端，通过这种形式，能够降低信息数据在云端服务器所占用的内存空间，并且通过设置的索引能够更为便捷的对信息
进行查找，使用效果较好。
[0028]优选的，所述S31中的汇总方式为在不同的存储分析服务器子组件分别把分级后的数据上传到远端服务器时，通过云端服务器本身对相同分类的数据进行汇总，并且按照数据的时间进行排列，根据时间对数据进行排列，具有更高的实时性，数据的有效程度更高。
[0029]本专利技术的有益效果如下：
[0030]本专利技术通过对数据进行预处理并判定计算权重值，能够对数据的重要程度进行判定，从而对数据的质量进行管控，并且通过对数据进行分级，能够有效的增加数据的重要程度，通过对数据建立数据模型，能够便于对数据进行分析，数据分析的方式便于维护和开发，且成本较低，用户使用的学习成本也大大降低，通过数据库对数据信息进行压缩保存，能够极大程度的减服务器的储存压力，相对于现有技术来说管控效果好且获得的数据质量较高。
附图说明
[0031]图1为本专利技术流程图。
具体实施方式
[0032]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种大数据应用安全管控系统，其特征在于：该大数据应用安全管控系统设置有多个存储分析服务器子组件，每一个储存分析服务器子组件均设置有基础配置库，管控方法具体操作步骤如下：数据收集：S11：存储分析服务器子组件针对具体的服务器配置下载能够处理的最大限度的数据量；S12：对数据信息进行分析判定并计算权重值；数据分类：S21：提供一种关系表达式；S22：依据S21中的关系表达式针对不同的存储分析服务器子组件中的信息数据进行筛选，首先筛选出重复数据，接着筛选出相近或者类似的数据信息，并对数据信息进行甄别，判定其重要与合理性；S23：对筛选出的信息数据进行分级与分类，按照判定的重要程度进行排布，并且在分级好后上传至云端服务器；数据分析：S31：对云端服务器中的信息数据进行汇总；S32：对云端数据建立数据模型；S33：对数据模型进行分析，秉承由权重值高到低的顺序进行分析；建立数据库：S41：对云端上传的数据建立索引表，方便搜索检查与引用；S42：对数据进行分类压缩保存，减少空间的占用。2.根据权利要求1所述的一种大数据应用安全管控系统，其特征在于：所述多个存储分析服务器子组件按照顺序进行编号排序。3.根据权利要求1所述的一种大数据应用安全管控系统，其特征在于：所述S11中存储分析服务器子组件下载的最大限度的数据量需要是完整的句段，并且剩余的数据按照排序顺序的下一存储分析服务器子组件进行下载接收。4.根据权利要求1所述的一种大数据应用安全管控系统，其特征在于：所述S12中对数据的分析判定通过上传信息时设置实名认证，对数据上传者的信息进行分析判定，并且通过信息身份与内容重要程度配合计...

【专利技术属性】
技术研发人员：张纪，
申请(专利权)人：深圳市亚讯威视数字技术有限公司，
类型：发明
国别省市：