一种基于大数据安全精确分析与应用的方法技术

本发明专利技术涉及大数据安全技术领域，具体为一种基于大数据安全精确分析与应用的方法，包括大数据构架、数据预处理模块、数据告警处理模块、复审模块和人机交互模块，所述大数据构架采用多元兼容平台并利用计算引擎进行数据处理，所述数据预处理模块包括数据接入模块、问题预处理模块和数据整合模块，该基于大数据安全精确分析与应用的方法，大数据架构的多元兼容平台采用spark计算引擎，兼容性好，效率高，稳定性好，在进行数据问题筛分时通过二级筛分，保证筛分准确性，设备可处理多源异构平台数据，构建可迭代平台，实时更新，减少人工筛分，提高筛分效率和筛分的准确性。提高筛分效率和筛分的准确性。提高筛分效率和筛分的准确性。

A method of safety and accurate analysis and application based on big data

【技术实现步骤摘要】
一种基于大数据安全精确分析与应用的方法


[0001]本专利技术涉及大数据安全
，具体为一种基于大数据安全精确分析与应用的方法。

技术介绍

[0002]众所周知，大数据时代来临，各行业数据规模呈TB级增长，拥有高价值数据源的企业在大数据产业链中占有至关重要的核心地位。
[0003]在实现大数据集中后，如何确保网络数据的完整性、可用性和保密性，不受到信息泄漏和非法篡改的安全威胁影响，已成为政府机构、事业单位信息化健康发展所要考虑的核心问题。
[0004]大数据安全的防护技术有：数据资产梳理(敏感数据、数据库等进行梳理)、数据库加密(核心数据存储加密)、数据库安全运维(防运维人员恶意和高危操作)、数据脱敏(敏感数据匿名化)、数据库漏扫(数据安全脆弱性检测)等
[0005]现有的大数据安全精确分析在使用中发现，其兼容性差，不具备机器学习，深度学习的功能，依赖人工筛选，人工作量大，工作效率低，导致其使用局限性较高。

技术实现思路

[0006](一)解决的技术问题
[0007]针对现有技术的不足，本专利技术提供了一种基于大数据安全精确分析与应用的方法。
[0008](二)技术方案
[0009]为实现上述目的，本专利技术提供如下技术方案：一种基于大数据安全精确分析与应用的方法，包括大数据构架、数据预处理模块、数据告警处理模块、复审模块和人机交互模块，所述大数据构架采用多元兼容平台并利用计算引擎进行数据处理，所述数据预处理模块包括数据接入模块、问题预处理模块和数据整合模块，所述数据告警处理模块包括算法组件模块、过滤筛选模块和训练模型模块，所述人机交互模块、大数据构架、数据预处理模块、数据告警处理模块和复审模块依次连接。
[0010]为了方便对数据进行预处理，本专利技术改进有，所述数据接入模块、问题预处理模块和数据整合模块依次连接，所述问题预处理模块包括威胁情报预警、漏洞情报预警和资产情报预警。
[0011]为了保证对数据进行算法处理，本专利技术改进有，所述算法组件模块包括主流算法模块和拓展算法模块。
[0012]进一步的，为了方便温蒂的实现深度学习，本专利技术改进有，所述训练模型模块采用TensorFlow模型。
[0013]为了保证其兼容性，高效性和稳定性，本专利技术改进有，所述计算引擎采用spark计算引擎。
[0014]为了保证人机交互的快捷和准确性，本专利技术改进有，所述人机交互模块包括基础平台模块和功能平台模块，所述基础平台模块包括建模引导模块和建模辅助模块，所述功能平台模块包括模型数据平台、数据资产平台、结果可视化平台、数据资源平台、业务建模平台、案例示范平台、自定义组件平台和系统管理平台。
[0015]本专利技术进一步的提供了一种基于大数据安全精确分析与应用的方法，包括如下步骤：
[0016]步骤1、大数据构架通过探针与各个平台的数据接入模块连接，在接入数据的同时对数据进行筛选，对问题数据进行整合并提交至数据告警处理模块；
[0017]步骤2、通过采用合适的主流算法对初步筛选的问题数据进行进一步的过滤筛选，当遇到没有合适的算法时，采用拓展算法模块自行构建算法，然后再对初步筛选的问题数据进行进一步的过滤筛选，并构建TensorFlow模型进行深度学习；
[0018]步骤3、将二级筛选过得数据进行复审模块复审，复审模块包括其他模型算法复审和人工复审；
[0019]步骤4、将复审模块后的信息通过结果可视化平台进行展示。
[0020](三)有益效果
[0021]与现有技术相比，本专利技术提供了一种基于大数据安全精确分析与应用的方法，具备以下有益效果：
[0022]该基于大数据安全精确分析与应用的方法，大数据架构的多元兼容平台采用spark计算引擎，兼容性好，效率高，稳定性好，在进行数据问题筛分时通过二级筛分，保证筛分准确性；
[0023]该基于大数据安全精确分析与应用的方法，设备可处理多源异构平台数据，构建可迭代平台，实时更新，减少人工筛分，提高筛分效率和筛分的准确性。
附图说明
[0024]图1为本专利技术结构流程示意图；
[0025]图2为本专利技术结构功能平台模块示意图；
[0026]图3为本专利技术结构基础平台模块示意图。
具体实施方式
[0027]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0028]请参阅图1
‑
3，一种基于大数据安全精确分析与应用的方法，包括大数据构架、数据预处理模块、数据告警处理模块、复审模块和人机交互模块，所述大数据构架采用多元兼容平台并利用计算引擎进行数据处理，所述数据预处理模块包括数据接入模块、问题预处理模块和数据整合模块，所述数据告警处理模块包括算法组件模块、过滤筛选模块和训练模型模块，所述人机交互模块、大数据构架、数据预处理模块、数据告警处理模块和复审模块依次连接。
[0029]所述数据接入模块、问题预处理模块和数据整合模块依次连接，所述问题预处理模块包括威胁情报预警、漏洞情报预警和资产情报预警，为了方便对数据进行预处理。
[0030]所述算法组件模块包括主流算法模块和拓展算法模块，为了保证对数据进行算法处理。
[0031]所述训练模型模块采用TensorFlow模型，进一步的，为了方便温蒂的实现深度学习。
[0032]所述计算引擎采用spark计算引擎，为了保证其兼容性，高效性和稳定性。
[0033]所述人机交互模块包括基础平台模块和功能平台模块，所述基础平台模块包括建模引导模块和建模辅助模块，所述功能平台模块包括模型数据平台、数据资产平台、结果可视化平台、数据资源平台、业务建模平台、案例示范平台、自定义组件平台和系统管理平台，为了保证人机交互的快捷和准确性。
[0034]本专利技术进一步的提供了一种基于大数据安全精确分析与应用的方法，包括如下步骤：
[0035]步骤1、大数据构架通过探针与各个平台的数据接入模块连接，在接入数据的同时对数据进行筛选，对问题数据进行整合并提交至数据告警处理模块；
[0036]步骤2、通过采用合适的主流算法对初步筛选的问题数据进行进一步的过滤筛选，当遇到没有合适的算法时，采用拓展算法模块自行构建算法，然后再对初步筛选的问题数据进行进一步的过滤筛选，并构建TensorFlow模型进行深度学习；
[0037]步骤3、将二级筛选过得数据进行复审模块复审，复审模块包括其他模型算法复审和人工复审；
[0038]步骤4、将复审模块后的信息通过结果可视化平台进行展示。
[0039]本实施例中，所述模型数据平台包括新建模型、克隆模型和模型管理；
[0040]本实施例中，所述数据资产平台包括资产浏本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于大数据安全精确分析与应用的方法，包括大数据构架、数据预处理模块、数据告警处理模块、复审模块和人机交互模块，其特征在于：所述大数据构架采用多元兼容平台并利用计算引擎进行数据处理，所述数据预处理模块包括数据接入模块、问题预处理模块和数据整合模块，所述数据告警处理模块包括算法组件模块、过滤筛选模块和训练模型模块，所述人机交互模块、大数据构架、数据预处理模块、数据告警处理模块和复审模块依次连接。2.根据权利要求1所述的一种基于大数据安全精确分析与应用的方法，其特征在于：所述数据接入模块、问题预处理模块和数据整合模块依次连接，所述问题预处理模块包括威胁情报预警、漏洞情报预警和资产情报预警。3.根据权利要求1所述的一种基于大数据安全精确分析与应用的方法，其特征在于：所述算法组件模块包括主流算法模块和拓展算法模块。4.根据权利要求1所述的一种基于大数据安全精确分析与应用的方法，其特征在于：所述训练模型模块采用TensorFlow模型。5.根据权利要求1所述的一种基于大数据安全精确分析与应用的方法，其特征在于：所述计算...

【专利技术属性】
技术研发人员：余勇，刘丽萍，孙秋云，
申请(专利权)人：河南经贸职业学院，
类型：发明
国别省市：