基于大数据平台的网络安全实施系统及方法技术方案

本发明专利技术公开了基于大数据平台的网络安全实施系统及方法，设置有大数据处理平台及与大数据处理平台相连接的分布式计算机群，大数据处理平台内设置有数据收集器、智能采集设备、冗余数据清洗系统、大数据管理系统、数据牵引器、大数据服务器、数据对比器、大数据存储池、大数据操作日志记录器及大数据安全存储系统；大数据服务器通过具有硬件安全防护功能的数据对比器将小类大数据传输至大数据存储池内进行存储，小类大数据通过数据对比器上传至大数据存储池的过程中，数据对比器将调用大数据安全存储系统内所存储的数据与上传中的小类大数据进行对比；在降低成本投入的同时，还可以进一步的提升数据安全输级别，上行或下发都保障了其数据的完整性。

【技术实现步骤摘要】

本专利技术涉及大数据、网络安全等
，具体的说，是基于大数据平台的网络安全实施系统及方法。
技术介绍
网络安全是指网络系统的硬件、软件及其系统中的数据受到保护，不因偶然的或者恶意的原因而遭受到破坏、更改、泄露，系统连续可靠正常地运行，网络服务不中断。主要特性：1、保密性，信息不泄露给非授权用户、实体或过程，或供其利用的特性。2、完整性，数据未经授权不能进行改变的特性。即信息在存储或传输过程中保持不被修改、不被破坏和丢失的特性。3、可用性，可被授权实体访问并按需求使用的特性。即当需要时能否存取所需的信息。例如网络环境下拒绝服务、破坏网络和有关系统的正常运行等都属于对可用性的攻击。4、可控性，对信息的传播及内容具有控制能力。5、可审查性，出现安全问题时提供依据与手段。从网络运行和管理者角度说，希望对本地网络信息的访问、读写等操作受到保护和控制，避免出现“陷门”、病毒、非法存取、拒绝服务和网络资源非法占用和非法控制等威胁，制止和防御网络黑客的攻击。对安全保密部门来说，他们希望对非法的、有害的或涉及国家机密的信息进行过滤和防堵，避免机要信息泄露，避免对社会产生危害，对国家造成巨大损失。随着计算机技术的迅速发展，在计算机上处理的业务也由基于单机的数学运算、文件处理，基于简单连接的内部网络的内部业务处理、办公自动化等发展到基于复杂的内部网（Intranet）、企业外部网（Extranet）、全球互联网（Internet）的企业级计算机处理系统和世界范围内的信息共享和业务处理。在系统处理能力提高的同时，系统的连接能力也在不断的提高。但在连接能力信息、流通能力提高的同时，基于网络连接的安全问题也日益突出，整体的网络安全主要表现在以下几个方面：网络的物理安全、网络拓扑结构安全、网络系统安全、应用系统安全和网络管理的安全等。因此计算机安全问题，应该像每家每户的防火防盗问题一样，做到防范于未然。甚至不会想到你自己也会成为目标的时候，威胁就已经出现了，一旦发生，常常措手不及，造成极大的损失。随着移动互联网、物联网等应用的飞速发展，全球数据量出现了爆炸式增长。数据量的飞速增长预示着现在已经进入了大数据时代。网络运营商拥有庞大的用户，同时具有对终端及用户上网通道的掌控能力，使得在用户行为分析方面具有很好的数据基础，深入分析用户流量行为特征和规律，发现用户潜在消费需求，是提升价值和经营水平的有效手段。然而，不仅仅是数据规模越来越大，而且数据类型多和处理实时性要求都极大地增加了大数据处理的复杂度。大数据给传统的数据安全传输管理带来的技术挑战。目前，随着计算机技术和互联网的发展，许多政府和企业都在进行大数据的建设，而大数据建设对企业的发展方向，政府的管理水平和服务方式的改进都起到非常重要的作用，但现有的大数据处理中，往往是将数据都集中到一起后，再进行分类，造成后期工作量大，因数据量巨大，造成接收数据时网络堵塞，从而存在数据丢失的问题。
技术实现思路
本专利技术的目的在于提供基于大数据平台的网络安全实施系统及方法，在提供用于实现基于大数据平台的网络安全实施方法的同时，配套的提出用于实现基于大数据平台的网络安全实施方法的一种较优的基于大数据平台的网络安全实施系统；在大数据处理平台内进行数据处理时，通过采用多级硬件防护措施（数据牵引器、数据对比器）代替传统的软件、防火墙、vpn等综合应用防护措施来保障数据的安全和完整性，在降低成本投入的同时，还可以进一步的提升数据安全输级别，使得不论是上行至大数据处理平台内的大数据还是从大数据处理平台内下发至Internet内的大数据都保障了其数据的完整性。本专利技术通过下述技术方案实现：基于大数据平台的网络安全实施系统，设置有大数据处理平台及与大数据处理平台相连接的分布式计算机群，所述大数据处理平台内设置有数据收集器、智能采集设备、冗余数据清洗系统、大数据管理系统、数据牵引器、大数据服务器、数据对比器、大数据存储池、大数据操作日志记录器及大数据安全存储系统，所述分布式计算机群和数据收集器皆接入Internet，所述数据收集器依次连接智能采集设备、冗余数据清洗系统和大数据管理系统，所述大数据管理系统通过数据牵引器与大数据服务器相连接，所述大数据服务器通过数据对比器与大数据存储池相连接，所述大数据操作日志记录器分别与大数据存储池、数据对比器、大数据服务器、大数据安全存储系统、数据牵引器及大数据管理系统相连接，所述大数据安全存储系统分别与数据牵引器、数据对比器和大数据存储池相连接。进一步的，所述分布式计算机群内设置有第一层交换机、第一层防火墙、第二层交换机、入侵检测引擎、防DDoS系统、企业网络架构，所述第一层交换机依次连接第一层防火墙、第二层交换机、入侵检测引擎和防DDoS系统，所述第二层交换机和防DDoS系统皆与企业网络架构相连接，所述第一层交换机接入Internet。进一步的，所述企业网络架构内设置有局域网用户架构和广域网用户架构，所述局域网用户架构分别与第二层交换机和广域网用户架构相连接，所述广域网用户架构与防DDoS系统相连接。进一步的，所述广域网用户架构内设置有数据认证系统、核心防火墙系统、多个分布式计算机和DNS安全管理系统，所述防DDoS系统通过企业广域网分别与局域网用户架构、数据认证系统、核心防火墙系统和身份认证系统相连接，所述核心防火墙系统与多个分布式计算机相连接，所述多个分布式计算机皆与DNS安全管理系统相连接。进一步的，所述局域网用户架构内设置有管理系统、上网代理服务器和办公用户系统，所述管理系统分别与第二层交换机和上网代理服务器相连接，所述上网代理服务器通过局域网分别与办公用户系统相连接；在所述局域网上还设置有网络漏洞监视器、防病毒系统及OA防火墙系统，所述OA防火墙系统通过企业广域网与广域网用户架构相连接。应用基于大数据平台的网络安全实施系统实现基于大数据平台的网络安全实施方法，包括大数据安全收集方法，所述大数据安全收集方法包括以下步骤：1）所述数据采集器从Internet内采集从分布式计算机群中上传至Internet内的各类数据；2）所述智能采集设备从数据采集器内将数据采集器所采集的数据进行收集并分析，初步将需要采集的信息进行保存后进行初次分类，形成所需的大类数据信息，而余下的非所需要数据信息将被抛弃；所述所需的大类数据信息指某一个行业内所需要涉及到的所有信息；3）所述智能采集设备经过初次分类后，所形成的大类数据信息利用冗余数据清洗系统将内部的冗余数据清洗出去，形成所需的大数据并临时保存，以备传输至下一环节；4）所述大数据管理系统根据预置的管理策略接收由冗余数据清洗系统内所形成或临时保存的的所需的大数据；5）所述大数据管理系统通过利用硬件安全防护策略的数据牵引器将所需的大数据分别上传至大数据服务器和大数据安全存储系统内；在大数据服务器内将所需的大数据再次进行小类的区分，并临时保存小类大数据；而在大数据安全存储系统内直接将接收的所需的大数据进行分块存储；所述小本文档来自技高网...

【技术保护点】
基于大数据平台的网络安全实施系统，其特征在于：设置有大数据处理平台及与大数据处理平台相连接的分布式计算机群，所述大数据处理平台内设置有数据收集器、智能采集设备、冗余数据清洗系统、大数据管理系统、数据牵引器、大数据服务器、数据对比器、大数据存储池、大数据操作日志记录器及大数据安全存储系统，所述分布式计算机群和数据收集器皆接入Internet，所述数据收集器依次连接智能采集设备、冗余数据清洗系统和大数据管理系统，所述大数据管理系统通过数据牵引器与大数据服务器相连接，所述大数据服务器通过数据对比器与大数据存储池相连接，所述大数据操作日志记录器分别与大数据存储池、数据对比器、大数据服务器、大数据安全存储系统、数据牵引器及大数据管理系统相连接，所述大数据安全存储系统分别与数据牵引器、数据对比器和大数据存储池相连接。

【技术特征摘要】
1.基于大数据平台的网络安全实施系统，其特征在于：设置有大数据处理平台及与大数据处理平台相连接的分布式计算机群，所述大数据处理平台内设置有数据收集器、智能采集设备、冗余数据清洗系统、大数据管理系统、数据牵引器、大数据服务器、数据对比器、大数据存储池、大数据操作日志记录器及大数据安全存储系统，所述分布式计算机群和数据收集器皆接入Internet，所述数据收集器依次连接智能采集设备、冗余数据清洗系统和大数据管理系统，所述大数据管理系统通过数据牵引器与大数据服务器相连接，所述大数据服务器通过数据对比器与大数据存储池相连接，所述大数据操作日志记录器分别与大数据存储池、数据对比器、大数据服务器、大数据安全存储系统、数据牵引器及大数据管理系统相连接，所述大数据安全存储系统分别与数据牵引器、数据对比器和大数据存储池相连接。
2.根据权利要求1所述的基于大数据平台的网络安全实施系统，其特征在于：所述分布式计算机群内设置有第一层交换机、第一层防火墙、第二层交换机、入侵检测引擎、防DDoS系统、企业网络架构，所述第一层交换机依次连接第一层防火墙、第二层交换机、入侵检测引擎和防DDoS系统，所述第二层交换机和防DDoS系统皆与企业网络架构相连接，所述第一层交换机接入Internet。
3.根据权利要求2所述的基于大数据平台的网络安全实施系统，其特征在于：所述企业网络架构内设置有局域网用户架构和广域网用户架构，所述局域网用户架构分别与第二层交换机和广域网用户架构相连接，所述广域网用户架构与防DDoS系统相连接。
4.根据权利要求3所述的基于大数据平台的网络安全实施系统，其特征在于：所述广域网用户架构内设置有数据认证系统、核心防火墙系统、多个分布式计算机和DNS安全管理系统，所述防DDoS系统通过企业广域网分别与局域网用户架构、数据认证系统、核心防火墙系统和身份认证系统相连接，所述核心防火墙系统与多个分布式计算机相连接，所述多个分布式计算机皆与DNS安全管理系统相连接。
5.根据权利要求3或4所述的基于大数据平台的网络安全实施系统，其特征在于：所述局域网用户架构内设置有管理系统、上网代理服务器和办公用户系统，所述管理系统分别与第二层交换机和上网代理服务器相连接，所述上网代理服务器通过局域网分别与办公用户系统相连接；在所述局域网上还设置有网络漏洞监视器、防病毒系统及OA防火墙系统，所述OA防火墙系统通过企业广域网与广域网用户架构相连接。
6.应用权利要求1-5所述的基于大数据平台的网络安全实施系统实现基于大数据平台的网络安全实施方法，其特征在于：包括大数据安全收集方法，所述大数据安全收集方法包括以下步骤：
1）所述数据采集器从Internet内采集从分布式计算机群中上传至Internet内的各类数据；
2）所述智能采集设备从数据采集器内将数据采集器所采集的数据进行收集并分析，初步将需要采集的信息进行保存后进行初次分类，形成所需的大类数据信息，而余下的非所需要数据信息将被抛弃；
3）所述智能采集设备经过初次分类后，所形成的大类数据信息利用冗余数据清洗系统将内部的冗余数据清洗出去，形成所需的大数据并临时保存，以备传输至下一环节；
4）所述大数据管理系统根据预置的管理策略接收由冗余数据清洗系统内所形成或临时保存的的所需的大数据；
5）所述大数据管理系统通过利用硬件安全防护策略的数据牵引器将所需的大数据分别上传至大数据服务器和大数据安全存储系统内；在大数据服务器内将所需的大数据再次进行小类的区分，并临时保存小类大数据；而在大数据安全存储系统内直接将接收的所需的大数据进行分块存储；
6）所述大数据服务器通过具有硬件安全防护功能的数据对比器将小类大数据传输至大数据存储池内进行存储，在小类大数据通过数据对比器上传至大数据存储池的过程中，数据对比器将调用大数据安全存储系统内所存储的数据与上传中的小类大数据进行对比，当上传中的小类大数据存在错误时，将临时中断大数据服务器内的小类大数据存储在大数据存储池内的行为，而利用大数据安全存储系统内的数据进行错误存储数据的补正，直到大数据服务器内上传的小类大数据与大数据安全存储系统内所存储的数据相符合时，才继续存储由大数据服务器中上传的小类大数据，直到将大数据服务器内的小类大数据传输完成为止。
7.根据权利要求6所述的基于大数据平台的网络安全实施方法，其特征在于：还包括大数据安全调用的方法，所述大数据安全调用的方法包括以下步骤：
（1）数据收集器接收到由Internet内下达的需要调用大数据处理平台内的大数据的调用信息；
（2）智能采集设备接...

【专利技术属性】
技术研发人员：杨进，王红军，李勤，张欣，张建东，
申请(专利权)人：乐山师范学院，
类型：发明
国别省市：四川;51