一种基于网络安全的大数据实施系统及方法技术方案

本发明专利技术公开了一种基于网络安全的大数据实施系统及方法。该系统的大数据实施平台包括：大数据采集模块、大数据预处理模块、大数据处理模块、网络安全监管模块和控制器；网络安全监管模块包括：网络检测单元、访客验证单元和访问流量监控单元。本发明专利技术通过带多种数据接口的数据接受器并行采集多路数据，并对帧打包数据添加优先权编号和帧号，同时对采集的数据分级存储，从而按照优先权编号和帧号对存储的数据解析筛选后输出；即在大数据实施过程中，通过多个通道采集数据，不但采集效率高，且采集数据量大；对分级存储后的数据按照优先权编号和帧号输出，使数据传输有序，不易造成网络堵塞和数据丢失，提高了数据处理效率低，资源利用率低。

【技术实现步骤摘要】
一种基于网络安全的大数据实施系统及方法
本专利技术涉及网络安全
，更具体的涉及一种基于网络安全的大数据实施系统及方法。
技术介绍
随着电子信息技术的发展，人们使用网络的频率越来越高，数据量的飞速增长预示着现在已经进入了大数据时代，不仅是数据规模越来越大，而且数据类型多和处理实时性要求高。大数据提出的同时，人们也逐渐体会到信息高速发展带来的隐患，安全问题成为网络浏览的重要问题，隐私泄露、财产被骗等等，即大数据给传统的数据安全传输管理带来了技术挑战。现有的大数据实施过程中，往往是将数据都集中到一起后，再进行分类，造成后期工作量大，因数据量巨大，造成接收数据时网络堵塞，从而存在数据丢失的问题，使得数据处理效率低，资源利用率低。综上所述，现有技术中的大数据实施过程，存在数据处理效率低，资源利用率低的问题。
技术实现思路
本专利技术实施例提供一种基于网络安全的大数据实施系统及方法，用以解决现有技术中存在数据处理效率低，资源利用率低的问题。本专利技术实施例提供一种基于网络安全的大数据实施系统，包括：大数据实施平台；所述大数据实施平台，包括：大数据采集模块、大数据预处理模块、大数据处理模块、网络安全监管模块和控制器；所述大数据采集模块，用于通过带多种数据接口的数据接受器并行采集多路数据，并对各路数据进行帧数据打包且对各路数据每帧的帧头添加优先权编号和帧号；所述大数据预处理模块，用于按照各路数据传输协议对各路数据进行冗余处理和校验处理，将冗余处理和校验处理后的数据存储至各路数据接受缓存器和数据接受存储器；其中，将前十帧数据存储至数据接受缓存器中，以及将前十帧以后的数据存储至数据接受存储器中；当数据接受缓存器中的数据不足十帧时，数据接受存储器中的数据自动向数据接受缓存器中传输；所述大数据处理模块，用于根据优先权编号和帧号将待传输数据从数据接受缓存器中取出，并解析数据信息将筛选出的有用数据按照优先权编号和帧号输出；其中，根据上一帧待传输数据取出完成标志从数据接受缓存器中取出下一帧待传输数据；将解析后的数据信息与预存的拦截信息进行对比，当重合度小于预设值时的解析后的数据信息为有用信息；所述网络安全监管模块，包括：网络检测单元、访客验证单元和访问流量监控单元；所述网络检测单元，用于实时对各路数据传输通道的网络传输速率和资源占用率进行检测；所述访客验证单元，用于通过账户、密码和二维码对网络大数据进行访问；其中，通过账户和密码进行身份验证，通过二维码对某些网络数据的访问进行付费验证；所述访问流量监控单元，用于实时监测各路数据传输通道的网络数据访问流量，当某一通道的网络数据访问流量超出预设值时，向该通道增加网络流量，同时根据网络数据访问流量的大小确定热点数据类型；所述控制器，用于协调上述各模块运行。较佳地，所述大数据实施平台为大数据服务器。较佳地，所述数据接口包括：串口、并口、USB接口、以太网接口、无线接收器和CAN接口，且每个串口、并口、USB接口、以太网接口、无线接收器和CAN接口的数量均至少为一个。较佳地，所述网络安全监管模块，还包括：敏感信息过滤单元；所述敏感信息过滤单元，用于对非法广告信息和不健康信息进行滤除。本专利技术实施例提供一种基于网络安全的大数据实施方法，包括：通过带多种数据接口的数据接受器并行采集多路数据，并对各路数据进行帧数据打包且对各路数据每帧的帧头添加优先权编号和帧号；按照各路数据传输协议对各路数据进行冗余处理和校验处理，将冗余处理和校验处理后的数据存储至各路数据接受缓存器和数据接受存储器；其中，将前十帧数据存储至数据接受缓存器中，以及将前十帧以后的数据存储至数据接受存储器中；当数据接受缓存器中的数据不足十帧时，数据接受存储器中的数据自动向数据接受缓存器中传输；根据优先权编号和帧号将待传输数据从数据接受缓存器中取出，并解析数据信息将筛选出的有用数据按照优先权编号和帧号输出；其中，根据上一帧待传输数据取出完成标志从数据接受缓存器中取出下一帧待传输数据；将解析后的数据信息与预存的拦截信息进行对比，当重合度小于预设值时的解析后的数据信息为有用信息；对大数据实施进行网络安全监管；具体包括：实时对各路数据传输通道的网络传输速率和资源占用率进行检测；通过账户、密码和二维码对网络大数据进行访问；其中，通过账户和密码进行身份验证，通过二维码对某些网络数据的访问进行付费验证；实时监测各路数据传输通道的网络数据访问流量，当某一通道的网络数据访问流量超出预设值时，向该通道增加网络流量，同时根据网络数据访问流量的大小确定热点数据类型。较佳地，所述对大数据实施进行网络安全监管；还包括：对非法广告信息和不健康信息进行滤除。本专利技术实施例中，提供一种基于网络安全的大数据实施系统及方法，与现有技术相比，其有益效果如下：本专利技术通过带多种数据接口的数据接受器并行采集多路数据，并对帧打包数据添加优先权编号和帧号，同时对采集的数据分级存储，从而按照优先权编号和帧号对存储的数据解析筛选后输出；即在大数据实施过程中，通过多个通道进行大数据采集，不但采集效率高，且采集数据量大；对分级存储后的数据按照优先权编号和帧号输出，使得数据传输有序，不易造成网络堵塞和数据丢失，从而提高了数据处理效率低，资源利用率低。进一步，按照各路数据传输协议对各路数据进行冗余处理和校验处理，提高了数据传输可靠性。本专利技术通过网络安全监管模块实时对大数据实施系统进行网络检测和访问流量监控，以及对访客信息进行验证，增强了网络安全性，使数据不易泄露、丢失。特别地，对访客信息进行验证时，还可以通过二维码对某些网络数据的访问进行付费验证，使用方便，实用性强；通过监测各路数据传输通道的网络数据访问流量，可以灵活的调整网速，同时可以判断哪种类型信息访问量大，为网络数据分析提高可靠依据。附图说明图1为本专利技术实施例提供的一种基于网络安全的大数据实施系统功能原理框图；图2为本专利技术实施例提供的一种基于网络安全的大数据实施方法流程图；图3为本专利技术实施例提供的对大数据实施进行网络安全监管具体步骤流程图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。图1为本专利技术实施例提供的一种基于网络安全的大数据实施系统功能原理框图。如图1所示，该系统包括：大数据实施平台1。优选地，本专利技术的大数据实施平台1采用大数据服务器。具体地，大数据实施平台1，包括：大数据采集模块11、大数据预处理模块12、大数据处理模块13、网络安全监管模块14和控制器15。其中，大数据采集模块11，用于通过带多种数据接口的数据接受器并行采集多路数据，并对各路数据进行帧数据打包且对各路数据每帧的帧头添加优先权编号和帧号。需要说明的是，数据接口包括：串口、并口、USB接口、以太网接口、无线接收器和CAN接口，且每个串口、并口、USB接口、以太网接口、无线接收器和CAN接口的数量均至少为一个。其中，大数据预处理模块12，用于按照各路数据传输协议对各路数据进行冗余处理和校验处理，将冗余处理和校验处理后的数据存储至各路数据接受缓存器本文档来自技高网...

【技术保护点】
一种基于网络安全的大数据实施系统，其特征在于，包括：大数据实施平台(1)；所述大数据实施平台(1)，包括：大数据采集模块(11)、大数据预处理模块(12)、大数据处理模块(13)、网络安全监管模块(14)和控制器(15)；所述大数据采集模块(11)，用于通过带多种数据接口的数据接受器并行采集多路数据，并对各路数据进行帧数据打包且对各路数据每帧的帧头添加优先权编号和帧号；所述大数据预处理模块(12)，用于按照各路数据传输协议对各路数据进行冗余处理和校验处理，将冗余处理和校验处理后的数据存储至各路数据接受缓存器和数据接受存储器；其中，将前十帧数据存储至数据接受缓存器中，以及将前十帧以后的数据存储至数据接受存储器中；当数据接受缓存器中的数据不足十帧时，数据接受存储器中的数据自动向数据接受缓存器中传输；所述大数据处理模块(13)，用于根据优先权编号和帧号将待传输数据从数据接受缓存器中取出，并解析数据信息将筛选出的有用数据按照优先权编号和帧号输出；其中，根据上一帧待传输数据取出完成标志从数据接受缓存器中取出下一帧待传输数据；将解析后的数据信息与预存的拦截信息进行对比，当重合度小于预设值时的解析后的数据信息为有用信息；所述网络安全监管模块(14)，包括：网络检测单元(141)、访客验证单元(142)和访问流量监控单元(143)；所述网络检测单元(141)，用于实时对各路数据传输通道的网络传输速率和资源占用率进行检测；所述访客验证单元(142)，用于通过账户、密码和二维码对网络大数据进行访问；其中，通过账户和密码进行身份验证，通过二维码对某些网络数据的访问进行付费验证；所述访问流量监控单元(143)，用于实时监测各路数据传输通道的网络数据访问流量，当某一通道的网络数据访问流量超出预设值时，向该通道增加网络流量速度，同时根据网络数据访问流量的大小确定热点数据类型；所述控制器(15)，用于协调上述各模块运行。...

【技术特征摘要】
1.一种基于网络安全的大数据实施系统，其特征在于，包括：大数据实施平台(1)；所述大数据实施平台(1)，包括：大数据采集模块(11)、大数据预处理模块(12)、大数据处理模块(13)、网络安全监管模块(14)和控制器(15)；所述大数据采集模块(11)，用于通过带多种数据接口的数据接受器并行采集多路数据，并对各路数据进行帧数据打包且对各路数据每帧的帧头添加优先权编号和帧号；所述大数据预处理模块(12)，用于按照各路数据传输协议对各路数据进行冗余处理和校验处理，将冗余处理和校验处理后的数据存储至各路数据接受缓存器和数据接受存储器；其中，将前十帧数据存储至数据接受缓存器中，以及将前十帧以后的数据存储至数据接受存储器中；当数据接受缓存器中的数据不足十帧时，数据接受存储器中的数据自动向数据接受缓存器中传输；所述大数据处理模块(13)，用于根据优先权编号和帧号将待传输数据从数据接受缓存器中取出，并解析数据信息将筛选出的有用数据按照优先权编号和帧号输出；其中，根据上一帧待传输数据取出完成标志从数据接受缓存器中取出下一帧待传输数据；将解析后的数据信息与预存的拦截信息进行对比，当重合度小于预设值时的解析后的数据信息为有用信息；所述网络安全监管模块(14)，包括：网络检测单元(141)、访客验证单元(142)和访问流量监控单元(143)；所述网络检测单元(141)，用于实时对各路数据传输通道的网络传输速率和资源占用率进行检测；所述访客验证单元(142)，用于通过账户、密码和二维码对网络大数据进行访问；其中，通过账户和密码进行身份验证，通过二维码对某些网络数据的访问进行付费验证；所述访问流量监控单元(143)，用于实时监测各路数据传输通道的网络数据访问流量，当某一通道的网络数据访问流量超出预设值时，向该通道增加网络流量速度，同时根据网络数据访问流量的大小确定热点数据类型；所述控制器(15)，用于协调上述各模块运行。2.如权利要求1所述的基于网络安全的大数据实施系统，其特征在于，所述大数据实施平台...

【专利技术属性】
技术研发人员：李鑫，周湘贞，任刚，胡广新，张鸿，周飞菲，
申请(专利权)人：郑州升达经贸管理学院，
类型：发明
国别省市：河南,41