一种基于大数据分析的网络安全监测系统技术方案

本发明专利技术公开了一种基于大数据分析的网络安全监测系统，涉及网络安全技术领域，包括数据接收模块、数据分类模块、安全监测模块、分布式数据库和数据备份模块；数据接收模块用于对不同IP所上传或编辑的网络信息、网络数据和网络内容进行收集，得到IP编辑数据；云端服务器接收到IP编辑数据后，利用数据分类模块对缓存的IP编辑数据进行监测系数分析，生成IP编辑数据的监测优先表；提高数据监测效率；安全监测模块用于判断IP编辑数据是否存在网络危险；数据备份模块用于对不存在危险的IP编辑数据进行备份；并选取空余系数最大的存储区块作为选中区块；方便工作人员和其他网络用户进行查看；有效减轻存储压力，提高数据存储效率。提高数据存储效率。提高数据存储效率。

【技术实现步骤摘要】
一种基于大数据分析的网络安全监测系统


[0001]本专利技术涉及网络安全
，具体是一种基于大数据分析的网络安全监测系统。

技术介绍

[0002]随着计算机科学技术的迅猛发展和深度应用，网络空间中的变革正在不断改变和影响着人们的生活方式；由于人们对互联网的依赖性越来越高，在互联网上涉及到许多关于企业、个人的保密信息，因此网络安全性问题一直是技术发展过程中的重要课题。
[0003]从网络运行和管理者角度说，希望对本地网络信息的访问、读写等操作受到保护和控制，避免出现“陷门”、病毒、非法存取、拒绝服务和网络资源非法占用和非法控制等威胁，制止和防御网络黑客的攻击；为此，本专利技术提出一种基于大数据分析的网络安全监测系统。

技术实现思路

[0004]本专利技术旨在至少解决现有技术中存在的技术问题之一。为此，本专利技术提出一种基于大数据分析的网络安全监测系统。
[0005]为实现上述目的，根据本专利技术的第一方面的实施例提出一种基于大数据分析的网络安全监测系统，包括数据接收模块、数据分类模块、安全监测模块、分布式数据库和数据备份模块；所述数据接收模块用于对不同IP所上传或编辑的网络信息、网络数据和网络内容进行收集，得到IP编辑数据并传输至云端服务器进行缓存；所述云端服务器接收到IP编辑数据后，利用数据分类模块对缓存的IP编辑数据进行监测系数JC分析，生成IP编辑数据的监测优先表；并根据监测优先表依次将IP编辑数据传输至安全监测模块进行安全监测；所述安全监测模块用于对IP编辑数据中的网络数据、网络信息和网络内容进行监测，然后根据内存计算和实时流计算对监测数据进行计算处理，判断所述IP编辑数据是否存在网络危险；若存在危险，则预警模块会进行启动，进行预警；如果不存在危险，所述安全监测模块用于将所述IP编辑数据传输至分布式数据库；所述分布式数据库对所述IP编辑数据进行分析、对比、预演和呈现，并再次判断所述IP编辑数据是否存在网络危险；如果不存在危险，则对所述IP编辑数据进行上传和备份；所述数据备份模块用于对不存在危险的IP编辑数据进行备份；所述数据备份模块包括若干个存储区块，选取空余系数KY最大的存储区块作为选中区块；并将接收到的IP编辑数据备份至选中区块。
[0006]进一步地，所述数据分类模块的具体分析步骤为：获取IP编辑数据的数据量为LZ；获取所述IP编辑数据对应的IP身份；所述IP身份
调取对应IP的数据上传记录；所述数据上传记录包括数据上传时刻、上传数据量以及上传是否成功；根据所述数据上传记录进行威胁值WX评估；利用公式JC=LZ
×
b1+WX
×
b2计算得到所述IP编辑数据的监测系数JC，其中b1、b2均为比例因子；将IP编辑数据按照监测系数JC大小进行排序，生成IP编辑数据的监测优先表并将所述监测优先表反馈至云端服务器。
[0007]进一步地，根据所述数据上传记录进行威胁值WX评估，具体为：在预设时间段内，统计对应IP的上传总次数为编辑频次P1；统计对应IP的上传失败占比为Zb；截取相邻上传失败之间的时间段为警示缓冲时间段，统计每个警示缓冲时间段内对应IP的上传次数为警示缓冲频次Li；将警示缓冲频次Li与预设缓冲阈值相比较；统计Li小于预设缓冲阈值的次数为C1；当Li小于预设缓冲阈值时，获取Li与预设缓冲阈值的差值并进行求和得到差缓总值GZ；利用公式CJ=C1
×
a3+GZ
×
a4计算得到差缓吸引值CJ，其中a3、a4均为比例因子；将编辑频次、上传失败占比以及差缓吸引值进行归一化处理并取其数值，利用公式WX=η
×
(Zb
×
a1+CJ
×
a2)/P1计算得到所述IP的威胁值WX，其中a1、a2均为比例因子；η为预设补偿因子。
[0008]进一步地，所述数据备份模块具体包括：获取存储区块的剩余内存数据并标记为Nc；建立剩余内存数据Nc随时间变化的曲线图，并对曲线图进行求导获取内存变化速率曲线图；将内存变化速率标记为NBi；将NBi与预设速率阈值相比较；若NBi≥预设速率阈值，则在对应的曲线图中截取对应的曲线段并进行标注；在预设时间段内，统计标注曲线段的数量为N1；将所有标注曲线段上对应NBi与预设速率阈值的差值对时间进行积分得到标注参考面积M1；利用公式Cs=N1
×
r3+M1
×
r4计算得到内存变化指数Cs，其中r3、r4均为系数因子；利用公式KY=(Nc
×
r5)/(Cs
×
r6)计得到所述存储区块的空余系数KY，其中r5、r6均为系数因子。
[0009]进一步地，所述安全监测模块具体包括：所述内存计算使用Spark框架，以实现基于内存的数据计算；所述实时流计算用于对数据收集单元的数据实时接收以及计算，通过计算服务实现对数据的清洗、解析的处理，并将结果输出到分布式数据库中；其中，所述实时流计算采用Storm框架、单独采用Spark框架中任意一种或两者的结合。
[0010]进一步地，所述分布式数据库包括分析单元、对比单元、预演单元以及呈现单元；所述分析单元用于对接收到的IP编辑数据进行分类分析；所述对比单元用于对比所述IP编辑数据与分布式数据库中的数据；所述预演单元用于根据对比数据对所述IP编辑数据内容进行预演；所述呈现单元用于对预演结果进行呈现，再次判断所述IP编辑数据是否存在网络危险。
[0011]进一步地，当预警模块被触发时，声光报警器启动发出蜂鸣和亮光，通知工作人员进行查看，并对上传IP进行锁定，警示所述上传IP停止上传或编辑行为。
[0012]与现有技术相比，本专利技术的有益效果是：本专利技术中所述数据接收模块用于对不同IP所上传或编辑的网络信息、网络数据和网络内容进行收集，得到IP编辑数据；所述云端服务器接收到IP编辑数据后，利用数据分类模块对缓存的IP编辑数据进行监测系数JC分析，生成IP编辑数据的监测优先表；所述云端服务器用于根据所述监测优先表依次将对应的IP编辑数据传输至安全监测模块进行安全监测；提高数据监测效率；本专利技术中所述安全监测模块用于对IP编辑数据中的网络数据、网络信息和网络内容进行监测，然后根据内存计算和实时流计算对监测数据进行计算处理，判断所述IP编辑数据是否存在网络危险；若存在危险，则预警模块会进行启动，进行预警；并对上传IP进行锁定，警示所述上传IP停止上传或编辑行为；方便后期的网络安全维护人员及时的找到上传者，提高网络安全；如果不存在危险，则将所述IP编辑数据传输至分布式数据库；所述分布式数据库对所述IP编辑数据进行分析、对比、预演和呈现，并再次判断所述IP编辑数据是否存在网络危险，如果不存在危险，则对所述IP编辑数据进行上传和备份；方便工作人员和其他网络用户进行查看；本专利技术中所述数据备份模块用于对不存在危险的IP编辑数据进行备份；对若干个存储区块进行空余系数分析，选取空余系数KY最大的存储区块作为选中区块，将接收到的IP编辑数据备份至选中区块；本专利技术本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于大数据分析的网络安全监测系统，其特征在于，包括数据接收模块、云端服务器、数据分类模块、安全监测模块、预警模块、分布式数据库以及数据备份模块；所述数据接收模块用于对不同IP所上传或编辑的网络信息、网络数据和网络内容进行收集，得到IP编辑数据并传输至云端服务器进行缓存；所述云端服务器接收到IP编辑数据后，利用数据分类模块对缓存的IP编辑数据进行监测系数JC分析，生成IP编辑数据的监测优先表；并根据监测优先表依次将IP编辑数据传输至安全监测模块进行安全监测；所述安全监测模块用于对IP编辑数据中的网络数据、网络信息和网络内容进行监测，然后根据内存计算和实时流计算对监测数据进行计算处理，判断所述IP编辑数据是否存在网络危险；若存在危险，则预警模块会进行启动，进行预警；如果不存在危险，所述安全监测模块用于将所述IP编辑数据传输至分布式数据库；所述分布式数据库对所述IP编辑数据进行分析、对比、预演和呈现，并再次判断所述IP编辑数据是否存在网络危险；如果不存在危险，则对所述IP编辑数据进行上传和备份；所述数据备份模块用于对不存在危险的IP编辑数据进行备份；所述数据备份模块包括若干个存储区块，选取空余系数KY最大的存储区块作为选中区块；并将接收到的IP编辑数据备份至选中区块。2.根据权利要求1所述的一种基于大数据分析的网络安全监测系统，其特征在于，所述数据分类模块的具体分析步骤为：获取IP编辑数据的数据量为LZ；获取所述IP编辑数据对应的IP身份；所述IP身份调取对应IP的数据上传记录；所述数据上传记录包括数据上传时刻、上传数据量以及上传是否成功；根据所述数据上传记录进行威胁值WX评估；利用公式JC=LZ
×
b1+WX
×
b2计算得到所述IP编辑数据的监测系数JC，其中b1、b2均为比例因子；将IP编辑数据按照监测系数JC大小进行排序，生成IP编辑数据的监测优先表并将所述监测优先表反馈至云端服务器。3.根据权利要求2所述的一种基于大数据分析的网络安全监测系统，其特征在于，根据所述数据上传记录进行威胁值WX评估，具体为：在预设时间段内，统计对应IP的上传总次数为编辑频次P1；统计对应IP的上传失败占比为Zb；截取相邻上传失败之间的时间段为警示缓冲时间段，统计每个警示缓冲时间段内对应IP的上传次数为警示缓冲频次Li；将警示缓冲频次Li与预设缓冲阈值相比较；统计Li小于预设缓冲阈值的次数为C1；当Li小于预设缓冲阈值时，获取Li与预设缓冲阈值的差值并进行求和得到差缓总值GZ；利用公式CJ=C1<...

【专利技术属性】
技术研发人员：郑峰，李琦，吴乘先，张蕊，荆艳华，
申请(专利权)人：融科联创天津信息技术有限公司，
类型：发明
国别省市：