【技术实现步骤摘要】
本申请涉及数据安全，特别涉及一种大数据计算机网络安全防护方法。
技术介绍
1、早期的安全系统严重依赖基于签名的检测，这种方法难以识别零日漏洞和复杂攻击。转向基于行为的检测模型允许对新兴威胁做出更动态的响应。将机器学习算法纳入网络安全，使系统能够从数据模式中学习，预测或识别表明安全漏洞的异常。
2、传统的安全系统在检测效率方面常常面临挑战，尤其是在扩展以适应大量网络流量时。许多现有解决方案不是为处理现代网络产生的大量且不断增长的数据而设计的，导致分析和响应时间变慢。本地解决方案需要大量的硬件投资，并且受到可用计算资源的限制，影响其高效处理大数据的能力。
3、在相关技术中，比如中国专利文献cn117407879a中提供了一种基于大数据分析的计算机互联网信息安全控制系统；本基于大数据分析的计算机互联网信息安全控制系统包括中心控制系统，中心控制系统用于对计算机互联网信息安全控制系统中的数据进行传输管理以及记录，本专利技术通过大数据对现有的计算机运行网络中存在的病毒数据以及防御数据进行采集，并根据该数据建立病毒数据库以及防御数据库，对网络数据进行实时对比检测，即将数据与病毒数据库中数据进行对比，若存在相同，则立即调取对应的防御数据。但是该方案主要依赖于规则匹配，在实时比对检测中，如果依赖于大规模的病毒数据库进行匹配，因数据库查询和数据传输造成延迟，特别是在数据库规模持续增长时，因此该方案的检测效率有待进一步提高。
技术实现思路
1、1.要解决的技术问题
2
3、2.技术方案
4、本申请的目的通过以下技术方案实现。
5、本说明书实施例提供一种大数据计算机网络安全防护方法，包括：获取网络流量数据，网络流量数据包含网络日志、系统日志和告警信息；采用哈希取模算法对获取的网络流量数据进行分片，将分片后的网络流量数据作为第一数据集；复制第一数据集，得到第二数据集；采用分布式文件系统存储第一数据集，并采用数据库存储第二数据集；从第一数据集中提取源ip和目的ip作为流量特征；根据提取的源ip和目的ip，采用哈希算法生成对应的唯一标识编码，将唯一标识编码加入第一数据集中；对加入唯一标识编码后的第一数据集，进行基于黑白名单的签名匹配和基于lstm神经网络的行为分析；根据检测结果，在第二数据集中查询风险流量数据对应的数据记录，进行tcp拦截或源ip限速处理。
6、其中，哈希算法，一种将任意长度的输入通过散列函数映射到固定长度输出的算法。常用的哈希算法有md5、sha1等。取模运算，对一个数取余，结果为除数与余数。哈希取模：指先通过哈希算法生成哈希值，再对哈希值进行取模运算，将任意长度的数据映射到指定范围内的数值。在本申请中，获取网络流量数据，包括网络日志、系统日志、告警信息等。对获取到的网络流量数据应用哈希取模算法。先通过哈希函数生成固定长度的哈希值，再对哈希值取模，计算出模数，即映射到固定范围内的索引值。根据索引值，将流量数据分片存储。即将映射到同一索引值的数据分配到同一分片中。分片存储后的数据作为第一数据集，进行后续处理和分析。采用哈希取模算法可以将变量长度的网络流量数据均匀地映射到固定数量的桶或分片中，从而实现流量的分布式存储和处理，对大规模网络流量数据进行快速分片。
7、其中，分布式文件系统是建立在网络之上的文件系统，它将数据分布存储在多个计算机节点上，每一个计算机节点存储数据的一部分。分布式文件系统具有高度的可扩展性、高容错性等特点。在本申请中，采用分布式文件系统hadoop存储第一数据集。hadoop采用hdfs架构，可以在多台物理机器上存储和管理大量数据，提供高吞吐量的数据访问。将网络流量分片后的数据作为第一数据集，存储在hdfs上。hdfs会自动将数据块备份到多台服务器。分布式存储提高了大规模流量数据的并发访问能力，支持流量特征提取、签名匹配等并行分析。同时，第二数据集以关系数据库mysql的形式存储。mysql提供了高效的数据索引、查询功能。数据库存储second数据集，用于支持签名匹配后的细粒度数据访问，如提取源ip、目的ip等信息。通过分布式文件系统和数据库的联合使用，该方案实现了对大规模网络流量的高效存储、访问和管理。第一数据集使用hdfs提高存储和处理能力，第二数据集使用mysql提供快速查询与匹配的支持。
8、其中，源ip，发送数据包的主机的ip地址，标识数据包发送方。目的ip，接收数据包的主机的ip地址，标识数据包接收方。在本申请中，从存储在分布式文件系统hdfs中的第一数据集中提取流量数据包。对每一个流量数据包，提取其中包含的源ip和目的ip信息。源ip可以标识产生流量的主机或网络来源。目的ip可以标识流量的接收方。将源ip和目的ip作为该流量包的特征，用于表示该流量的来源与去向。在后续流量分析中，源ip和目的ip将被用于标识流量、匹配黑白名单、进行行为分析等，是网络流量分析的重要特征。
9、进一步的，基于黑白名单的签名匹配，包括如下步骤：获取本地存储的ip地址库，ip地址库包含预先标记的正常ip地址集合和恶意ip地址集合；利用双重哈希映射函数对ip地址库进行编码，生成对应的布隆过滤器ip库；从第一数据集中提取目的ip；对提取的目的ip，采用双重哈希映射函数从布隆过滤器ip库中获取对应的第一索引值和第二索引值；在布隆过滤器ip库中查询第一索引值和第二索引值对应的索引位置是否同时被标记，标记表示ip根据双重哈希映射函数获得的索引在布隆过滤器ip库位阵中的对应位置被设置为1；如果第一索引值和第二索引值对应的索引位置都被标记为1，则在ip地址库中查找对应ip的标记属性；如果任一索引对应位置没有被标记，则将对应的网络流量数据标记为待检测流量。
10、其中，正常ip地址集合：指经过安全验证，可信任的ip地址的集合。恶意ip地址集合：指已知或疑似具有恶意行为（如病毒、木马、僵尸网络等）的ip地址的集合。在本申请中，预先建立本地ip地址库，包含正常和恶意两个ip地址集合。正常ip地址集合可以通过白名单积累获得，包括内部系统、合作方等可靠来源ip。恶意ip地址集合可以通过安全厂商的共享黑名单、攻击源分析等方式获取。在进行流量分析时，可以先对源/目的ip与ip地址库进行匹配，判断其分类。如果源/目的ip在白名单中，则标记为正常流量；如果在黑名单中，则标记为可疑恶意流量。ip地址库支持流量的快速过滤与分类，区分正常和潜在恶意流量，用于流量评估与风险控制。
11、其中，双重哈希映射函数：指使用两个不同的哈希函数，对同一个输入分别进行哈希计算，得到两个不同的哈希值。哈希函数：将任意长度的输入数据映射到固定长度的数值输出的函数。映射函数：定义输入数据与输出数据之间的对应关系的函数。在本申请中，对ip地址库中的每一个ip地址，利用两个不同的哈希函数h1和h本文档来自技高网...
【技术保护点】
1.一种大数据计算机网络安全防护方法，包括：
2.根据权利要求1所述的大数据计算机网络安全防护方法，其特征在于：
3.根据权利要求2所述的大数据计算机网络安全防护方法，其特征在于：
4.根据权利要求3所述的大数据计算机网络安全防护方法，其特征在于：
5.根据权利要求3所述的大数据计算机网络安全防护方法，其特征在于：
6.根据权利要求5所述的大数据计算机网络安全防护方法，其特征在于：
7.根据权利要求6所述的大数据计算机网络安全防护方法，其特征在于：
8.根据权利要求7所述的大数据计算机网络安全防护方法，其特征在于：
9.根据权利要求7所述的大数据计算机网络安全防护方法，其特征在于：
10.根据权利要求1至9任一所述的大数据计算机网络安全防护方法，其特征在于：
【技术特征摘要】
1.一种大数据计算机网络安全防护方法，包括：
2.根据权利要求1所述的大数据计算机网络安全防护方法，其特征在于：
3.根据权利要求2所述的大数据计算机网络安全防护方法，其特征在于：
4.根据权利要求3所述的大数据计算机网络安全防护方法，其特征在于：
5.根据权利要求3所述的大数据计算机网络安全防护方法，其特征在于：
6.根据权...
【专利技术属性】
技术研发人员：苏俊，秦慧，陈新，
申请(专利权)人：硕睿南通信息技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。