网络异常行为数据分析算法制造技术

本发明专利技术提供了网络异常行为数据分析算法，所述分析算法包括以下步骤：S1：将SparkModel模型和大数据处理平台Spark结合进行深度学习的并行计算

【技术实现步骤摘要】
网络异常行为数据分析算法


[0001]本专利技术涉及数据分析
，尤其涉及网络异常行为数据分析算法。

技术介绍

[0002]随着现代社会互联网技术的高速发展，网络之间的互联与数据交互使得人与信息之间的关系更加密切，网络安全的保障显得尤为重要，随着网络攻击技术发展越来越快，人们收集数据的方式与渠道也越来越多，因此导致从各种来源产生和收集网络异常数据惊人的增长且复杂性也显著增加。
[0003]现有技术存在以下不足：现有数据分析算法无法从分布式文件系统HDFS中获取数据进行训练，从而导致进行异常数据检测时仅能集中检测网络中的异常数据，计算效率低。

技术实现思路

[0004]本专利技术针对现有技术的不足，提供了网络异常行为数据分析算法。
[0005]本专利技术通过以下技术手段实现解决上述技术问题的：网络异常行为数据分析算法，所述分析算法包括以下步骤：
[0006]S1：模型训练
[0007]将SparkModel模型和大数据处理平台Spark结合进行深度学习的并行计算；
[0008]S2：分布式训练
[0009]SparkModel模型经过各个worker并行训练得到；
[0010]S3：分布式检测
[0011]SparkModel模型对离线数据进行检测，将异常数据筛选出。
[0012]在一个优选的实施方式中，步骤S2中，模型训练还包括以下步骤：
[0013]S2.1：用户定义网络添加层，指定损失函数和优化器，初始化模型架构以及模型参数并创建算法模型；
[0014]S2.2：将算法模型以及worker数量，配置参数信息封装成SparkModel模型；
[0015]S2.3：利用Spark的广播机制，将SparkModel模型中的算法模型分发到各个worker上，模型的结构与模型的参数序列化广播到worker上；
[0016]S2.4：利用算法模型和数据进行训练，得到新的参数。
[0017]在一个优选的实施方式中，所述算法模型为Keras模型，步骤S2.4中：在worker上包括同步更新参数；
[0018]S2.4.1：在每个worker训练一遍之后将得到的梯度汇总，求平均值更新参数；
[0019]S2.4.2：将参数广播到worker上面，接着下一轮的计算，在总的迭代次数结束之后，master保存模型。
[0020]在一个优选的实施方式中，步骤S2.4中：在worker上还包括异步更新参数；
[0021]S2.4.3：在一个worker计算好梯度之后便直接利用urllib2库将梯度传递给master；
[0022]S2.4.4：master调用update_parameters()函数更新参数，并将参数回传给worker，在迭代次数完成之后，master保存模型。
[0023]在一个优选的实施方式中，步骤S3中，SparkModel模型对离线数据进行检测，将异常数据筛选出还包括以下步骤：
[0024]S3.1：根据模型存储的路径，通过load_model()函数将模型加载完毕，再根据保存的配置信息，构建SparkModel模型；
[0025]S3.2：将SparkModel里的model参数和结构序列化，利用Spark的广播机制，将模型与配置信息广播到各个worker上；
[0026]S3.3：Spark从分布式文件系统HDFS上读取数据到各个worker，然后每个worker利用model.predict_classes()对分发到的数据进行计算；
[0027]S3.4：Spark通过saveAsTextFile()将结果保存到HDFS，或通过websocket将结果传递到前端展示。
[0028]在一个优选的实施方式中，所述SparkModel模型训练前，通过平均调度延迟的回归方程来计算初始的时间间隔，计算公式为：
[0029][0030]式中，BI为时间间隔的初值，w1,w2,w3,w分别为批次时间间隔，worker数目，输入速率的参数值和常量，SD,WN,IR代表调度延迟。
[0031]本专利技术的有益效果：
[0032]1、本专利技术通过Spark计算节点可以直接从分布式文件系统HDFS中获取数据来进行分布式的训练，在利用模型进行异常数据检测的时候能够实现分布式检测，提高计算效率。
[0033]2、本专利技术通过计算出时间间隔的初值，使得时间间隔初值能够接近理想的时间间隔，从而将系统可以快速调整到理想状态，进一步提高SparkModel模型训练效率。
附图说明
[0034]图1为本专利技术分析算法的工作流程图；
[0035]图2为本专利技术SparkModel模型的建立流程图；
[0036]图3为本专利技术SparkModel模型的分布式检测流程图。
具体实施方式
[0037]为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0038]需要说明的是，当元件被称为“固定于”另一个元件，它可以直接在另一个元件上或者也可以存在居中的元件。当一个元件被认为是“连接”另一个元件，它可以是直接连接到另一个元件或者可能同时存在居中元件。
[0039]实施例1
[0040]请参阅图1所示，本实施例所述网络异常行为数据分析算法，所述分析算法包括以
下步骤：
[0041]将SparkModel模型和大数据处理平台Spark结合进行深度学习的并行计算，对SparkModel模型做分布式训练和分布式检测，SparkModel模型经过各个worker并行训练得到，SparkModel模型对离线数据进行检测，将异常数据筛选出。
[0042]请参阅图2所示，用户定义网络添加层，指定损失函数和优化器，初始化模型架构以及模型参数，创建算法模型，将算法模型以及worker数量，配置参数信息封装成SparkModel模型，利用Spark的广播机制，将SparkModel模型中的算法模型分发到各个worker上，模型的结构与模型的参数序列化广播到worker上，利用算法模型和数据进行训练，得到新的参数。
[0043]算法模型为Keras模型，由于Keras的特质，用户可以先定义网络，即添加各种各样的层，然后指定好损失函数和优化器，就完成了整个模型的架构以及模型参数的初始化。
[0044]将Keras创建好的模型，以及指定的worker数量，配置参数等等信息封装成一个SparkModel，这个SparkModel会在Spark上进行模型参数的计算。
[0045]利用Spark的广播机制，首先将SparkMo本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.网络异常行为数据分析算法，其特征在于：所述分析算法包括以下步骤：S1：模型训练将SparkModel模型和大数据处理平台Spark结合进行深度学习的并行计算；S2：分布式训练SparkModel模型经过各个worker并行训练得到；S3：分布式检测SparkModel模型对离线数据进行检测，将异常数据筛选出。2.根据权利要求1所述的网络异常行为数据分析算法，其特征在于：步骤S2中，模型训练还包括以下步骤：S2.1：用户定义网络添加层，指定损失函数和优化器，初始化模型架构以及模型参数并创建算法模型；S2.2：将算法模型以及worker数量，配置参数信息封装成SparkModel模型；S2.3：利用Spark的广播机制，将SparkModel模型中的算法模型分发到各个worker上，模型的结构与模型的参数序列化广播到worker上；S2.4：利用算法模型和数据进行训练，得到新的参数。3.根据权利要求2所述的网络异常行为数据分析算法，其特征在于：所述算法模型为Keras模型，步骤S2.4中：在worker上包括同步更新参数；S2.4.1：在每个worker训练一遍之后将得到的梯度汇总，求平均值更新参数；S2.4.2：将参数广播到worker上面，接着下一轮的计算，在总的迭代次数结束之后，master保存模型。4.根据权利要求2所述的网络异常行为数据分析算法，其特征在于：步骤S2.4中：在worker上还包括异步更新参数；S2.4.3：在一个worker计算好梯...

【专利技术属性】
技术研发人员：黄宝春，关振宁，刘斌，
申请(专利权)人：南京奥康通讯技术有限责任公司，
类型：发明
国别省市：