一种网络异常流量检测模型构建方法及装置制造方法及图纸

本申请公开提供了一种网络异常流量检测模型构建方法及装置，其中，该方法包括：由驱动节点根据杂交水稻优化算法产生随机初始种群，按照第一弹性分布式数据集为每个执行节点分配训练数据集；每个执行节点通过扁平化算子产生第二弹性分布式数据集，计算第二弹性分布式数据集中每条数据记录的中间结果值，使用分组聚合算子、利用中间结果值对第二弹性分布式数据集进行分组聚合计算，得到杂交水稻个体适度值；由驱动节点根据杂交水稻个体适度值重新划分种群种系，得到初始全局模型最优值，若满足预设终止条件，则将初始全局模型最优值输出，在解决欠拟合、数据不平衡问题的同时，更好的解决了现有技术中网络异常流量检测效率低的问题。问题。问题。

【技术实现步骤摘要】
一种网络异常流量检测模型构建方法及装置


[0001]本专利技术涉及网络异常流量检测
，具体涉及一种网络异常流量检测模型构建方法及装置。

技术介绍

[0002]随着信息技术的发展与普及，网络安全问题越来越受到专业技术人员的重视，其中网络异常流量检测就是该领域的一个重要分支。对于不同类型特征的网络流量或者攻击手段，将其准确分类能够预防和保护信息系统。分类算法一直是机器学习领域中的研究热点，逻辑回归算法是一种经典传统分类方法。由于逻辑回归算法的可解释性强，将多分类逻辑回归算法应用于网络异常流量检测是符合实际需求的，对于检测结果可提供一定的解释。但是在实际使用过程中依然存在如下问题：一方面，由于逻辑回归算法的寻优方式较为传统，在寻优可行解的过程中很容易陷入局部最优，容易欠拟合；另一方面，异常流量检测的数据集一般较大，单机方式需要运行相当长的时间，这一点不符合工业生产效率要求，最后，网络异常流量的数据特点就是绝大部分都为正常流量，不正常流量类型占极少数，存在数据不平衡的问题。

技术实现思路

[0003]因此，本专利技术要解决的技术问题在于克服现有技术中传统的逻辑回归算法容易欠拟合、数据量大以及数据不平衡的缺陷，从而提供一种网络异常流量检测模型构建方法及装置。
[0004]为解决上述技术问题，本专利技术公开实施例至少提供一种网络异常流量检测模型构建方法及装置。
[0005]第一方面，本专利技术公开实施例提供了一种网络异常流量检测模型构建方法，包括：由模型最优解获取模块确定目标全局模型最优值；根据所述目标全局模型最优值确定所述网络异常流量检测模型；其中，所述模型最优解获取模块包括一个驱动节点和至少两个执行节点，所述由模型最优解获取模块确定目标全局模型最优值包括：由所述驱动节点根据杂交水稻优化算法产生随机初始种群，对每个初始种群个体进行编号并设定为广播变量，根据训练数据集产生第一弹性分布式数据集，并按照所述第一弹性分布式数据集为每个所述执行节点分配训练数据集；每个所述执行节点通过扁平化算子产生第二弹性分布式数据集，所述第二弹性分布式数据集以所述初始种群的编号为键、以被分配的训练数据集中每条数据记录为值，计算所述第二弹性分布式数据集中每条数据记录的中间结果值，使用分组聚合算子、利用所述中间结果值对所述第二弹性分布式数据集进行分组聚合计算，得到杂交水稻个体适度值；由所述驱动节根据所述杂交水稻个体适度值重新划分种群种系，并得到初始全局
模型最优值，判断当前是否满足预设终止条件；若未满足，则更新所述初始种群，直至得到初始全局模型最优值时满足所述预设终止条件，若满足，则将所述初始全局模型最优值作为所述目标全局模型最优值。
[0006]可选地，所述根据训练数据集产生第一弹性分布式数据集包括：获取所述训练数据集；从所述训练数据集中分别获取异常流量数据和正常流量数据，并记录每条所述异常流量数据和每条所述正常流量数据的行号；循环填充所述异常流量数据，使所述异常流量数据的数量和所述正常流量数据的数量相同；将每条所述正常流量数据和一条所述异常流量数据进行拼接，形成组合数据；基于所述组合数据产生第一分布式弹性数据集。
[0007]可选地，所述根据所述适应度值确定水稻个体种系，并得到初始全局模型最优值为：基于水稻个体种系，依据公式得到初始全局模型最优值。
[0008]可选地，所述由所述驱动节根据所述杂交水稻个体适度值重新划分种群种系，并得到初始全局模型最优值为：基于水稻个体种系，依据公式得到初始全局模型最优值，其中，m为输入数据的数量，k为类别的数量，为目标损失函数，为第i个类别对应的权重向量，为第i个类别对应的偏移标量，x为训练数据集中的数据记录，i为类别编号，为第j个数据记录由计算所得的类型，为第j个数据记录的真实数据类型，j为输入数据的序号，为第j个数据记录。
[0009]可选地，所述根据所述目标全局模型最优值确定所述网络异常流量检测模型为：将所述目标全局模型最优值代入公式得到所述网络异常流量检测模型，其中，为第i个类别对应的权重向量，为第i个类别对应的偏移标量，x为训练数据集中的数据记录，y为数据记录的类别，i为类别编号，为数据记录x属于j类别的计算概率。
[0010]可选地，所述计算所述第二弹性分布式数据集中每条数据记录的中间结果值为：由执行节点采用公式计算所述第二弹性分布式数据集中每条数据记录的中间结果值，其中k为类别的数量，为第i个类别对应的权重向量，为第i个类别对应的偏移标量，x为训练数据集中的数据记录，i为类别编号，为第j个数据记录由计算所得的类型，为第j个数据记录的真实数据类型，j为输入数据的序号，为第j个数据记录，对应一组w和b的中间结果值。
[0011]可选地，所述由所述驱动节根据所述杂交水稻个体适度值重新划分种群种系包
括：根据所述杂交水稻个体适度值将水稻分为保持系、不育系和恢复系；将所述保持系与所述不育系进行杂交产生新不育系个体；将所述恢复系自交产生新恢复系个体；对达到自交次数上限的恢复系个体在解空间内随机生成一基因组，将所述基因组加到参与重置的目标种群个体基因上，同时将所述目标种群个体的自交次数设置为0。
[0012]可选地，所述将所述保持系与所述不育系进行杂交产生新不育系个体包括：将所述保持系与所述不育系进行随机杂交，产生的新不育系个体的基因的每一维都由所述不育系和所述保持系中的随机个体以随机比例杂交得到；或者，将所述保持系与所述不育系进行对映杂交，产生的新不育系个体的基因的每一维都由不育系个体与相同编号的保持系个体以随机比例杂交得到。
[0013]第二方面，本专利技术公开实施例还提供一种网络异常流量检测模型构建装置，包括：模型最优解获取模块和模型确定模块，所述模型最优解获取模块包括一个驱动节点和至少两个执行节点；所述模型最优解获取模块，用于确定目标全局模型最优值；所述模型确定模块，用于根据所述目标全局模型最优值确定所述网络异常流量检测模型；其中，所述驱动节点，根据杂交水稻优化算法产生随机初始种群，对每个初始种群个体进行编号并设定为广播变量，根据训练数据集产生第一弹性分布式数据集，并按照所述第一弹性分布式数据集为每个所述执行节点分配训练数据集，接收每个所述执行节点发送的杂交水稻个体适度值，根据所述执行节点产生的杂交水稻个体适度值重新划分种群种系，并得到初始全局模型最优值，判断当前是否满足预设终止条件；若未满足，则更新所述初始种群，直至得到初始全局模型最优值时满足所述预设终止条件，若满足，则将所述初始全局模型最优值作为所述目标全局模型最优值；所述执行节点，通过扁平化算子产生第二弹性分布式数据集，所述第二弹性分布式数据集以所述初始种群的编号为键、以被分配的训练数据集中每条数据记录为值，计算所述第二弹性分布式数据集中每条数据记录的中间结果值，使用分组聚合算子、利用所述中间结果值对所述第二弹性分布式数据集进行分组聚合计算，得到杂交水稻个体适度值，向所述驱动节点发送所述杂交水稻个体适度值。
[0014]第三方面，本专利技术公开实施例还提供一种计算机设备，包括：处理器、本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种网络异常流量检测模型构建方法，其特征在于，所述方法包括：由模型最优解获取模块确定目标全局模型最优值；根据所述目标全局模型最优值确定所述网络异常流量检测模型；其中，所述模型最优解获取模块包括一个驱动节点和至少两个执行节点，所述由模型最优解获取模块确定目标全局模型最优值包括：由所述驱动节点根据杂交水稻优化算法产生随机初始种群，对每个初始种群个体进行编号并设定为广播变量，根据训练数据集产生第一弹性分布式数据集，并按照所述第一弹性分布式数据集为每个所述执行节点分配训练数据集；每个所述执行节点通过扁平化算子产生第二弹性分布式数据集，所述第二弹性分布式数据集以所述初始种群的编号为键、以被分配的训练数据集中每条数据记录为值，计算所述第二弹性分布式数据集中每条数据记录的中间结果值，使用分组聚合算子、利用所述中间结果值对所述第二弹性分布式数据集进行分组聚合计算，得到杂交水稻个体适度值；由所述驱动节根据所述杂交水稻个体适度值重新划分种群种系，并得到初始全局模型最优值，判断当前是否满足预设终止条件；若未满足，则更新所述初始种群，直至得到初始全局模型最优值时满足所述预设终止条件，若满足，则将所述初始全局模型最优值作为所述目标全局模型最优值。2.根据权利要求1所述的网络异常流量检测模型构建方法，其特征在于，所述根据训练数据集产生第一弹性分布式数据集包括：获取所述训练数据集；从所述训练数据集中分别获取异常流量数据和正常流量数据，并记录每条所述异常流量数据和每条所述正常流量数据的行号；循环填充所述异常流量数据，使所述异常流量数据的数量和所述正常流量数据的数量相同；将每条所述正常流量数据和一条所述异常流量数据进行拼接，形成组合数据；基于所述组合数据产生第一分布式弹性数据集。3.根据权利要求1所述的网络异常流量检测模型构建方法，其特征在于，所述由所述驱动节根据所述杂交水稻个体适度值重新划分种群种系，并得到初始全局模型最优值为：基于水稻个体种系，依据公式得到初始全局模型最优值，其中，m为输入数据的数量，k为类别的数量，为目标损失函数，为第i个类别对应的权重向量，为第i个类别对应的偏移标量，x为训练数据集中的数据记录，i为类别编号，为第j个数据记录由计算所得的类型，为第j个数据记录的真实数据类型，j为输入数据的序号，为第j个数据记录。4.根据权利要求1所述的网络异常流量检测模型构建方法，其特征在于，所述根据所述目标全局模型最优值确定所述网络异常流量检测模型为：将所述目标全局模型最优值代入公式得到所述网络异常流量检测模型，其中，为第i个类别对应
的权重向量，为第i个类别对应的偏移标量，x为训练数据集中的数据记录，y为数据记录的类别，i为类别编号，为数据记录x属于j类别的计算概率。5.根据权利要求1所述的网络异常流量检测模型构建方法，其特征在于，所述计算所述第二弹性分布式数据集中每条数据记录的中间结果值为：由执行节点采用公式计算所述第二弹性分布式数据集中每条数据记录的中间结果值，其中k为类别的数量，为第i个类别对应的权重向量，为第i个类别对应的偏移标...

【专利技术属性】
技术研发人员：覃克春，金灿，
申请(专利权)人：深圳市华曦达科技股份有限公司，
类型：发明
国别省市：