基于大数据的异常网络行为挖掘系统技术方案

本发明专利技术公开了基于大数据的异常网络行为挖掘系统，包括基础服务层、计算与存储层和应用层，基础服务层依托于Hadoop集群生态环境，为上层服务提供数据计算、数据存储、任务管理能力；计算与存储层作为异常网络行为挖掘系统的核心，支撑来自于应用层提交的算子模型编译及计算任务，并将计算结果存储到相应的数据库内；应用层通过WEB系统支持分析人员以图形化页面的形式编写算子模型，完成编译后提交任务到大数据集群进行计算，并且通过数据概览分析任务结果。本发明专利技术通过本系统可以实现从任务执行流程编写，任务流程监控，任务结果预览一站式流程，简化大数据挖掘任务的提交难度，提供用户权限分层，更好的管理用户任务以及用户任务数据。务数据。务数据。

【技术实现步骤摘要】
基于大数据的异常网络行为挖掘系统


[0001]本专利技术属于网络
，更具体地说，尤其涉及基于大数据的异常网络行为挖掘系统。

技术介绍

[0002]目前，网络攻击手法越来越多样化，挖掘模型也不断复杂化。分析人员迫切需要针对不同的攻击自主设计攻击挖掘模型，从大量多源异构的数据中发现可疑线索，目前，采用多种关系型数据库存储从多渠道接入的多源异构数据，全手工编写算子、编译、调度；采用传统office等工具进行数据统计、汇总及展示；
[0003]但是，传统关系数据库存储数据量大小及其有限，无法存储海量数据，而对数据结构要求却很高，由于分析数据来自不同渠道，大部分都是异构数据，数据结构更是多种多样，导致很多异构的数据无法同存到一个表中，无法满足多种需求下各维度的分析运算；全手工编写算子、编译、调度导致工作效率低下，处理能力受到限制；现有技术已经无法满足业务需求，因此，我们提出一种基于大数据的异常网络行为挖掘系统。

技术实现思路

[0004]本专利技术的目的是为了解决现有技术中存在的缺点，而提出的基于大数据的异常网络行为挖掘系统，通过本系统可以实现从任务执行流程编写，任务流程监控，任务结果预览一站式流程，简化大数据挖掘任务的提交难度，提供用户权限分层，更好的管理用户任务以及用户任务数据。
[0005]为实现上述目的，本专利技术提供如下技术方案：
[0006]基于大数据的异常网络行为挖掘系统，包括基础服务层、计算与存储层和应用层，所述基础服务层依托于Hadoop集群生态环境，为上层服务提供数据计算、数据存储、任务管理能力；
[0007]所述计算与存储层作为异常网络行为挖掘系统的核心，支撑来自于应用层提交的算子模型编译及计算任务，并将计算结果存储到相应的数据库内；
[0008]所述应用层通过WEB系统支持分析人员以图形化页面的形式编写算子模型，完成编译后提交任务到大数据集群进行计算，并且通过数据概览分析任务结果，支撑后续的业务决策。
[0009]优选的，所述应用层中，分析人员编写算子模型的具体方法为：
[0010]1)分析人员根据具体的业务需求，在异常网络行为挖掘平台端创建算子配置，基于业务需求进行算子模型代码的编写，完成后将代码提交至系统Server端，Server端将完整模型代码发布至Hadoop集群进行编译操作，并等待编译结果返回至WEB端；
[0011]2)算子模型编译成功后，在异常网络行为挖掘平台创建计算任务，并配置编译成功的算子、任务属性后提交至系统Server端，Server端的计算引擎经过任务分解、数据连接等预处理操作后，将任务提交至Hadoop集群等待任务队列执行，并定时检测任务状态返回
至WEB端；
[0012]3)任务执行完成后，可以通过数据预览查看和分析任务执行结果，并据此来指导业务后续决策。
[0013]优选的，所述计算与存储层采用Spark作为算子任务的计算基础，Spark是一款开源通用的大规模数据处理引擎，通过该框架可以快速的将算子任务提交至分布式集群进行计算和处理。
[0014]优选的，所述算子模型：在数学上可以解释为一个函数空间到函数空间上的映射O：X
‑
>X，其实就是一个处理单元，往往指一个函数，在使用算子时往往会有输入和输出，算子则完成相应数据的转化，在该项目中主要是通过挖掘平台编译和提交算子任务，最终该任务会提交至大数据平台来完成计算和存储。
[0015]优选的，所述算子任务是负责将某一个编译成功的算子提交至集群某节点，完成后续的计算和输出操作。
[0016]优选的，所述算子模型中设置有用于对算子进行业务逻辑的划分的算子类型，便于分析人员将不同的算子进行分类和归并。
[0017]优选的，本系统用户首先通过管理员用户登录，通过用户模块新增角色以及用户，可以由此以该用户名登录系统；
[0018]登录成功以后，通过首页以dashboard的形式展示，系统相关技术指标，以及目标集群的健康状态，以此来观察系统整体的运行概览数据。
[0019]优选的，本系统算子管理具体为：点击新建算子，用户可以按照算子约束要求新增算子代码，可以进行编译检查、保存、删除、更新自己的算子；
[0020]任务管理具体为：点击创建任务，根据系统提示勾选已通过编译的算子，支持配置Crontab进行定时执行的配置，发布任务后任务开始执行，任务结果入库，可以进行任务保存、更新、删除、以及任务发布执行；支持任务实时状态的查看，并且点击相关任务可以查看任务执行结果数据。
[0021]本专利技术的技术效果和优点：本专利技术提供的基于大数据的异常网络行为挖掘系统，与传统的异常网络行为挖掘系统相比，本专利技术依托成熟开源的大数据相关技术，支撑海量威胁元数据的存储与检索；采用稳定的通用基础算子，平台在线提交、编译算子任务提交至大数据集群，用户可以在web上简单操作即可调用算子；并可通过可视化操作对分析平台中数据、算子、任务等进行统一管理及展示，以及可视化的各种自主专业分析模型的构建和测试、多维度展示统计分析汇总效果数据。
附图说明
[0022]图1为本专利技术基于大数据的异常网络行为挖掘系统架构图；
[0023]图2为本专利技术的算子任务提交分布式集群进行计算流程图。
具体实施方式
[0024]为了使本专利技术的目的、技术方案及优点更加清楚明白，以下结合具体实施例，对本专利技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本专利技术，并不用于限定本专利技术。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前
提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0025]本专利技术提供了如图1
‑
2的基于大数据的异常网络行为挖掘系统，包括基础服务层、计算与存储层和应用层，其特征在于：所述基础服务层依托于Hadoop集群生态环境，为上层服务提供数据计算、数据存储、任务管理能力；
[0026]所述计算与存储层作为异常网络行为挖掘系统的核心，支撑来自于应用层提交的算子模型编译及计算任务，并将计算结果存储到相应的数据库内；
[0027]所述应用层通过WEB系统支持分析人员以图形化页面的形式编写算子模型，完成编译后提交任务到大数据集群进行计算，并且通过数据概览分析任务结果，支撑后续的业务决策；
[0028]所述算子模型：在数学上可以解释为一个函数空间到函数空间上的映射O：X
‑
>X，其实就是一个处理单元，往往指一个函数，在使用算子时往往会有输入和输出，算子则完成相应数据的转化，在该项目中主要是通过挖掘平台编译和提交算子任务，最终该任务会提交至大数据平台来完成计算和存储，所述算子任务是负责将某一个编译成功的算子提交至集群某节点，完成后续的计算和输出操作，所述算子模型中设置有用于对算子进行业务逻辑的划分的算子类型，便于分析人员将不同的算子进行分类和归并；
[0029]依托成熟本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于大数据的异常网络行为挖掘系统，包括基础服务层、计算与存储层和应用层，其特征在于：所述基础服务层依托于Hadoop集群生态环境，为上层服务提供数据计算、数据存储、任务管理能力；所述计算与存储层作为异常网络行为挖掘系统的核心，支撑来自于应用层提交的算子模型编译及计算任务，并将计算结果存储到相应的数据库内；所述应用层通过WEB系统支持分析人员以图形化页面的形式编写算子模型，完成编译后提交任务到大数据集群进行计算，并且通过数据概览分析任务结果，支撑后续的业务决策。2.根据权利要求1所述的基于大数据的异常网络行为挖掘系统，其特征在于：所述应用层中，分析人员编写算子模型的具体方法为：1)分析人员根据具体的业务需求，在异常网络行为挖掘平台端创建算子配置，基于业务需求进行算子模型代码的编写，完成后将代码提交至系统Server端，Server端将完整模型代码发布至Hadoop集群进行编译操作，并等待编译结果返回至WEB端；2)算子模型编译成功后，在异常网络行为挖掘平台创建计算任务，并配置编译成功的算子、任务属性后提交至系统Server端，Server端的计算引擎经过任务分解、数据连接等预处理操作后，将任务提交至Hadoop集群等待任务队列执行，并定时检测任务状态返回至WEB端；3)任务执行完成后，可以通过数据预览查看和分析任务执行结果，并据此来指导业务后续决策。3.根据权利要求1所述的基于大数据的异常网络行为挖掘系统，其特征在于：所述计算与存储层采用Spark作为算子任务的计算基础，Spark是一款开源通用的大规模数据处理引擎，通过该框架可以快速的将算子任务提交至分布式集群进行计算和处理。4.根据权利要求1所述的基于大数据...

【专利技术属性】
技术研发人员：宋超，
申请(专利权)人：神州网云北京信息技术有限公司，
类型：发明
国别省市：