一种基于大数据机器学习的异常行为发现方法技术

本发明专利技术公开了一种基于大数据机器学习的异常行为发现方法，包括以下步骤：创建工作环境：建立学习单元、知识库单元、执行单元和反馈单元，学习单元分别与知识库单元和执行单连接，执行单元与反馈单元连接，反馈单元与知识库单元连接；数据预处理：通过学习单元统计一个周期内的原始日志数据。本基于大数据机器学习的异常行为发现方法，通过数值型数据库和字符型数据库分类对不同的类型的数据建立知识库，存储异常行为数据和正常行为数据，能够有针对的对数据进分类判定，提高判定的准确性，另外阈值分为数值型正常行为阈值、数值型异常行为阈值、字符型正常行为阈值和字符型异常行为阈值，将阈值范围缩小，减小需要人为判定的异常行为。

【技术实现步骤摘要】
一种基于大数据机器学习的异常行为发现方法
本专利技术涉及数据安全
，特别涉及一种基于大数据机器学习的异常行为发现方法。
技术介绍
传统网络安全、数据安全技术，如各类软、硬件防火墙，普遍采用“栅栏式”防护策略，给网络和应用系统人为添加了很多限制，任何数据访问动作都需要经过所有预设规则的过滤，不仅影响系统的用户体验，也增加系统运行负担。此外，现有安全软件中，生成一条内置规则，一般需要漏洞发现、攻击模拟、报文分析、特征提取和规则生成等多个阶段。随着攻击手段不断更新，这样的规则生成过程也需要不断重复，耗费大量人力成本。更重要的是，传统防护无法应对大数据。基于此，现提供一种基于大数据机器学习的异常行为发现方法，变被动防御为主动审查，放宽用户准入而加强行为监测，由机器代替人工。现有技术存在以下缺点：(1)数据源单一，只针对日志进行分析处理。(2)无法实时判定异常行为及用户。(3)全部依赖于人工统计分析，成本较高且容易出现对行为的错误判定。中国专利CN106778259B公开了一种基于大数据机器学习的异常行为发现方法及系统，该方法包括：对原始安全日志数据进行预处理；从经过预处理的结果中提取特征数据；对所述特征数据进行聚类，确定异常行为库和正常行为库；获取新的安全日中数据中的新行为样本数据，通过与所述正常行为库、异常行为库进行比较，确定其为正常行为或异常行为，用该新行为样本数据更新所述正常行为库或异常行为库；重复前一步骤，当所述正常行为库和异常行为库具有足够的正常行为和异常行为样本数据时，用所述正常行为库和异常行为库中的样本数据训练随机森林模型，利用经过训练得到的所述随机森林模型进行异常行为判定。通过该专利技术的方案，解决了初期含标签样本数量过少的问题,提高了判定准确率，有效防止误判情况的发生。该申请虽然在一定程度上解决了
技术介绍
中的问题，但是该申请中在对所有的异常行为均需要人工判定，在对原始数据向量化处理式时，可以缩小异常数据的范围，从而确定某些常识性异常行为，缩小人工判定范围，且在更新数据库时，只通过一种算法确定数据训练随机森林模型，随着后续新的行为数据的录入，判定模型的准确性可能会出现误差。
技术实现思路
本专利技术的目的在于提供一种基于大数据机器学习的异常行为发现方法，通过数值型数据库和字符型数据库分类对不同的类型的数据建立知识库，存储异常行为数据和正常行为数据，能够有针对的对数据进分类判定，提高判定的准确性，另外阈值分为数值型正常行为阈值、数值型异常行为阈值、字符型正常行为阈值和字符型异常行为阈值，将阈值范围缩小，减小需要人为判定的异常行为，缩小人为工作量，以解决上述
技术介绍
中提出的问题。为实现上述目的，本专利技术提供如下技术方案：一种基于大数据机器学习的异常行为发现方法，包括以下步骤：S1：创建工作环境：建立学习单元、知识库单元、执行单元和反馈单元，学习单元分别与知识库单元和执行单连接，执行单元与反馈单元连接，反馈单元与知识库单元连接；S2：数据预处理：通过学习单元统计一个周期内的原始日志数据，并利用机器学习通过离线方式对原始日志数据进行特征处理，提取原始日志数据的特征数据，并将所述特征数据进行聚类；S3：填充知识库：根据数据中的键值区分数据属于数值型还是字符型，根据数据类型，分别建立数值型知识库和字符型知识库：S4：行为异常判定：学习单元接收新的安全日志中的新行为样本数据，并对新行为样本数据进行特征处理，执行单元比较数值型知识库或者字符型知识库，判定该行为样本数据为正常行为、异常行为或者待处理行为。S5：更新知识库：反馈单元用正常行为知识库和异常行为知识库中的样本数据训练分类模型，利用经过训练得到的分类模型分别部署在实时处理模块和离线处理模块，以对后续的新行为样本数据进行异常行为判定；S6：人工研判：人为通过反馈单元判断待处理行为样本数据是否为符合正常行为，如若是，则存入至正常知识库，如若为否，则进入异常知识库；S7：新行为样本判定：对后续新行为样本数据进行异常行为判定，跳转进入至S4。进一步S4还可以使用以下步骤进行实现：步骤A1，通过以下公式构建新行为样本数据的数据集：X＝(x1,y1),(x2,y2),(x3,y3),…,(xm,yj)其中x1,x2,x3代表不同的新行为样本的数据，y1代表新行为样本的数据为正常行为，y2代表新行为样本的数据为异常行为，y3代表新行为样本的数据为待处理行为，并且，j＝1,2,3，m代表新行为样本的数据的数量；步骤A2，通过以下公式确定新行为样本数据间的距离：其中，d代表距离，x'i,y'i代表新行为样本的数据在维度空间上的坐标值，n代表新行为样本的数据属于几维空间；步骤A3：确定新行为样本的数据的类别：根据计算得到的新行为样本的数据的坐标值离总新行为样本的数据的坐标值之间的d距离，选取离新行为样本的数据最近的k个已知类别的新行为样本的数据，根据已知类别的新行为样本的数据的类别以此衡量新行为样本数据的类别。进一步地，S3包括如下步骤：建立数值型数据库：对属于数值型的数据进行周期性行为计算，通过机器学习算法建模，建立数值正常行为知识库和数值异常行为知识库，并将对应的数值型数据存入相应的知识库；建立字符型数据库：对属于字符型的数据进行分词处理判断字符熵，并通过机器学习算法建模，计算离群点从而区分异常数据，同时建立字符正常行为知识库和字符异常行为知识库，并将对应的字符型数据存入相应的知识库；S4包括如下步骤：正常行为处理办法：将正常行为样本数据存入至正常行为知识库中，丰富正常行为知识库；异常行为处理办法：报告行为异常，将判定为异常行为样本数据存入至异常行为知识库，更新异常行为知识库；待处理行为处理办法：当遇到无法根据样本知识库进行判定正常行为或者异常行为的新行为样本数据，将其转送至反馈单元，跳转进入S6。进一步地，所述学习单元包括接收模块、特征提取模块和聚类模块，数据预处理包括以下过程：S201：接收模块通过通用的接口接入原始日志数据；S202：特征提取模块将对原始日志数据样本进行特征提取、标准化处理和向量化处理；S203：聚类模块对特征向量进行集聚，构成特征向量集合，特征向量集合中每一个特征向量对应一个样本信息，每一个特征向量包含各类特征数据。进一步地，所述S203包括以下过程：S2031：聚类模块预将数据分为K组，则随机选取K个对象作为初始的聚类中心；S2032：计算每个对象与各个种子聚类中心之间的距离，把每个对象分配给距离它最近的聚类中心，聚类中心以及分配给它们的对象就代表一个聚类，每分配一个样本，聚类的聚类中心会根据聚类中现有的对象被重新计算；S2033：将聚类后含实例少于某个阈值或实例明显少于其它类的类标记为异常类，类中的实例标记为异常行为，将聚类后含实例明显集中或实例明显多于异常类的本文档来自技高网...

【技术保护点】
1.一种基于大数据机器学习的异常行为发现方法，其特征在于，包括以下步骤：/nS1：创建工作环境：建立学习单元、知识库单元、执行单元和反馈单元，学习单元分别与知识库单元和执行单元连接，执行单元与反馈单元连接，反馈单元与知识库单元连接；/nS2：数据预处理：通过学习单元统计一个周期内的原始日志数据，并利用机器学习通过离线方式对原始日志数据进行特征处理，提取原始日志数据的特征数据，并将所述特征数据进行聚类；/nS3：填充知识库：根据数据中的键值区分数据属于数值型还是字符型，根据数据类型，分别建立数值型知识库和字符型知识库：/nS4：行为异常判定：学习单元接收新的安全日志中的新行为样本数据，并对新行为样本数据进行特征处理，执行单元比较数值型知识库或者字符型知识库，判定该行为样本数据为正常行为、异常行为或者待处理行为；/nS5：更新知识库：反馈单元用正常行为知识库和异常行为知识库中的样本数据训练分类模型，利用经过训练得到的分类模型分别部署在实时处理模块和离线处理模块，以对后续的新行为样本数据进行异常行为判定；/nS6：人工研判：人为通过反馈单元判断待处理行为样本数据是否为符合正常行为，如若是，则存入至正常知识库，如若为否，则进入异常知识库；/nS7：新行为样本判定：对后续新行为样本数据进行异常行为判定，跳转进入至S4；/n其中，所述S4使用以下步骤进行实现：/n步骤A1，通过以下公式构建新行为样本数据的数据集：/nX＝(x...

【技术特征摘要】
1.一种基于大数据机器学习的异常行为发现方法，其特征在于，包括以下步骤：
S1：创建工作环境：建立学习单元、知识库单元、执行单元和反馈单元，学习单元分别与知识库单元和执行单元连接，执行单元与反馈单元连接，反馈单元与知识库单元连接；
S2：数据预处理：通过学习单元统计一个周期内的原始日志数据，并利用机器学习通过离线方式对原始日志数据进行特征处理，提取原始日志数据的特征数据，并将所述特征数据进行聚类；
S3：填充知识库：根据数据中的键值区分数据属于数值型还是字符型，根据数据类型，分别建立数值型知识库和字符型知识库：
S4：行为异常判定：学习单元接收新的安全日志中的新行为样本数据，并对新行为样本数据进行特征处理，执行单元比较数值型知识库或者字符型知识库，判定该行为样本数据为正常行为、异常行为或者待处理行为；
S5：更新知识库：反馈单元用正常行为知识库和异常行为知识库中的样本数据训练分类模型，利用经过训练得到的分类模型分别部署在实时处理模块和离线处理模块，以对后续的新行为样本数据进行异常行为判定；
S6：人工研判：人为通过反馈单元判断待处理行为样本数据是否为符合正常行为，如若是，则存入至正常知识库，如若为否，则进入异常知识库；
S7：新行为样本判定：对后续新行为样本数据进行异常行为判定，跳转进入至S4；
其中，所述S4使用以下步骤进行实现：
步骤A1，通过以下公式构建新行为样本数据的数据集：
X＝(x1,y1),(x2,y2),(x3,y3),…,(xm,yj)
其中x1,x2,x3代表不同的新行为样本的数据，m代表新行为样本的数据的数量，y1代表新行为样本的数据为正常行为，y2代表新行为样本的数据为异常行为，y3代表新行为样本的数据为待处理行为，并且，j＝1,2,3；
步骤A2，通过以下公式确定新行为样本数据间的距离：



其中，d代表距离，x'i,y'i代表新行为样本的数据在维度空间上的坐标值，n代表新行为样本的数据属于几维空间；
步骤A3：确定新行为样本的数据的类别：
根据计算得到的新行为样本的数据的坐标值离总新行为样本的数据的坐标值之间的d距离，选取离新行为样本的数据最近的k个已知类别的新行为样本的数据，根据已知类别的新行为样本的数据的类别来衡量新行为样本数据的类别。


2.如权利要求1所述的一种基于大数据机器学习的异常行为发现方法，其特征在于：S3包括如下步骤：
建立数值型数据库：对属于数值型的数据进行周期性行为计算，通过机器学习算法建模，建立数值正常行为知识库和数值异常行为知识库，并将对应的数值型数据存入相应的知识库；
建立字符型数据库：对属于字符型的数据进行分词处理判断字符熵，并通过机器学习算法建模，计算离群点从而区分异常数据，同时建立字符正常行为知识库和字符异常行为知识库，并将对应的字符型数据存入相应的知识库。


3.如权利要求1所述的一种基于大数据机器学习的异常行为发现方法，其特征在于：所述学习单元包括接收模块、特征提取模块和聚类模块，数据预处理包括以下过程：
S201：接收模块通过通用的接口接入原始日志数据；
S202：利用特征提取模块对原始日志数据样本进行特征提取、标准化处理和向量化处理；
S203：聚类模块对特征向量进行集聚，构成特征向量...

【专利技术属性】
技术研发人员：张春林，李利军，李春青，常江波，
申请(专利权)人：北京东方通科技股份有限公司，
类型：发明
国别省市：北京;11