网络资产异常检测方法、系统、介质和设备技术方案

本发明专利技术公开了一种网络资产异常检测方法、系统、介质和设备，所述方法包括：异构数据采集与存储；数据特征处理，整合多来源的原始数据，利用“改进型雷尼熵算法”将一组概率分布类型的字段衍生转换成一个新的数据特征字段，利用“基于分位数的高鲁棒性标准化算法”对数据进行标准化处理，生成建模所需要的数据集；建模与检测，建模单元获取网络资产数据集，采用“基于原型的自动最优聚类算法”，按照“资产类型”分组建立最优聚类模型；检测结果分析，使用建模与检测步骤得到的“最优聚类模型”结合异常检测结果分析策略。本发明专利技术提高专网资产异常检测的效率、准确率，并且能适用于多种异常威胁场景的通用检测方法。

Network assets anomaly detection methods, systems, media and equipment

【技术实现步骤摘要】
网络资产异常检测方法、系统、介质和设备
本专利技术涉及网络安全的
，尤其是一种网络资产异常检测方法、系统、介质和设备。
技术介绍
随着互联网、信息技术的飞速发展，网络与各行业领域深度融合，可靠、安全的网络环境是社会正常运转的重要保障。特别在政务、公共安全、公用事业等领域的专用网络环境，网络安全更关乎国家安全和社会稳定。网络规模日益增大，异常威胁的手段日新月异，网络异常检测和检测结果分析的难度大幅增加。现有网络异常检测技术存在明显不足：基于特征规则的检测方法无法应对未出现过的新型攻击；部分基于机器学习和基于基线的方法非常依赖正常的历史样本数据；部分基于机器学习的方法难以分析异常产生的原因，难以排查和解除威胁。现有技术中的网络资产检测方法主要有下述几种：1.基于特征规则的异常检测是一类传统的方法，该类方法需要网络安全专家分析大量已知的入侵、异常行为，根据业务知识和经验建立规则特征库，符合异常特征规则的行为判定为异常。该类方法主要缺点是：异常检测存在很严重的滞后性，容易漏报新型攻击，很依赖网络安全技术专家的经验且维护成本高；2.一种基于行为基线的异常检测方法；基线方法的原理是使用一段安全状态下的历史行为建立基准线，检测到当前行为特征偏离历史行为基线时，检测为异常。该类方法的缺点是：对历史行为样本数据要求过高，建立准确的基线需要使用一段较长时间的、正常的、稳定的历史数据，如果历史数据不理想，则建立的基准线是不稳固、不准确的，导致检测结果不理想；3.一种网络异常行为检测与分析的方法；该方法统计安全用户的访问行为特征数据，构建一类支持向量机模型，再对全网用户进行预测分析，识别异常访问行为。该方法最大的不足有两点：一、一类支持向量机是典型的“黑箱”算法，对检测出的结果很难做出合理的解释，需要网络安全专家才能对检测结果加以解读，不方便排查原因和解除网络异常，因此在实际生产环境中效率低；二、该方法使用已发现的安全用户的行为建立决策边界，当网络环境中出现新的业务场景或商业趋势，这些新的正常行为都将被误判成网络异常行为，因此该方法误判率高。
技术实现思路
本专利技术提供了一种网络资产异常检测方法、系统、介质和设备，可以解决专网资产异常检测的效率、准确率低的问题。本专利技术提供的一种网络资产异常检测方法，可以通过下述方案实现：网络资产异常检测方法，所述方法包括：异构数据采集与存储，从不同来源采集网络资产的流量数据、探测数据和其他外部数据，并存储至数据库；数据特征处理，整合多来源的原始数据，利用“改进型雷尼熵算法”将一组概率分布类型的字段衍生转换成一个新的数据特征字段，利用“基于分位数的高鲁棒性标准化算法”对数据进行标准化处理，生成建模所需要的数据集；建模与检测，建模单元获取网络资产数据集，采用“基于原型的自动最优聚类算法”，按照“资产类型”分组建立最优聚类模型，检测单元对建模单元输出的聚类结果进行处理，检测出有异常网络行为的资产；检测结果分析，使用建模与检测步骤得到的“最优聚类模型”结合异常检测结果分析策略，对检测到的异常进行自动分析，智能输出网络资产异常度、资产异常因子、影响因子的影响度、告警和建议。作为优选的技术方案，所述数据特征处理的步骤中，所述“改进型雷尼熵算法”具体为：输入含有网络资产类型的某类概率分布型特征数据集D，D共2+n列；其中第1列为网络资产唯一编号，第2列是资产类型，之后的n列是概率分布型的特征，对于每行的后n列之和为1；按不同的资产类型，将数据集D划分成若干个数据子集；分别计算本子集Xn列特征的均值，得到均值向量μ：μ＝{μ1,μ2,...,μn}计算第i个资产的改进型雷尼熵L(i)：遍历计算第i个资产的改进型雷尼熵的步骤，计算本子集的所有资产的改进型雷尼熵L；遍历完成，得到全集D所有资产的改进型雷尼熵。作为优选的技术方案，所述数据特征处理的步骤中，所述“基于分位数的高鲁棒性标准化算法”公式如下：其中x’0表示标准化后的x0，Qa和Qb分别表示向量X的第a和第b百分位数，0<a<b<100；N表示向量X中xi∈[Qa,Qb]总个数，Qa≤xi≤Qb；原始数据经过数据特征处理模块的预处理之后，最终生成的建模数据集。作为优选的技术方案，所述建模与检测的步骤具体为：所述建模单元的处理方法具体为：输入网络资产数据集；其中包含资产“IP地址”、“资产类型”，及其他网络行为特征字段；按照“资产类型”字段划分数据集为多个子集；采用“基于原型的自动最优聚类算法”，对划分的数据集分别建模；输出“资产类型”分组的多个原型聚类结果；所述检测单元的处理方法具体为：输入建模单元输出的聚类结果；采用“基于距离的异常检测算法”，判断样本是否异常；输出有异常网络行为的资产列表。作为优选的技术方案，所述“基于原型的自动最优聚类算法”具体为：选择任意一种基于原型的聚类算法，设定最佳聚类簇数的搜索范围，算法自动迭代在簇数范围内建立多个模型，分别计算反映聚类簇紧凑程度的“簇内平方误差”；设计综合损失函数，综合损失与“簇内平方误差”成正比，与自然常数e的“簇数除以二”次幂成正比，搜索综合损失向量的最小值，最小值对应的簇数作为最佳聚类簇数。作为优选的技术方案，所述“基于距离的异常检测算法”具体为：选用一种方法识别多个正常簇，再计算各个正常簇的正常行为域，正常行为域的中心点作为该域的代表，计算每个样本超出各个正常行为域的距离与对应域半径的比例，取该样本该比例的最小值作为该样本的异常度，网络资产样本异常度大于0时检测判定为存在异常。作为优选的技术方案，所述检测结果分析的步骤具体为：网络资产异常度检测，分别计算网络资产相对于多个正常行为域的差异度，该差异度等于网络资产行为数据向量与正常行为域的距离除以域半径，再减1；求网络资产多个差异度的最小值，即网络资产异常度得到存在异常的网络资产列表、网络资产异常度、资产异常因子、因子影响度，根据专网安全的特定需求，个性化输出相应的自然语言告警，以及针对不同异常因子提出对应的排查和解除威胁的建议。本专利技术提供的一种网络资产异常检测系统，可以通过下述方案实现：网络资产异常检测系统，所述系统包括：异构数据采集与存储模块，用于从不同来源采集网络资产的流量数据、探测数据和其他外部数据，并存储至数据库；数据特征处理模块，用于整合多来源的原始数据，利用“改进型雷尼熵算法”将一组概率分布类型的字段衍生转换成一个新的数据特征字段，利用“基于分位数的高鲁棒性标准化算法”对数据进行标准化处理，生成建模所需要的数据集；建模与检测模块，利用建模单元获取网络资产数据集，采用“基于原型的自动最优聚类算法”，按照“资产类型”分组建立最优聚类模型，利用检测单元对建模单元输出的聚类结果进行处理，检测出有异常网络行为的资本文档来自技高网...

【技术保护点】
1.网络资产异常检测方法，其特征在于，所述方法包括：/n异构数据采集与存储，从不同来源采集网络资产的流量数据、探测数据和其他外部数据，并存储至数据库；/n数据特征处理，整合多来源的原始数据，利用“改进型雷尼熵算法”将一组概率分布类型的字段衍生转换成一个新的数据特征字段，利用“基于分位数的高鲁棒性标准化算法”对数据进行标准化处理，生成建模所需要的数据集；/n建模与检测，建模单元获取网络资产数据集，采用“基于原型的自动最优聚类算法”，按照“资产类型”分组建立最优聚类模型，检测单元对建模单元输出的聚类结果进行处理，检测出有异常网络行为的资产；/n检测结果分析，使用建模与检测步骤得到的“最优聚类模型”结合异常检测结果分析策略，对检测到的异常进行自动分析，智能输出网络资产异常度、资产异常因子、影响因子的影响度、告警和建议。/n

【技术特征摘要】
1.网络资产异常检测方法，其特征在于，所述方法包括：
异构数据采集与存储，从不同来源采集网络资产的流量数据、探测数据和其他外部数据，并存储至数据库；
数据特征处理，整合多来源的原始数据，利用“改进型雷尼熵算法”将一组概率分布类型的字段衍生转换成一个新的数据特征字段，利用“基于分位数的高鲁棒性标准化算法”对数据进行标准化处理，生成建模所需要的数据集；
建模与检测，建模单元获取网络资产数据集，采用“基于原型的自动最优聚类算法”，按照“资产类型”分组建立最优聚类模型，检测单元对建模单元输出的聚类结果进行处理，检测出有异常网络行为的资产；
检测结果分析，使用建模与检测步骤得到的“最优聚类模型”结合异常检测结果分析策略，对检测到的异常进行自动分析，智能输出网络资产异常度、资产异常因子、影响因子的影响度、告警和建议。


2.根据权利要求1所述的网络资产异常检测方法，其特征在于，所述数据特征处理的步骤中，所述“改进型雷尼熵算法”具体为：
输入含有网络资产类型的某类概率分布型特征数据集D，D共2+n列；其中第1列为网络资产唯一编号，第2列是资产类型，之后的n列是概率分布型的特征，对于每行的后n列之和为1；
按不同的资产类型，将数据集D划分成若干个数据子集；
分别计算本子集Xn列特征的均值，得到均值向量μ：
μ＝{μ1,μ2,...,μn}
计算第i个资产的改进型雷尼熵L(i)：



遍历计算第i个资产的改进型雷尼熵的步骤，计算本子集的所有资产的改进型雷尼熵L；
遍历完成，得到全集D所有资产的改进型雷尼熵。


3.根据权利要求2所述的网络资产异常检测方法，其特征在于，所述数据特征处理的步骤中，所述“基于分位数的高鲁棒性标准化算法”公式如下：



其中x’0表示标准化后的x0，Qa和Qb分别表示向量X的第a和第b百分位数，0<a<b<100；N表示向量X中xi∈[Qa,Qb]总个数，Qa≤xi≤Qb；
原始数据经过数据特征处理模块的预处理之后，最终生成的建模数据集。


4.根据权利要求1所述的网络资产异常检测方法，其特征在于，所述建模与检测的步骤具体为：
所述建模单元的处理方法具体为：
输入网络资产数据集；其中包含资产“IP地址”、“资产类型”，及其他网络行为特征字段；
按照“资产类型”字段划分数据集为多个子集；
采用“基于原型的自动最优聚类算法”，对划分的数据集分别建模；输出“资产类型”分组的多个原型聚类结果；
所述检测单元的处理方法具体为：
输入建模单元输出的聚类结果；
采用“基于距离的异常检测算法”，判断样本是否异常；
输出有异常网络行为的...

【专利技术属性】
技术研发人员：邹凯，陈凯枫，张渊，曾浩，
申请(专利权)人：广州天懋信息系统股份有限公司，
类型：发明
国别省市：广东;44