用于安全分析的实时行为安全基线数据降噪方法及装置制造方法及图纸

本发明专利技术提供一种用于安全分析的实时行为安全基线数据降噪方法及装置；其中，方法包括：获取待降噪行为数据集；其中，所述待降噪行为数据集中包括至少一条行为数据；根据数据降噪策略对所述待降噪行为数据集中每个行为数据进行数据降噪，得到降噪行为数据集。本发明专利技术能够对行为安全基线学习的数据进行数据噪音消除，提高行为安全基线学习数据的准确性，降低行为安全基线计算的误报和错误率。行为安全基线计算的误报和错误率。行为安全基线计算的误报和错误率。

【技术实现步骤摘要】
用于安全分析的实时行为安全基线数据降噪方法及装置


[0001]本专利技术涉及网络安全
，尤其涉及一种用于安全分析的实时行为安全基线数据降噪方法及装置。

技术介绍

[0002]随着技术的发展和知识的扩散，网络攻击方法和数量也随之大幅增加，各种新攻击手段层出不穷，给安全分析人员和产品带来了很大的挑战和压力。传统的安全分析和检测手段是基于先验知识，采用特征的方式来对网络数据和日志进行安全检测，这种方式可以应对已知攻击方法，但对未知和新的攻击方法的检测效率低，无法适应当前严峻的网络安全态势。近年来随着机器学习的发展和实时计算框架的兴起，基于行为的安全分析方法开始越来越多的应用于各类安全产品中。
[0003]相关技术中，基于行为的安全分析方法采用机器学习的方法，通过对网络数据和日志进行学习，统计和归纳出用户和实体的行为特点，通过学习出的行为安全基线，能很好的用于异常行为分析和检测，完成很多基于特征的方式无法达到的效果。但是，行为安全基线学习的数据中存在数据噪音，这就使得行为安全基线学习数据的准确性较低，导致行为安全基线计算的误报和错误率较高。

技术实现思路

[0004]本专利技术提供一种用于安全分析的实时行为安全基线数据降噪方法及装置。
[0005]本专利技术提供一种用于安全分析的实时行为安全基线数据降噪方法，所述方法包括：
[0006]获取待降噪行为数据集；其中，所述待降噪行为数据集中包括至少一条行为数据；
[0007]根据数据降噪策略对所述待降噪行为数据集中每个行为数据进行数据降噪，得到降噪行为数据集。
[0008]根据本专利技术提供的一种用于安全分析的实时行为安全基线数据降噪方法，所述数据降噪策略，包括以下至少一项：
[0009]第一策略，用于表示将行为数据对应的待降噪数据与当前周期行为数据集进行对比；
[0010]第二策略，用于表示将行为数据对应的待降噪数据与上一个周期行为数据集进行对比；
[0011]第三策略，用于表示将行为数据对应的待降噪数据值与第一表达式进行对比。
[0012]根据本专利技术提供的一种用于安全分析的实时行为安全基线数据降噪方法，所述根据数据降噪策略对所述待降噪行为数据集中每个行为数据进行数据降噪，得到降噪行为数据集，包括：
[0013]在所述数据降噪策略包括所述第一策略的情况下，根据所述待降噪行为数据集计算当前周期数据降噪模型；
[0014]遍历所述待降噪行为数据集中所有行为数据，对于每一条行为数据执行第二表达式计算待降噪数据值，将计算得到的待降噪数据值与所述当前周期数据降噪模型进行计算，当计算结果表示当前行为数据不是噪音时，将所述当前行为数据保存至所述降噪行为数据集。
[0015]根据本专利技术提供的一种用于安全分析的实时行为安全基线数据降噪方法，所述根据数据降噪策略对所述待降噪行为数据集中每个行为数据进行数据降噪，得到降噪行为数据集，包括：
[0016]在所述数据降噪策略包括所述第二策略的情况下，根据所述待降噪行为数据集计算当前周期数据降噪模型；
[0017]判断是否存在上一个周期数据降噪模型；
[0018]当存在上一个周期数据降噪模型时，遍历所述待降噪行为数据集中所有行为数据，对于每一条行为数据执行第二表达式计算待降噪数据值，将计算得到的待降噪数据值与上一个周期数据降噪模型进行计算，当计算结果表示当前行为数据不是噪音时，将所述当前行为数据保存至所述降噪行为数据集；
[0019]当不存在上一个周期数据降噪模型时，遍历所述待降噪行为数据集中所有行为数据，对于每一条行为数据执行第二表达式计算待降噪数据值，将计算得到的待降噪数据值与当前周期数据降噪模型进行计算，当计算结果表示当前行为数据不是噪音时，将所述当前行为数据保存至所述降噪行为数据集。
[0020]根据本专利技术提供的一种用于安全分析的实时行为安全基线数据降噪方法，所述根据数据降噪策略对所述待降噪行为数据集中每个行为数据进行数据降噪，得到降噪行为数据集，包括：
[0021]遍历所述待降噪行为数据集中所有行为数据，对于每一条行为数据执行第二表达式计算待降噪数据值，将计算得到的待降噪数据值输入至所述第一表达式进行布尔计算，当计算结果表示当前行为数据不是噪音时，将所述当前行为数据保存至所述降噪行为数据集。
[0022]根据本专利技术提供的一种用于安全分析的实时行为安全基线数据降噪方法，所述根据所述待降噪行为数据集计算当前周期数据降噪模型，包括：
[0023]在所述待降噪行为数据集中行为数据为数值数据的情况下，遍历所述待降噪行为数据集中所有行为数据，对于每一条行为数据执行第二表达式计算待降噪数据值，将计算得到的待降噪数据值保存至降噪行为数据值集；计算所述降噪行为数据值集的平均值和标准差；根据数据噪音值概率确定距离值；根据所述平均值、所述标准差和所述距离值，确定非噪音数据最小值和非噪音数据最大值。
[0024]根据本专利技术提供的一种用于安全分析的实时行为安全基线数据降噪方法，所述根据所述待降噪行为数据集计算当前周期数据降噪模型，包括：
[0025]在所述待降噪行为数据集中行为数据为非数值数据的情况下，遍历所述待降噪行为数据集中所有行为数据，对于每一条行为数据执行第二表达式计算待降噪数据值，将计算得到的待降噪数据值保存至降噪行为数据值集；
[0026]遍历所述降噪行为数据值集，对于每一条待降噪数据值，在值频次表frequencyMap中查询待降噪数据值是否存在；如果不存在则将一条记录<待降噪数据值，1>
保存到frequencyMap中；如果存在则更新frequencyMap中<待降噪数据值，频次值>为<待降噪数据值，频次值+1>；
[0027]遍历frequencyMap，对于frequencyMap中每条<待降噪数据值，频次值>记录，在临时表tmpMap中查询<频次值>是否存在；如果不存在则将<频次值，数量＝频次值>保存到tmpMap中；如果存在则更新tmpMap中<频次值，数量>为<频次值，数量+频次值>；
[0028]根据所述降噪行为数据值集中待降噪数据值数量和噪音值概率，确定待降噪数据值门限；获取变量dataCount的初始值，将tmpMap按照记录<频次值，数量>中频次值从大到小排序；遍历tmpMap表，对于表中每条<频次值，数量>记录，判断dataCount是否大于或等于所述待降噪数据值门限；如果是则设置非噪音数据最小频次minFrequency＝记录<频次值，数量>中频次值；如果不是则更新dataCount＝dataCount+记录<频次值，数量>本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于安全分析的实时行为安全基线数据降噪方法，其特征在于，所述方法包括：获取待降噪行为数据集；其中，所述待降噪行为数据集中包括至少一条行为数据；根据数据降噪策略对所述待降噪行为数据集中每个行为数据进行数据降噪，得到降噪行为数据集。2.根据权利要求1所述的方法，其特征在于，所述数据降噪策略，包括以下至少一项：第一策略，用于表示将行为数据对应的待降噪数据与当前周期行为数据集进行对比；第二策略，用于表示将行为数据对应的待降噪数据与上一个周期行为数据集进行对比；第三策略，用于表示将行为数据对应的待降噪数据值与第一表达式进行对比。3.根据权利要求2所述的方法，其特征在于，所述根据数据降噪策略对所述待降噪行为数据集中每个行为数据进行数据降噪，得到降噪行为数据集，包括：在所述数据降噪策略包括所述第一策略的情况下，根据所述待降噪行为数据集计算当前周期数据降噪模型；遍历所述待降噪行为数据集中所有行为数据，对于每一条行为数据执行第二表达式计算待降噪数据值，将计算得到的待降噪数据值与所述当前周期数据降噪模型进行计算，当计算结果表示当前行为数据不是噪音时，将所述当前行为数据保存至所述降噪行为数据集。4.根据权利要求2所述的方法，其特征在于，所述根据数据降噪策略对所述待降噪行为数据集中每个行为数据进行数据降噪，得到降噪行为数据集，包括：在所述数据降噪策略包括所述第二策略的情况下，根据所述待降噪行为数据集计算当前周期数据降噪模型；判断是否存在上一个周期数据降噪模型；当存在上一个周期数据降噪模型时，遍历所述待降噪行为数据集中所有行为数据，对于每一条行为数据执行第二表达式计算待降噪数据值，将计算得到的待降噪数据值与上一个周期数据降噪模型进行计算，当计算结果表示当前行为数据不是噪音时，将所述当前行为数据保存至所述降噪行为数据集；当不存在上一个周期数据降噪模型时，遍历所述待降噪行为数据集中所有行为数据，对于每一条行为数据执行第二表达式计算待降噪数据值，将计算得到的待降噪数据值与当前周期数据降噪模型进行计算，当计算结果表示当前行为数据不是噪音时，将所述当前行为数据保存至所述降噪行为数据集。5.根据权利要求2所述的方法，其特征在于，所述根据数据降噪策略对所述待降噪行为数据集中每个行为数据进行数据降噪，得到降噪行为数据集，包括：在所述数据降噪策略包括所述第三策略的情况下，遍历所述待降噪行为数据集中所有行为数据，对于每一条行为数据执行第二表达式计算待降噪数据值，将计算得到的待降噪数据值输入至所述第一表达式进行布尔计算，当计算结果表示当前行为数据不是噪音时，将所述当前行为数据保存至所述降噪行为数据集。6.根据权利要求3或4所述的方法，其特征在于，所述根据所述待降噪行为数据集计算当前周期数据降噪模型，包括：在所述待降噪行为数据集中行为数据为数值数据的情况下，遍历所述待降噪行为数据
集中所有行为数据，对于每一条行为数据执行第二表达式计算待降噪数据值，将计算得到的待降噪数据值保存至降噪行为数据值集；计算所述降噪行为数据值集的平均值和标准差；根据数据噪音值概率确定距离值；根据所述平均值、所述...

【专利技术属性】
技术研发人员：覃永靖，
申请(专利权)人：奇安信网神信息技术北京股份有限公司，
类型：发明
国别省市：