【技术实现步骤摘要】
一种稀疏编码下的基于HTM的流数据异常检测方法及系统
本专利技术主要涉及入侵检测、数据处理相关
，具体是一种稀疏编码下的基于HTM的流数据异常检测方法。
技术介绍
对流式数据在时间序列中的异常检测，最早可以追溯到对于两个模型的异常值以及其在时间序列影响的考虑。而采用基于传统分析的技术，机器学习和基于预测的异常检测模型是对抗目前网络中已有和未知攻击的有效手段。基于统计的异常检测技术其通常做法是将入侵检测问题视为一个假设检验问题，它的关键在于从描述系统或网络的行为和状态的属性中选择一组统计度量，并根据历史数据建立其正常的变化范围，其主要通过马尔可夫模型和支持向量机模型的方法来实现，其他的还有基于模糊数学理论、K-最近邻、格贴近度等方法。而基于预测的异常检测模型的前提是事件序列不是随机发生的而是服从某种可辨别的模式，其特点是考虑了事件序列之间的相互联系。其通用的方法通常有基于tcp状态转换的异常检测技术。在把机器学习方法应用于异常检测技术方面，综合利用了统计学、证据理论、神经网络、模糊集、粗糙集、进化计算等领域的方法，以达完...
【技术保护点】
1.一种稀疏编码下的基于HTM的流数据异常检测方法，其特征在于，包括以下步骤：/n步骤一，获取数据源，其中数据源包括用户产生的各种域和应用程序的数据；/n步骤二，将获取的实时数据源输入编码器，将数据转换为二进制矢量；/n步骤三，将已转换的数据进行稀疏化处理，获取数据的稀疏分布式代表元；/n步骤四，将数据输入标准的HTM网络，依据上一时刻输入数据获得对本时刻输入数据的预测值；/n步骤五，将本时刻的实际输入值和上一时刻生成的预测值进行比较，获取异常分数；/n步骤六，使用HTM模型并依据异常分数的分布建模，计算异常似然值；/n步骤七，判断异常似然值是否大于预设的异常阈值，决定是否声明异常。/n
【技术特征摘要】
1.一种稀疏编码下的基于HTM的流数据异常检测方法，其特征在于，包括以下步骤：
步骤一，获取数据源，其中数据源包括用户产生的各种域和应用程序的数据；
步骤二，将获取的实时数据源输入编码器，将数据转换为二进制矢量；
步骤三，将已转换的数据进行稀疏化处理，获取数据的稀疏分布式代表元；
步骤四，将数据输入标准的HTM网络，依据上一时刻输入数据获得对本时刻输入数据的预测值；
步骤五，将本时刻的实际输入值和上一时刻生成的预测值进行比较，获取异常分数；
步骤六，使用HTM模型并依据异常分数的分布建模，计算异常似然值；
步骤七，判断异常似然值是否大于预设的异常阈值，决定是否声明异常。
2.根据权利要求1所述的稀疏编码下的基于HTM的流数据异常检测方法，其特征在于，步骤一中，获取的数据集必须是来自于应用过程中产生的现实流数据。
3.根据权利要求1所述的稀疏编码下的基于HTM的流数据异常检测方法，其特征在于，步骤二中，将获取到的数据源经编码器实时生成二进制矢量；编码需满足语义相似数据应生成有重叠的激活位点，相同输入总产生固定长度的二进制向量；其次，输出的二进制向量应有相同维度，即位点总数应相同。
4.根据权利要求1所述的稀疏编码下的基于HTM的流数据异常检测方法，其特征在于，步骤三中，将通过编码器编码的数据进行稀疏化，提取数据的空间特征，其具体包括：确定标准感受野，即确保HTM模型使用时每个单元柱只读取一部分数据，确定标准感受野后确定可与单元柱进行连接的数据，最后进行局部抑制与参数更新，维持数据稀疏的活性。
5.根据权利要求1所述的稀疏编码下的基于HTM的流数据异常检测方法，其特征在于，步骤四中，在上一时刻即需生成对本时刻输入的预测，其具体包括：调用层级时序记忆算法，设定模型参数，生成预测数据。
6.根据权利要求1所述的稀疏编码下的基于HTM的流数据异常检测方法，其特征在于，步骤五中，调用异常分数函数得到异常分数；
步骤六中，根据异...
【专利技术属性】
技术研发人员：高未泽，田瑶琳，陈善雄，莫伯峰，赵富佳，王定旺，
申请(专利权)人：西南大学，首都师范大学，
类型：发明
国别省市：重庆;50
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。