基于机器学习的物联网异常预测方法、系统及存储介质技术方案

本发明专利技术公开了一种基于机器学习的物联网异常行为预测方法、系统及存储介质，涉及机器学习领域。本发明专利技术包括以下步骤：收集物联网环境下的数据集，并进行预处理；通过特征化将所述数据集转化为特征向量；利用LSH算法对特征向量投影降维，并对降维后的特征向量分区规划；将分区规划后的特征向量输入到卷积神经网络，遍历每个节点，得到物联网异常行为节点。本发明专利技术通过将数据降维并分区规划，减少了运算数量，提高了运算效率以及运算精度，表现出较高的检测准确率和较低的误报率。的检测准确率和较低的误报率。的检测准确率和较低的误报率。

【技术实现步骤摘要】
基于机器学习的物联网异常预测方法、系统及存储介质


[0001]本专利技术涉及物联网安全领域，更具体的说是涉及一种基于机器学习的物联网异常预测方法、系统及存储介质。

技术介绍

[0002]物联网海量数据存储中心是以区域性智能数据中心和高速互联网为基础设施，以互联网服务体系为架构，以大规模海量数据存储、检索、计算任务管控为关键技术支撑，为物联网应用层提供高效可用的数据存储与管理服务。为保障物联网海量数据的快速持久化存储、高效的数据访问和高效的任务管控，需要在存储层、基础管理层、应用接口层以及访问层上针对用户、数据、传输、性能等异常行为进行识别，这其中，用户异常访问行为识别和数据完整性异常识别是研究的热点问题。
[0003]在物联网飞速发展的同时，其安全面临着严峻挑战，这些挑战成了阻碍物联网进步与发展的瓶颈。
[0004]因此，亟需本领域技术人员制定一种基于机器学习技术进行物联网异常行为检测的方法，利用机器学习算法，分析物联网正常流量特征，对流量行为进行预测，如果已经发生的流量和预测的流量相差较大，则存在威胁，从而发现威胁事件，及时发现物联网设备受攻击的情况，采取安全防护措施，减少损失。

技术实现思路

[0005]有鉴于此，本专利技术提供了一种基于机器学习的物联网异常预测方法、系统及存储介质，表现出较高的检测准确率和较低的误报率。
[0006]为了实现上述目的，本专利技术采用如下技术方案：
[0007]一种基于机器学习的物联网异常行为预测方法，包括以下步骤：
[0008]收集物联网环境下的数据集，并进行预处理；
[0009]通过特征化将所述数据集转化为特征向量；
[0010]利用LSH算法对特征向量投影降维，并对降维后的特征向量分区规划；
[0011]将分区规划后的特征向量输入到卷积神经网络，遍历每个节点，得到物联网异常行为节点。
[0012]可选的，对数据集的预处理包括：
[0013]对数据进行统一化格式处理，将数据集分为数值型和字符型。
[0014]可选的，还包括利用LSH算法对特征向量投影降维后，采用相互竞争策略对特征向量进行优化，根据特征向量所含的数据比例进行竞争，剔除数据量稀疏的特征向量，保留数据量在前的特征向量。
[0015]可选的，所述卷积神经神经网络为三维特征提取网络的监督学习训练过程，通过小批量梯度下降算法进行，包含网络初始化、前向传播、反向传播3个步骤。
[0016]可选的，卷积神经网络异常检测的具体步骤如下：
[0017]初始化卷积神经网络各层单元的取值以及阈值；
[0018]设置误差函数，计算精度值和最大遍历次数；
[0019]选取特征向量作为输入以及所述特征向量的期望输出；
[0020]计算各层神经元的输入和输出；
[0021]根据实际输出值和期望输出值，分别计算误差函数对输出层和隐含层各个神经元的偏导数；
[0022]根据隐含层和输入层各个神经元的偏导数输入修正连接权值；
[0023]计算各个分区划分后的特征向量的全局误差，得到异常行为节点。
[0024]一种基于机器学习的物联网异常行为预测系统，包括：
[0025]数据集获取模块：用于收集物联网环境下的数据集，并进行预处理；
[0026]数据集转化模块：用于通过特征化将所述数据集转化为特征向量；
[0027]特征向量降维模块：用于利用LSH算法对特征向量投影降维，并对降维后的特征向量分区规划；
[0028]异常行为检测模块：用于将分区规划后的特征向量输入到卷积神经网络，遍历每个节点，得到物联网异常行为节点。
[0029]一种计算机存储介质，所述计算机存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现任意一项所述的一种基于机器学习的物联网异常行为预测方法的步骤。
[0030]经由上述的技术方案可知，与现有技术相比，本专利技术公开提供了一种基于机器学习的物联网异常行为预测方法、系统及存储介质，通过将数据降维并分区规划，减少了运算数量，提高了运算效率以及运算精度，表现出较高的检测准确率和较低的误报率；与此同时，通过自学习的卷积神经网络实现了边预测异常行为边存储异常行为，在预测中自动升级卷积神经网络的预测精度。此外，本专利技术在降维方面，从低失真的投影方法出发，找到更加符合数据投影的哈希方法，进一步来降低数据的失真程度。
附图说明
[0031]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
[0032]图1为本专利技术的流程示意图；
[0033]图2为本专利技术的结构示意图。
具体实施方式
[0034]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0035]本专利技术实施例公开了一种基于机器学习的物联网异常行为预测方法，如图1所示，
包括以下步骤：
[0036]收集物联网环境下的数据集，并进行预处理；具体为，对数据进行统一化格式处理，将数据集分为数值型和字符型；
[0037]通过特征化将数据集转化为特征向量；
[0038]利用LSH算法对特征向量投影降维，并对降维后的特征向量分区规划；
[0039]将分区规划后的特征向量输入到卷积神经网络，遍历每个节点，得到物联网异常行为节点。
[0040]物联网环境下产生的网络数据大多都有几十甚至几百个属性的高维数据特征。在物联网的传统异常检测系统中，大多数检测方法都没有对高维数据特征进行降维处理，大量的冗余不相关信息使得计算更加困难，降低了异常检测的能力。在本实施例中，还包括利用LSH算法对特征向量投影降维后，采用相互竞争策略对特征向量进行优化，根据特征向量所含的数据比例进行竞争，剔除数据量稀疏的特征向量，保留数据量在前的特征向量。利用数据的空间性质，对数据进行空间划分的方式实现降维。这种划分子空间的方法可以很大程度降低数据的失真程度。空间划分是一种重要的数学模型，在信号处理、数据挖掘、模式识别、图论等领域都有重要应用。
[0041]其中，卷积神经神经网络为三维特征提取网络的监督学习训练过程，通过小批量梯度下降算法(SGDM)进行，包含网络初始化、前向传播、反向传播3个步骤。具体的，训练过程基于小批量随机梯度下降算法，将训练样本分批输入三维特征提取网络，进行多次前向传播与反向传播过程。由于每批输入样本的梯度具有一定的随机性，从而使模型在训练过程中更易跳出局部最优点。随着核参数随训练过程的逐步调整，即可使网络具备将本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于机器学习的物联网异常行为预测方法，其特征在于，包括以下步骤：收集物联网环境下的数据集，并进行预处理；通过特征化将所述数据集转化为特征向量；利用LSH算法对特征向量投影降维，并对降维后的特征向量分区规划；将分区规划后的特征向量输入到卷积神经网络，遍历每个节点，得到物联网异常行为节点。2.根据权利要求1所述的一种基于机器学习的物联网异常行为预测方法，其特征在于，对数据集的预处理包括：对数据进行统一化格式处理，将数据集分为数值型和字符型。3.根据权利要求1所述的一种基于机器学习的物联网异常行为预测方法，其特征在于，还包括利用LSH算法对特征向量投影降维后，采用相互竞争策略对特征向量进行优化，根据特征向量所含的数据比例进行竞争，剔除数据量稀疏的特征向量，保留数据量在前的特征向量。4.根据权利要求1所述的一种基于机器学习的物联网异常行为预测方法，其特征在于，所述卷积神经神经网络为三维特征提取网络的监督学习训练过程，通过小批量梯度下降算法进行，包含网络初始化、前向传播、反向传播3个步骤。5.根据权利要求1所述的一种基于机器学习的物联网异常行为预测方法，其特征在于，卷...

【专利技术属性】
技术研发人员：张辉辉，代江艳，陈春雷，
申请(专利权)人：潍坊学院，
类型：发明
国别省市：