【技术实现步骤摘要】
本专利技术涉及物联网数据安全，尤其涉及一种物联网流量数据异常检测方法及装置。
技术介绍
1、工业物联网，英文为industrial internet of things，简称iiot，是指通过传感器、设备和其他物联网设备等为智能工业系统提供网络互联，以实现工业环境中数据采集、数据分析和自动化控制等，是近年来传统制造业、能源、电力等行业进行数字化转型的基础。边缘计算、计算卸载、大数据分析以及智能传感等技术的应用，极大地推动了工业物联网的发展，其功能越加完善，网络复杂性也日益提升。借助于各种类型的传感设备及海量传输的网络数据，工业物联网能够实现万物互联、人机交互、信息传递、环境感知和智能分析，并基于对工业生产信息的全面深度感知、海量数据交换、实时快速计算和精准建模分析，从而实现智能生产控制、运营策略优化和管理模式革新。然而大量的针对工业物联网通信网络的攻击行为，例如僵尸网络病毒、蠕虫木马注入、ddos攻击等会造成网络异常流量数据，往往会带来巨大的经济损失。因此，分析网络流量从而感知网络态势、检测网络异常流量，对于提高网络应急响应能力、及时发现网络攻击行为、维护工业物联网网络安全意义重大。
2、在实际工业物联网场景中，由于网络流量数据的大规模性，高安全性需求，人力成本受到限制等因素，网络流量数据通常只有一小部分被明确标注为异常或者正常，这些标注为具体类型的异常数据被称为已知异常。大部分网络流量数据不存在标签，这些未标注数据主要由大量的正常数据和一部分已知类型和未知类型的异常数据组成，这些未知类型的异常被称为未知异常。而现有
技术实现思路
1、有鉴于此，有必要提供一种物联网流量数据异常检测方法及装置，以有效解决现有技术无法兼顾对已标注数据和未标注数据学习识别的技术问题。
2、本专利技术提供一种物联网流量数据异常检测方法，包括以下步骤：
3、步骤s1、基于深度强化学习的异常检测框架，构建用于物联网流量数据的异常检测代理；
4、步骤s2、基于分布自编码器，设置学习未标注数据中潜在异常的内部奖励函数，基于所述内部奖励函数，设置对已标注数据和未标注数据进行学习的外部奖励函数，基于内部奖励值和外部奖励值计算总奖励值，设计奖励优化机制；
5、步骤s3、设置异常偏向采样函数，用于选择下一阶段的状态；
6、步骤s4、将包含已标注异常数据和未标注数据的数据集作为输入，基于所述异常检测代理与环境的交互生成经验组，利用所述经验组对神经网络进行训练；
7、步骤s5、利用训练好的神经网络对物联网流量数据进行异常检测。
8、优选的，所述步骤s1，具体为：
9、定义最优动作值函数，最优动作值函数遵循策略π可实现的最大预期回报：
10、
11、其中，q*(s,a)为最优动作值函数，st表示当前状态，at表示异常检测代理的当前动作值，rt表示总奖励值，rt'为t'时刻的奖励值，t'＝t,t+1,…,t,t为时刻总数量，γ是一个常数，表示返回在策略π下所实现的最大总奖励值期望；
12、异常检测代理的输出为：
13、
14、其中，q(s,a；θ,α,β)为异常检测代理的输出，s表示状态，a表示动作，θ为神经网络卷积层参数，a'是所有可能的动作值，v(s；θ,β)、a(s,a；θ,α)分别为dueling q网络两个全连接层的标量和矢量，α、β分别为两个全连接层的参数，是矢量维度。
15、优选的，所述步骤s2中基于分布自编码器，设置对未标注数据潜在异常进行学习的内部奖励函数，具体为：
16、基于分布自编码器的模型结构，定义kl损失函数和重构损失函数，基于所述kl损失函数和所述重构损失函数定义用于神经网络训练的损失函数，基于所述损失函数设置学习潜在异常的所述内部奖励函数。
17、优选的，所述步骤s2中基于所述内部奖励函数，设置对已标注数据和未标注数据进行学习的外部奖励函数，具体为：
18、当在已标注数据集da中识别出异常数据时给予正奖励，当在已标注数据集da中识别出正常数据时给予负奖励；
19、当数据实例属于未标注数据集du时，基于所述内部奖励函数计算未标注数据的异常程度和正常程度，基于异常程度与正常程度的差值给予相应奖励；
20、基于内部奖励值和外部奖励值计算训练过程中的总奖励值。
21、优选的，所述步骤s2还包括：设置msr奖励优化器对所述总奖励值进行优化，所述总奖励值为内部奖励值和外部奖励值之和；
22、设置msr奖励优化器对所述总奖励值进行优化，具体为：当上一个状态的奖励与当前状态的奖励相比的变化程度大于设定值时为积极跳跃，反之为消极跳跃；对积极跳跃进行奖励放大，对消极跳跃进行奖励减小。
23、优选的，对积极跳跃进行奖励放大，对消极跳跃进行奖励减小，具体为：
24、定义用于衡量当前状态奖励与上一状态奖励之间的变化程度的变化程度参数：
25、
26、其中，ρ为变化程度参数，rt为当前状态奖励，rt-1为上一状态奖励，rt'＝rt+σ，rt-1'＝rt-1+σ，σ为常数；
27、设置单调递增的有界函数，用于放大当前奖励：
28、
29、其中，f(x)为有界函数，x＝ρ+λ，ρ为变化程度参数，λ＝sgn(rt-rt-1)，sgn()为阶跃函数，rt为当前状态奖励，rt-1为上一状态奖励，η为变化程度阈值；
30、基于所述有界函数对总奖励值进行优化：
31、rt*＝rt'+(f(x)-λ)*|rt'|；
32、其中，rt*为优化后的总奖励值。
33、优选的，所述步骤s3具体为：
34、所述异常偏向采样函数包括第一采样函数和第二采样函数；所述第一采样函数和所述第二采样函数分别以相应的概率被采用；
35、所述第一采样函数用于从已标注数据集中采样一条数据作为下一阶段的状态，所述已标注数据集中每一条数据被采样的概率均相等；
36、所述第二采样函数基于异常检测代理的动作值选择下一阶段状态：当数据被异常检测代理判断为异常数据时，选取与当前数据的欧式距离最小的数据作为下一阶段的状态；当数据被异常检测代理判断为正常数据时，选取与当前数据的欧式距离最大的数据作为下一阶段的状态。
37、优选的，所述步骤s4具体为：
38、将数据集中数据样本输入异常检测代理输出动作值，结合当前状态、异常偏向采样函数选择的下一阶段状态、优化后的总奖励值、异常检测代理的动作值组成一条经验组，设置经验回放池用于存储本文档来自技高网...
【技术保护点】
1.一种物联网流量数据异常检测方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的物联网流量数据异常检测方法，其特征在于，所述步骤S1，具体为：
3.根据权利要求1所述的物联网流量数据异常检测方法，其特征在于，所述步骤S2中基于分布自编码器，设置对未标注数据潜在异常进行学习的内部奖励函数，具体为：
4.根据权利要求1所述的物联网流量数据异常检测方法，其特征在于，所述步骤S2中基于所述内部奖励函数，设置对已标注数据和未标注数据进行学习的外部奖励函数，具体为：
5.根据权利要求1所述的物联网流量数据异常检测方法，其特征在于，所述步骤S2还包括：设置MSR奖励优化器对所述总奖励值进行优化，所述总奖励值为内部奖励值和外部奖励值之和；
6.根据权利要求5所述的物联网流量数据异常检测方法，其特征在于，对积极跳跃进行奖励放大，对消极跳跃进行奖励减小，具体为：
7.根据权利要求1所述的物联网流量数据异常检测方法，其特征在于，所述步骤S3具体为：
8.根据权利要求1所述的物联网流量数据异常检测方法，其特征在于
9.根据权利要求1所述的物联网流量数据异常检测方法，其特征在于，所述步骤S5具体为：
10.一种物联网流量数据异常检测装置，其特征在于，包括存储器和处理器，所述存储器上存储有计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1-9中任一所述的物联网流量数据异常检测方法。
...【技术特征摘要】
1.一种物联网流量数据异常检测方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的物联网流量数据异常检测方法，其特征在于，所述步骤s1，具体为：
3.根据权利要求1所述的物联网流量数据异常检测方法，其特征在于，所述步骤s2中基于分布自编码器，设置对未标注数据潜在异常进行学习的内部奖励函数，具体为：
4.根据权利要求1所述的物联网流量数据异常检测方法，其特征在于，所述步骤s2中基于所述内部奖励函数，设置对已标注数据和未标注数据进行学习的外部奖励函数，具体为：
5.根据权利要求1所述的物联网流量数据异常检测方法，其特征在于，所述步骤s2还包括：设置msr奖励优化器对所述总奖励值进行优化，所述总奖励值为内...
【专利技术属性】
技术研发人员：阮一恒，王子腾，邓贤君，范晓萱，刘生昊，何媛媛，鲁宏伟，杨天若，
申请(专利权)人：华中科技大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。