【技术实现步骤摘要】
本专利技术涉及物联网数据检测，尤其涉及一种物联网设备数据异常检测方法及装置。
技术介绍
1、物联网异常数据检测旨在识别与大多数数据相比不常见或显著不同的信息。随着智能物联网的规模化应用，其设备规模及生产数据呈指数级增长，物联网设备收集到的异常数据可能会导致物联网服务出现安全漏洞。因此，为了避免由此产生的不良后果的后果，有效检测异常数据对于确保数据的可信度和物联网服务的正常运行至关重要。
2、物联网设备数据异常检测的难点主要体现在三个方面。其一，在实际物联网应用中，由于网络环境的复杂性和数据采集的难度，很多异常数据往往没有明确的标签，或者仅存在极小量的标签；其二，物联网环境下各种应用均产生海量数据，异常数据类型繁多，难以获取全部异常类型数据的标签；其三，当已知的异常类型数据不全时，现有异常数据检测方法严重依赖于已知异常数据的监督信号，从而导致对已知特定类型的异常数据过度拟合，造成误报或漏报异常数据的现象。
技术实现思路
1、有鉴于此，有必要提供一种物联网设备数据异常检测方法及装置，以有效解决已知异常类型、未知异常类型以及新型异常类型数据无法联合检测的技术问题。
2、本专利技术提供一种物联网设备数据异常检测方法，包括以下步骤：
3、步骤s1、收集物联网设备的历史数据建立物联网数据集，将所述物联网数据集划分为已标注异常类型的第一子集和无标注的第二子集；
4、步骤s2、根据马尔科夫决策过程框架，构建面向数据异常检测的智能体与环境的交互过程，并
5、步骤s3、基于深度确定性策略梯度算法框架，构建用于数据异常检测的神经网络；
6、步骤s4、利用智能体与环境交互产生经验元组，利用所述经验元组对所述神经网络进行训练；
7、步骤s5、利用训练好的神经网络对物联网设备数据进行异常检测。
8、优选的，所述步骤s2具体为：
9、设置状态空间，基于所述物联网数据集中所有数据样本设置所述状态空间，所述物联网数据集中每一数据样本代表一个环境状态，所有环境状态组成所述状态空间；
10、设置智能体的动作，智能体的动作空间为连续空间[-1,1]，当动作值大于或等于0时，当前环境状态判断为异常数据，当动作值小于0时，当前状态判断为正常数据；
11、设置状态转移函数，所述状态转移函数包括针对所述第一子集的第一状态转移函数和针对所述第二子集的第二状态转移函数；
12、所述第一状态转移函数为均匀分布的概率函数，所述第一状态转移函数随机从所述第一子集中采集一条数据样本作为下一时刻的环境状态，所述第一子集中每一条数据样本被采样的概率相等；
13、所述第二状态转移函数根据当前环境状态和当前动作从第二子集中采样下一时刻的环境状态，当智能体判断当前环境状态为正常数据时，所述第二状态转移函数将距离当前环境状态的欧几里得距离最大的数据样本作为下一时刻的环境状态，当智能体判断当前环境状态为异常数据时，所述第二状态转移函数将距离当前环境状态的欧几里得距离最小的数据样本作为下一时刻的环境状态；
14、设置奖励函数，所述奖励函数包括用于促使智能体利用已标记异常数据进行学习的外部奖励函数和促使智能体利用未标记数据进行学习的内部奖励函数；设置平衡系数，所述平衡系数用于平衡外部奖励和内部奖励的大小；
15、所述外部奖励函数通过耦合智能体动作值的方式进行反馈，所述内部奖励函数通过计算衡量当前状态和之前出现过状态集合之间的差异值进行反馈。
16、优选的，所述步骤s3具体为：
17、所述深度确定性策略梯度算法框架的网络结构包括actor网络和critic网络两部分，所述actor网络用于输出一个确定的动作，所述critic网络用于输出在当前状态下实施所述actor网络输出的动作的评价值，所述actor网络和所述critic网络均设置有目标网络。
18、优选的，所述步骤s4具体为：
19、批量抽取经验元组分别输入所述actor网络和所述critic网络，并计算损失函数值，利用损失函数值对神经网络参数进行梯度更新：
20、所述actor网络的参数更新遵循以下损失函数：
21、
22、所述critic网络的参数更新遵循以下损失函数：
23、
24、其中，j为所述actor网络的损失函数，b表示从经验回放池中被抽取用于网络参数更新的经验元组的数量，i＝1,2,…,b，▽a表示动作at的梯度算子，q(si,μ(si；θμ)；θq)为μ(si；θμ)对应的critic网络输出评价值，μ(si；θμ)为第i个经验元组的对应的actor网络输出动作值，▽θμ表示参数θμ的梯度算子，l为的critic网络损失函数，q(si,ai；θq)为第i个经验元组的对应的critic网络输出评价值，yi为critic网络的目标网络值。
25、优选的，所述步骤s4还包括，训练所述神经网络时对每一所述智能体的动作进行约束：
26、
27、其中，at为智能体的动作，μ(st；θμ)为actor网络，g为[0,1]范围内的随机数字，ε为可变参数，ε从其上限值逐渐减小到其下限值，u(-1,1)表示由-1和1组成的集合。
28、优选的，所述步骤s4还包括：计算经验元组的时间差分误差，基于所述时间查分误差设置每一所述经验元组的优先度，在利用经验元组对神经网络进行训练时，基于所述优先度并采用随机优先法对经验元组进行采样。
29、优选的，计算经验元组的时间差分误差，具体为：
30、δt＝rt+γmaxq(st+1,at+1)-q(st,at)
31、其中，δt为所述时间差分误差，rt为奖励函数值，γ为调节系数，q(st+1,at+1)表示critic网络在环境状态st+1动作为at+1时输出的评价值，maxq(st+1,at+1)表示取q(st+1,at+1)的最大值，q(st,at)表示critic网络在环境状态st动作为at时输出的评价值；
32、基于所述时间查分误差设置所述经验元组的优先度，具体为：
33、pt＝|δt|+σ
34、其中，pt为所述优先度，σ为大于0的常数，用于确保时间差分误差δt为0的经验元组也能够被采样。
35、优选的，所述步骤s4，还包括：设置采样权重，通过所述采样权重对所述critic网络的损失函数进行修正；
36、修正后的critic网络的损失函数为：
37、
38、其中，l为的critic网络损失函数，q(si,ai；θq)为第i个经验元组的对应的critic网络输出评价值，yi为critic网络的目标网络值；
39、所述采样权重为：
40、
41、其中，ωi为所述采样权重，α为本文档来自技高网...
【技术保护点】
1.一种物联网设备数据异常检测方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的物联网设备数据异常检测方法，其特征在于，所述步骤S2具体为：
3.根据权利要求1所述的物联网设备数据异常检测方法，其特征在于，所述步骤S3具体为：
4.根据权利要求1所述的物联网设备数据异常检测方法，其特征在于，所述步骤S4具体为：
5.根据权利要求1所述的物联网设备数据异常检测方法，其特征在于，所述步骤S4还包括，训练所述神经网络时对每一所述智能体的动作进行约束：
6.根据权利要求1所述的物联网设备数据异常检测方法，其特征在于，所述步骤S4还包括：计算经验元组的时间差分误差，基于所述时间查分误差设置每一所述经验元组的优先度，在利用经验元组对神经网络进行训练时，基于所述优先度并采用随机优先法对经验元组进行采样。
7.根据权利要求6所述的物联网设备数据异常检测方法，其特征在于，计算经验元组的时间差分误差，具体为：
8.根据权利要求6所述的物联网设备数据异常检测方法，其特征在于，所述步骤S4，还包括：设置采样权重，
9.根据权利要求1所述的物联网设备数据异常检测方法，其特征在于，所述步骤S5具体为：
10.一种物联网设备数据异常检测装置，其特征在于，包括存储器和处理器，所述存储器上存储有计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1-9中任一所述的物联网设备数据异常检测。
...【技术特征摘要】
1.一种物联网设备数据异常检测方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的物联网设备数据异常检测方法，其特征在于，所述步骤s2具体为：
3.根据权利要求1所述的物联网设备数据异常检测方法，其特征在于，所述步骤s3具体为：
4.根据权利要求1所述的物联网设备数据异常检测方法，其特征在于，所述步骤s4具体为：
5.根据权利要求1所述的物联网设备数据异常检测方法，其特征在于，所述步骤s4还包括，训练所述神经网络时对每一所述智能体的动作进行约束：
6.根据权利要求1所述的物联网设备数据异常检测方法，其特征在于，所述步骤s4还包括：计算经验元组的时间差分误差，基于所述时间查分误差设置每一所述经验元组的优先...
【专利技术属性】
技术研发人员：阮一恒，秦书琪，邓贤君，范晓萱，刘生昊，何媛媛，杨天若，
申请(专利权)人：华中科技大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。