基于DQN算法的分布式入侵检测系统任务调度卸载方法技术方案

本发明专利技术公开了一种基于DQN算法的分布式入侵检测系统任务调度卸载方法，本发明专利技术所提出的系统架构可将部分检测任务卸载到位于边缘服务器上性能和资源更好的入侵检测系统处理，建立的时延和能耗模型为卸载决策提供了理论基础。基于DQN算法的任务调度卸载方法可以实现网络边缘入侵检测设备的时延、能耗和丢包率的最小化，同时解决了现有技术中使用Q

【技术实现步骤摘要】
基于DQN算法的分布式入侵检测系统任务调度卸载方法


[0001]本专利技术属于网络安全
，涉及一种基于DQN算法的分布式入侵检测系统任务调度卸载方法。

技术介绍

[0002]由于网络边缘设备的性能和资源受限，传统的入侵检测技术由于对硬件性能依赖性高，所以无法直接部署在网络边缘。现有技术中基于Q
‑
learning算法的任务调度方法虽然能降低边缘网络中入侵检测系统的压力，但是在任务调度过程中容易产生因为状态空间和动作空间过大而导致内存占用过大的问题。

技术实现思路

[0003]本专利技术的目的是提供一种基于DQN(DeepQ
‑
Network)算法的分布式入侵检测系统(DistributedIntrusionDetectionSystem，DIDS)的任务调度卸载方法，该方法可以实现网络边缘入侵检测设备的时延、能耗和丢包率的最小化，同时解决了现有技术中使用Q
‑
learning算法产生的内存占用过大的问题。
[0004]本专利技术所采用的技术方案是，基于DQN算法的分布式入侵检测系统任务调度卸载方法，具体包括如下步骤：
[0005]步骤1，建立用于边缘计算环境的DIDS的架构；
[0006]步骤2，基于步骤1建立的DIDS架构，建立卸载模型；
[0007]步骤3，在步骤2的基础上，建立时延模型；
[0008]步骤4，在步骤3的基础上，建立能耗模型；
[0009]步骤5，在步骤4的基础上，建立最优成本模型；
[0010]步骤6，基于步骤5建立的最优成本模型，定义马尔可夫决策过程模型参数；
[0011]步骤7，基于步骤6所得结果，建立状态空间；
[0012]步骤8，基于步骤7所得结果，建立动作空间；
[0013]步骤9，基于步骤8所得结果，建立状态转移概率矩阵；
[0014]步骤10，基于步骤9所得结果，建立奖励函数；
[0015]步骤11，基于步骤10所得结果，建立状态
‑
动作价值函数；
[0016]步骤12，基于步骤11所得结果，通过Q
‑
learning算法进行策略迭代，不断寻找最佳策略，使状态动作价值函数最优；
[0017]步骤13，基于步骤12所得结果，建立估计Q值函数和损失值函数；
[0018]步骤14，基于步骤13所得结果，建立DQN的目标Q值函数；
[0019]步骤15，基于步骤14所得结果，建立神经网络和记忆单元。
[0020]本专利技术的特点还在于：
[0021]步骤2中，假设卸载模型中有N个独立的检测任务可以被EIDS分配到M个DE去检测，如果决策引擎经过判断，将检测任务在本地执行，会把任务i是否卸载的标志位xik设置为
0，其中i∈{1，2，
…
，N}并且k∈{1，2，
…
，M}；如果决策引擎决定将检测任务卸载到EIDS执行，那么x
ik
的值会被设置为1；对于N个检测任务和M个DE来说，这些标志位会形成任务分配矩阵X＝{x
ik
}∈{0,1}
N
×
(M+1)
，其中，并且，x
k
＝[x
1k
,x
2k
,
…
,x
Nk
]T
。
[0022]步骤3的具体过程为：
[0023]步骤3.1，设任务i的数据量为D
i
，检测任务i所需的CPU周期数为C
i
，EMIDS的CPU频率为F
l
，任务i在本地执行的时间为T
il
＝C
i
/F
l
，本地执行的总时延为：
[0024][0025]步骤3.2，如果检测任务i被选择卸载到EIDS执行，从时间上可分为三个阶段：上传阶段、检测阶段、检测结果回传阶段，在上传阶段，任务i的上传数据量仍为D
i
，返回的检测结果的数据量为D
idn
，检测所需的CPU周期数为C
i
，设从EMIDS上传到EIDS的网络速率为NS
up
，那么任务i上传阶段需要的时间为：
[0026]T
iup
＝D
i
/NS
up
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(2)；
[0027]对所有被卸载的任务，上传阶段的总时延为：
[0028][0029]步骤3.3，在EIDS中，设DE的CPU总时钟频率为F
s
，则任务i在检测阶段耗费的时间为：
[0030]T
id
＝C
i
/F
s
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(4)；
[0031]检测阶段的总时延为：
[0032][0033]步骤3.4，在检测结果回传阶段，设回传的网络速率为NS
dn
，则任务i的检测结果需要的回传时间为：
[0034]T
idn
＝D
idn
/NS
dn
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(6)；
[0035]对所有被卸载的任务，回传阶段的总时延为：
[0036][0037]步骤3.5，整个卸载过程的总时延建模，具体过程为：
[0038]对任务i整个卸载过程的时间为：
[0039][0040]对于所有被卸载的任务，整个卸载过程的时间为：
[0041][0042]步骤4的具体过程为：
[0043]步骤4.1，对任务i，设P
up
和P
dn
分别为边缘层DTU上传任务和回传结果时的功率，则卸载过程的能耗E
i
为:
[0044]E
i
＝P
up
T
iup
+P
dn
T
idn
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(10)；
[0045]对于所有被卸载的任务，整个卸载过程的能耗E为：
[0046][0047]步骤4.2，如果任务i在本地执行，设EMIDS的CPU功率为P
l
，将P
l
建模为CPU频率F
l
的超线性函数，所以本地执行的能耗为：
[0048][0049]对于所有本地执行的任务，整个过程的能耗E
l
为：
[0050][0051]步骤5中，建立的最优成本模型如下：
[0052]cost＝min(β
t
T
l
+β
′
t
T
of
+本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于DQN算法的分布式入侵检测系统任务调度卸载方法，其特征在于：具体包括如下步骤：步骤1，建立用于边缘计算环境的DIDS的架构；步骤2，基于步骤1建立的DIDS架构，建立卸载模型；步骤3，在步骤2的基础上，建立时延模型；步骤4，在步骤3的基础上，建立能耗模型；步骤5，在步骤4的基础上，建立最优成本模型；步骤6，基于步骤5建立的最优成本模型，定义马尔可夫决策过程模型参数；步骤7，基于步骤6所得结果，建立状态空间；步骤8，基于步骤7所得结果，建立动作空间；步骤9，基于步骤8所得结果，建立状态转移概率矩阵；步骤10，基于步骤9所得结果，建立奖励函数；步骤11，基于步骤10所得结果，建立状态
‑
动作价值函数；步骤12，基于步骤11所得结果，通过Q
‑
learning算法进行策略迭代，不断寻找最佳策略，使状态动作价值函数最优；步骤13，基于步骤12所得结果，建立估计Q值函数和损失值函数；步骤14，基于步骤13所得结果，建立DQN的目标Q值函数；步骤15，基于步骤14所得结果，建立神经网络和记忆单元。2.根据权利要求1所述的基于DQN算法的分布式入侵检测系统任务调度卸载方法，其特征在于：所述步骤2中：假设卸载模型中有N个独立的检测任务可以被EIDS分配到M个DE去检测，如果决策引擎经过判断，将检测任务在本地执行，会把任务i是否卸载的标志位x
ik
设置为0，其中i∈{1，2，
…
，N}并且k∈{1，2，
…
，M}；如果决策引擎决定将检测任务卸载到EIDS执行，那么x
ik
的值会被设置为1；对于N个检测任务和M个DE来说，这些标志位会形成任务分配矩阵X＝{x
ik
}∈{0,1}
N
×
(M+1)
，其中，并且，x
k
＝[x
1k
,x
2k
,...,x
Nk
]
T
。3.根据权利要求2所述的基于DQN算法的分布式入侵检测系统任务调度卸载方法，其特征在于：所述步骤3的具体过程为：步骤3.1，设任务i的数据量为D
i
，检测任务i所需的CPU周期数为C
i
，EMIDS的CPU频率为F
l
，任务i在本地执行的时间为T
il
＝C
i
/F
l
，本地执行的总时延为：步骤3.2，如果检测任务i被选择卸载到EIDS执行，从时间上分为三个阶段：上传阶段、检测阶段、检测结果回传阶段，在上传阶段，任务i的上传数据量仍为D
i
，返回的检测结果的数据量为检测所需的CPU周期数为C
i
，设从EMIDS上传到EIDS的网络速率为NS
up
，那么任务i上传阶段需要的时间为：T
iup
＝D
i
/NS
up
ꢀꢀꢀꢀ
(2)；对所有被卸载的任务，上传阶段的总时延为：
步骤3.3，在EIDS中，设DE的CPU总时钟频率为F
s
，则任务i在检测阶段耗费的时间为：T
id
＝C
i
/F
s
ꢀꢀꢀꢀ
(4)；检测阶段的总时延为：步骤3.4，在检测结果回传阶段，设回传的网络速率为NS
dn
，则任务i的检测结果需要的回传时间为：对所有被卸载的任务，回传阶段的总时延为：步骤3.5，整个卸载过程的总时延建模，具体过程为：对任务i整个卸载过程的时间为：对于所有被卸载的任务，整个卸载过程的时间为：4.根据权利要求3所述的基于DQN算法的分布式入侵检测系统任务调度卸载方法，其特征在于：所述步骤4的具体过程为：步骤4.1，对任务i，设P
up
和P
dn
分别为边缘层DTU上传任务和回传结果时的功率，则卸载过程的能耗E
i
为:E
i
＝P
up
T
iup
+P
dn
T
idn
ꢀꢀꢀꢀ
(10)；对于所有被卸载的任务，整个卸载过程的能耗E为：步骤4.2，如果任务i在本地执行，设EMIDS的CPU功率为P
l
，将P
l
建模为CPU频率F
l
的超线性函数，所以本地执行的能耗为：对于所有本地执行的任务，整个过程的能耗E
l
为：5.根据权利要求4所述的基于DQN算法的分布式入侵检测系统任务调度卸载方法，其特征在于：所述步骤5中，建立的最优成本模型如下：
cost＝min(β
t
T
l
+β
’
t
T
of
+β
e
E
l
+β
’
e
E
of
+β
p
PRL
l
+β'
p
PRL
of
),x
ik
∈{0,1}
ꢀꢀꢀꢀ
(14)；式中，β
t
,β
’
t
,β
e
,β
’
e
,β
p
,β'
p
分别是本地执行时间权重、能耗权重、丢包率权重及卸载执行时间权重、能耗权重和丢包率权重，PLR
l
表示EMIDS的丢包率，PLR
of
是EIDS上每个检测引擎的平均丢包率。6.根据权利要求5所述的基于DQN算法的分布式入侵...

【专利技术属性】
技术研发人员：赵旭，马硕，江晋，王卫，王立，赵子江，
申请(专利权)人：西安工程大学，
类型：发明
国别省市：