一种基于强化学习的物联网蜜网系统及动态调度方法技术方案

本发明专利技术涉及网络安全技术领域，具体涉及一种基于强化学习的物联网蜜网系统及动态调度方法。该方法首先收集分析之前获取的攻击流量，预测下一时刻的攻击次数；监视并收集蜜网中的已部署蜜罐状态用于蜜罐调度；利用强化学习的Q

【技术实现步骤摘要】
一种基于强化学习的物联网蜜网系统及动态调度方法


[0001]本专利技术涉及网络安全
，具体涉及一种基于强化学习的物联网蜜网系统及动态调度方法。

技术介绍

[0002]伴随物联网技术的发展，物联网在各领域得到广泛应用，物联网为基础民生和社会经济带来发展机遇，物联网在给我们带来便利的同时，物联网的设备、网络、应用等也在面临着严峻的安全威胁，不仅大型的物联网容易受到攻击，公司和家庭的小型的物联网系统也遭受威胁，小型物联网的管理者常常由于安全意识薄弱，因此网络频繁遭受黑客攻击。
[0003]蜜罐是一种广泛用于捕获和分析恶意网络流量的安全控制手段。它们可以模拟各种服务或操作系统，以诱导攻击者试图破坏它们。蜜罐的主要目标是监控和记录接收到的数据，后续可以用来帮助分析攻击者行为，防止未来类似的攻击。但是在网络攻击日益频繁，单独部署一个蜜罐已经不能满足要求，需要由多个蜜罐组成蜜网来协助工作。
[0004]蜜网系统是一个包括多个蜜罐和多个部署节点的网络。它是一个由行为记录、报警和分析、管理通信等机制组成的网络。它包含真实的系统来捕获进一步的攻击，促进理解黑客的攻击方法和相应的安全事件。
[0005]为传统互联网设计的蜜网系统，由于设备硬件资源和成本限制，不适用于物联网，需要根据实际需求搭建基于物联网的蜜网系统。同时传统的蜜网技术存在静态配置、固定部署等不足，一方面静态配置蜜罐容易被蜜罐检测技术识别造成捕获失败，另一方面固定部署蜜罐，即使没有攻击者进行攻击也需要长期开启蜜罐服务，浪费物联网的计算资源，因此需要根据当前需要动态调整蜜罐部署。

技术实现思路

[0006]为了解决上述技术问题，本专利技术的目的在于提供一种基于强化学习的物联网蜜网系统及动态调度方法，所采用的技术方案具体如下：
[0007]第一方面，本专利技术一个实施例提供了一种基于强化学习的物联网蜜网动态调度方法，该方法包括以下步骤：
[0008]收集分析之前获取的攻击流量，预测下一时刻的攻击次数；
[0009]监视并收集蜜网中的已部署蜜罐状态用于蜜罐调度；利用强化学习的Q
‑
Learning方法对调度智能体进行训练，完善强化对蜜网中蜜罐资源的实时调度，动态调整蜜网中的蜜罐数量；利用已预测到的下一时刻的攻击次数判断下一时刻蜜网状态，提前进行蜜罐的调度；
[0010]收集蜜罐中的攻击者数据，并进行数据持久化操作。
[0011]优选的，所述收集分析之前获取的攻击流量，预测下一时刻的攻击次数，包括：
[0012]接收攻击流量后，根据之前收集到的攻击次数和攻击时间的数据利用机器学习线性回归的方法，得出一个预测模型来预测下一时刻的攻击次数。
[0013]优选的，所述完善强化对蜜网中蜜罐资源的实时调度，包括：
[0014]将当前Q
‑
Learning算法的蜜罐调度Q表进行初始化，并部署蜜网中最大蜜罐数量的一半的蜜罐用作初始使用的蜜罐；
[0015]进入Q
‑
Learning训练，根据蜜罐管理模块传入的蜜罐利用率参数，每2分钟的固定时间间隔进行一个轮次的训练，训练过程中动态增减蜜网中蜜罐的数量来调整蜜网的蜜罐利用率，使蜜罐利用率达到资源合适的状态的时间最大化；
[0016]强化学习的Q
‑
Learning算法每轮训练完成后，更新蜜罐调度Q表；
[0017]根据攻击预处理模块预测的下一时刻攻击次数和当前一段时间内真实的攻击次数来进行对比，若预测下一时刻攻击次数比该时间段内攻击次数多，则蜜网处于资源缺乏状态，反之则蜜网处于资源浪费状态；
[0018]根据蜜罐调度Q表查询下一时间段预测状态的最佳动作，即下一时刻的预测调度方案，根据调度方案进行具体的蜜罐调度工作。
[0019]优选的，调度智能体的状态空间包含三种状态，分别为资源正常，资源缺乏，资源浪费，动作空间包含三种动作类型，分别为扩容、不变和缩容，其中扩容和缩容两种类型分别可以扩展为实际需要添加或删除蜜罐资源的相应动作。
[0020]优选的，所述利用强化学习的Q
‑
Learning方法对调度智能体进行训练，包括：
[0021]调度智能体获取蜜罐利用率，比较蜜罐利用率和预设的资源缺乏阈值和资源浪费阈值，判断蜜网所处的状态；当蜜罐利用率大于资源缺乏阈值则蜜网处于资源缺乏状态，当蜜罐利用率小于资源浪费阈值则蜜网处于资源浪费状态，其他情况下蜜网处于资源正常状态；其中蜜罐利用率为当前被攻击蜜罐数量和已部署蜜罐总数的比值；
[0022]调度智能体根据当前蜜网所处的状态来根据贪婪探索ε
‑
greedy策略执行下一步动作，若命中ε
‑
greedy策略则执行随机动作，否则根据当前的蜜罐调度Q表确定执行动作，当蜜网处于资源浪费状态，则采取释放第一预设数量个蜜罐的动作，当蜜网处于资源缺乏状态，则采取增加第二预设数量个蜜罐的动作，被释放的蜜罐可以暂时用作其他的物联网用途，当需要时可以继续当作蜜罐使用；
[0023]其中，第一预设数量为1到已部署蜜罐的总量的一半的整数；第二预设数量为1到蜜网中所有蜜罐数量的一半的整数；
[0024]调度智能体采取的动作完成以后，根据已调整完成的蜜网的利用率判断当前蜜网所处的状态，对调度智能体进行奖励；若蜜网状态正好处于资源正常状态，则给予调度智能体正奖励，若处于蜜网资源缺乏或者资源浪费状态，则给予调度智能体负奖励；
[0025]根据调度智能体的奖励情况，更新Q
‑
Learning算法的蜜罐调度Q表。
[0026]优选的，更新Q
‑
Learning算法的蜜罐调度Q表的函数模型为：
[0027]Q(s,a)
←
Q(s,a)+α[r+γmax
a
′
Q(s
′
,a
′
)
‑
Q(s,a)][0028]其中，a代表调度智能体当前的动作；s代表调度智能体当前的环境状态；r代表对当前环境的奖励值，以评估调度智能体上一个动作；Q(s,a)代表在当前环境状态s下所采取动作a的回报价值；s'代表当前环境状态s下执行动作a后出现的下一状态；a'是s'状态下的可能动作；max
a
′
代表在新的状态s'下所采取动作a'的最大奖励值；Q(s
′
,a
′
)代表在状态s'下所采取动作a'的奖励值；γ为折扣率；α代表学习率。
[0029]优选的，所述收集蜜罐中的攻击者数据，并进行数据持久化操作，包括：
[0030]定时收集已部署的蜜罐记录的攻击者日志并在数据库进行存储。
[0031]第二方面，本专利技术一个实施例提供了一种基于强化学习的物联网蜜网系统，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述一种本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于强化学习的物联网蜜网动态调度方法，其特征在于，该方法包括以下步骤：收集分析之前获取的攻击流量，预测下一时刻的攻击次数；监视并收集蜜网中的已部署蜜罐状态用于蜜罐调度；利用强化学习的Q
‑
Learning方法对调度智能体进行训练，完善强化对蜜网中蜜罐资源的实时调度，动态调整蜜网中的蜜罐数量；利用已预测到的下一时刻的攻击次数判断下一时刻蜜网状态，提前进行蜜罐的调度；收集蜜罐中的攻击者数据，并进行数据持久化操作。2.根据权利要求1所述的一种基于强化学习的物联网蜜网动态调度方法，其特征在于，所述收集分析之前获取的攻击流量，预测下一时刻的攻击次数，包括：接收攻击流量后，根据之前收集到的攻击次数和攻击时间的数据利用机器学习线性回归的方法，得出一个预测模型来预测下一时刻的攻击次数。3.根据权利要求1所述的一种基于强化学习的物联网蜜网动态调度方法，其特征在于，所述完善强化对蜜网中蜜罐资源的实时调度，包括：将当前Q
‑
Learning算法的蜜罐调度Q表进行初始化，并部署蜜网中最大蜜罐数量的一半的蜜罐用作初始使用的蜜罐；进入Q
‑
Learning训练，根据蜜罐管理模块传入的蜜罐利用率参数，每2分钟的固定时间间隔进行一个轮次的训练，训练过程中动态增减蜜网中蜜罐的数量来调整蜜网的蜜罐利用率，使蜜罐利用率达到资源合适的状态的时间最大化；强化学习的Q
‑
Learning算法每轮训练完成后，更新蜜罐调度Q表；根据攻击预处理模块预测的下一时刻攻击次数和当前一段时间内真实的攻击次数来进行对比，若预测下一时刻攻击次数比该时间段内攻击次数多，则蜜网处于资源缺乏状态，反之则蜜网处于资源浪费状态；根据蜜罐调度Q表查询下一时间段预测状态的最佳动作，即下一时刻的预测调度方案，根据调度方案进行具体的蜜罐调度工作。4.根据权利要求1所述的一种基于强化学习的物联网蜜网动态调度方法，其特征在于，调度智能体的状态空间包含三种状态，分别为资源正常，资源缺乏，资源浪费，动作空间包含三种动作类型，分别为扩容、不变和缩容，其中扩容和缩容两种类型分别可以扩展为实际需要添加或删除蜜罐资源的相应动作。5.根据权利要求1所述的一种基于强化学习的物联网蜜网动态调度方法，其特征在于，所述利用强化学习的Q
‑
Learning方法对调度智能体进行训练，包括：调度智能体获取蜜罐利用率，比较蜜罐利用率和预设的资源缺乏阈值和资源浪费阈值，判断蜜网所处的状态；当蜜罐利用率大于资源缺乏阈值则蜜网处于资源缺乏状态，当蜜罐利用率小于资源浪费阈值则蜜网处于资源浪费状态，其他情...

【专利技术属性】
技术研发人员：杜晓玉，周冠英，林绿洲，韩志杰，王玉璟，杜莹，
申请(专利权)人：河南大学，
类型：发明
国别省市：