【技术实现步骤摘要】
本专利技术属于网络安全，涉及一种基于bert模型的强化学习蜜罐构建方法及装置。
技术介绍
1、近年来，物联网技术不断积累与升级，越来越多的物理设备、传感器和其它能够收集数据和通信的设备与互联网实现连接，全球物联网设备数量得以高速增长。然而，物联网设备固件普遍存在的逻辑缺陷和安全漏洞并未得到有效解决，这使得许多物联网设备已经成为攻击者的潜在目标。
2、蜜罐是一种安全威胁的主动防御技术，它通过模拟一个或多个易受攻击的服务或设备来延缓攻击，保护真实设备；同时，蜜罐能够主动吸引攻击者，捕获网络攻击数据，以便发现网络威胁并提取威胁特征。这些情报有助于防御方了解攻击者的意图、组织和背后的威胁行动，从而采取相应的对策。
3、蜜罐可以根据它们与网络攻击者互动的交互级别来进行分类：低交互蜜罐、中等交互蜜罐、高交互蜜罐。其中低交互蜜罐仅模拟一个或多个简单服务，用于记录有关网络攻击者活动的一些信息。低交互蜜罐具有易于部署、低风险、低成本等优势。但低交互蜜罐模拟程度低，网络攻击者很容易识别出它们的存在。这一特性使得低交互蜜罐在吸引和捕获网络攻击者方面的效果受到限制，只能收集有限的网络攻击数据。中等交互蜜罐在服务模拟的基础上会为网络攻击者提供有限的响应，能够在一定程度上欺骗攻击者，并引诱其发送更多的网络攻击数据。而高交互蜜罐模拟了整个系统与服务，可以有效诱骗网络攻击者，并收集有关网络攻击者所有行为的详细数据。
4、高交互蜜罐对于网络攻击信息的收集可以帮助安全从业者更好的了解物联网攻击生态，从而制定相应的防御措施。但物联
技术实现思路
1、本专利技术的目的在于针对目前构建物联网异构高交互蜜罐中的欠缺和不足，提供一种基于bert模型的强化学习蜜罐构建方法及装置。
2、本专利技术的目的是通过以下技术方案来实现的：
3、根据本说明书的第一方面，提供一种基于bert模型的强化学习蜜罐构建方法，该方法包括以下步骤；
4、(1)部署物联网蜜罐，用于收集基于http网络交互数据，所述交互数据包含响应数据和攻击数据；所述攻击数据为网络攻击者发送至物联网蜜罐的数据，所述响应数据由物联网蜜罐向物联网设备发送安全请求得到；
5、(2)基于步骤(1)中网络攻击者发送的攻击数据，利用att&ck框架中的攻击策略对来自同一网络攻击者在会话时间内的攻击数据进行类别标识，并利用标识结果构建攻击链；
6、(3)基于步骤(2)标识的攻击数据，对不同类别下的攻击数据进行特征筛选与提取，提取出不同类别下攻击数据的主要特征，利用主要特征进行不同类别攻击数据的构造；
7、(4)基于步骤(3)构造的不同类别攻击数据，分割筛选攻击数据中的不同词汇，以进行bert模型中vocab.txt文件的补充；
8、(5)基于步骤(4)更新后的vocab.txt文件和步骤(3)构造的不同类别攻击数据，利用预训练的bert模型进行下游任务的微调，进行攻击类别分类模型的训练；所述攻击类别分类模型用于对物联网强化学习蜜罐收集到的网络中攻击数据进行实时分类预测；
9、(6)基于步骤(5)得到的攻击数据分类预测结果，将其作为状态变量，将强化学习蜜罐与网络攻击者的交互建模为一个马尔可夫决策模型，并利用q-learning算法进行马尔可夫决策模型的在线训练；
10、(7)基于步骤(6)中训练完成的马尔可夫决策模型，强化学习蜜罐针对不同的物联网攻击数据选择最优响应以进行回复。
11、进一步地，步骤(1)中，在云服务器部署物联网蜜罐，用于收集基于http协议的物联网设备网络交互数据；所述物联网蜜罐向物联网设备发送的安全请求来自于攻击数据过滤后的安全数据，在过滤过程中，通过基于正则化匹配关键字的方式来检测攻击数据中的shell指令，一旦成功检测到shell指令，该条http攻击数据将不会发送至物联网设备。
12、进一步地，步骤(2)中，基于att&ck框架中的攻击策略，对不同的攻击数据标记攻击类别标签，不同类别分别对应着网络安全事件的不同阶段；根据同一网络攻击者发送至物联网蜜罐的攻击数据，构建攻击链，所述攻击链上的不同阶段对应着att&ck框架的不同攻击策略。
13、进一步地，步骤(3)中，首先删除攻击数据中请求头部的accept，accept-encoding，accept-language，host，connection字段及其字段值，保留余下的攻击数据；然后提取不同类别下攻击数据的主要特征，进行基于主要特征的文本构造，构造方法包括基础特征的随意组合，其中包括请求方法、请求路径、协议版本以及请求头部中的user-agent，同时加上请求主体中与攻击类别相关的特定类别特征；这样的组合构成了不同类别的攻击数据。
14、进一步地，步骤(4)中，为了补充bert模型的vocab.txt文件，首先对攻击数据进行符号分割，统计高频词汇形成http攻击数据词汇表；随后，将词汇表与vocab.txt文件对比，筛选出其中缺失的http攻击数据词汇，用于更新vocab.txt文件，以优化bert模型的嵌入表示。
15、进一步地，步骤(5)中，利用预训练的英文bert模型，训练攻击类别分类模型，所述攻击类别分类模型包括输入层，嵌入层，多层编码器，输出层；所述输入层用于接收攻击数据，所述嵌入层用于将攻击数据中的词汇转换为相应的向量表示；所述多层编码器的每一层都包含了自注意力机制和前馈神经网络，用于捕捉词汇之间的上下文关系，其输入为词汇的向量表示，输出为包含词汇上下文关系的向量；所述输出层为一个全连接层，用于输出不同攻击类别的概率。
16、进一步地，步骤(6)中，将网络攻击者与强化学习蜜罐的交互过程建模为一个马尔科夫决策模型，并利用q-learning算法进行最优策略的求解；所述强化学习蜜罐为马尔可夫决策过程中的智能体，外部的网络环境为环境，由网络攻击者发送的攻击数据为状态；强化学习蜜罐对于不同攻击数据的响应为动作。
17、进一步地，步骤(6)中，状态转移矩阵由步骤(2)中所有攻击链上各个攻击阶段的转移及相应的响应数据统计结果得到，矩阵中的每个元素代表强化学习蜜罐响应攻击链当前阶段攻击数据后，攻击数据转移到攻击链下一阶段的概率，所述概率由当前阶段攻击数据转移到下一特定阶段攻击数据的次数除以该当前阶段攻击数据转移到其它所有下一阶段的总数计算得到。
18、进一步地，步骤(7)中，强化学习蜜罐根据马尔科夫决策模型训练结果选择最优响应策略，该策略针对异构来自物联网设备的http攻击数据最优选择响应回复，以更好地诱骗网络攻击者，实现与网络攻击者的高交互互动。
19、根据本说明书本文档来自技高网...
【技术保护点】
1.一种基于BERT模型的强化学习蜜罐构建方法，其特征在于，包括以下步骤；
2.根据权利要求1所述的一种基于BERT模型的强化学习蜜罐构建方法，其特征在于，步骤(1)中，在云服务器部署物联网蜜罐，用于收集基于HTTP协议的物联网设备网络交互数据；所述物联网蜜罐向物联网设备发送的安全请求来自于攻击数据过滤后的安全数据，在过滤过程中，通过基于正则化匹配关键字的方式来检测攻击数据中的shell指令，一旦成功检测到shell指令，该条HTTP攻击数据将不会发送至物联网设备。
3.根据权利要求1所述的一种基于BERT模型的强化学习蜜罐构建方法，其特征在于，步骤(2)中，基于ATT&CK框架中的攻击策略，对不同的攻击数据标记攻击类别标签，不同类别分别对应着网络安全事件的不同阶段；根据同一网络攻击者发送至物联网蜜罐的攻击数据，构建攻击链，所述攻击链上的不同阶段对应着ATT&CK框架的不同攻击策略。
4.根据权利要求1所述的一种基于BERT模型的强化学习蜜罐构建方法，其特征在于，步骤(3)中，首先删除攻击数据中请求头部的Accept，Accep
5.根据权利要求1所述的一种基于BERT模型的强化学习蜜罐构建方法，其特征在于，步骤(4)中，为了补充BERT模型的vocab.txt文件，首先对攻击数据进行符号分割，统计高频词汇形成HTTP攻击数据词汇表；随后，将词汇表与vocab.txt文件对比，筛选出其中缺失的HTTP攻击数据词汇，用于更新vocab.txt文件，以优化BERT模型的嵌入表示。
6.根据权利要求1所述的一种基于BERT模型的强化学习蜜罐构建方法，其特征在于，步骤(5)中，利用预训练的英文BERT模型，训练攻击类别分类模型，所述攻击类别分类模型包括输入层，嵌入层，多层编码器，输出层；所述输入层用于接收攻击数据，所述嵌入层用于将攻击数据中的词汇转换为相应的向量表示；所述多层编码器的每一层都包含了自注意力机制和前馈神经网络，用于捕捉词汇之间的上下文关系，其输入为词汇的向量表示，输出为包含词汇上下文关系的向量；所述输出层为一个全连接层，用于输出不同攻击类别的概率。
7.根据权利要求1所述的一种基于BERT模型的强化学习蜜罐构建方法，其特征在于，步骤(6)中，将网络攻击者与强化学习蜜罐的交互过程建模为一个马尔科夫决策模型，并利用Q-learning算法进行最优策略的求解；所述强化学习蜜罐为马尔可夫决策过程中的智能体，外部的网络环境为环境，由网络攻击者发送的攻击数据为状态；强化学习蜜罐对于不同攻击数据的响应为动作。
8.根据权利要求1所述的一种基于BERT模型的强化学习蜜罐构建方法，其特征在于，步骤(6)中，状态转移矩阵由步骤(2)中所有攻击链上各个攻击阶段的转移及相应的响应数据统计结果得到，矩阵中的每个元素代表强化学习蜜罐响应攻击链当前阶段攻击数据后，攻击数据转移到攻击链下一阶段的概率，所述概率由当前阶段攻击数据转移到下一特定阶段攻击数据的次数除以该当前阶段攻击数据转移到其它所有下一阶段的总数计算得到。
9.根据权利要求1所述的一种基于BERT模型的强化学习蜜罐构建方法，其特征在于，步骤(7)中，强化学习蜜罐根据马尔科夫决策模型训练结果选择最优响应策略，该策略针对异构来自物联网设备的HTTP攻击数据最优选择响应回复，以更好地诱骗网络攻击者，实现与网络攻击者的高交互互动。
10.一种基于BERT模型的强化学习蜜罐构建装置，包括存储器和一个或多个处理器，所述存储器中存储有可执行代码，其特征在于，所述处理器执行所述可执行代码时，用于实现如权利要求1-9中任一项所述的基于BERT模型的强化学习蜜罐构建方法。
...【技术特征摘要】
1.一种基于bert模型的强化学习蜜罐构建方法，其特征在于，包括以下步骤；
2.根据权利要求1所述的一种基于bert模型的强化学习蜜罐构建方法，其特征在于，步骤(1)中，在云服务器部署物联网蜜罐，用于收集基于http协议的物联网设备网络交互数据；所述物联网蜜罐向物联网设备发送的安全请求来自于攻击数据过滤后的安全数据，在过滤过程中，通过基于正则化匹配关键字的方式来检测攻击数据中的shell指令，一旦成功检测到shell指令，该条http攻击数据将不会发送至物联网设备。
3.根据权利要求1所述的一种基于bert模型的强化学习蜜罐构建方法，其特征在于，步骤(2)中，基于att&ck框架中的攻击策略，对不同的攻击数据标记攻击类别标签，不同类别分别对应着网络安全事件的不同阶段；根据同一网络攻击者发送至物联网蜜罐的攻击数据，构建攻击链，所述攻击链上的不同阶段对应着att&ck框架的不同攻击策略。
4.根据权利要求1所述的一种基于bert模型的强化学习蜜罐构建方法，其特征在于，步骤(3)中，首先删除攻击数据中请求头部的accept，accept-encoding，accept-language，host，connection字段及其字段值，保留余下的攻击数据；然后提取不同类别下攻击数据的主要特征，进行基于主要特征的文本构造，构造方法包括基础特征的随意组合，其中包括请求方法、请求路径、协议版本以及请求头部中的user-agent，同时加上请求主体中与攻击类别相关的特定类别特征；这样的组合构成了不同类别的攻击数据。
5.根据权利要求1所述的一种基于bert模型的强化学习蜜罐构建方法，其特征在于，步骤(4)中，为了补充bert模型的vocab.txt文件，首先对攻击数据进行符号分割，统计高频词汇形成http攻击数据词汇表；随后，将词汇表与vocab.txt文件对比，筛选出其中缺失的http攻击数据词汇，用于更新vocab.txt文件，以优化bert模型的嵌入表示。
6.根据权利要求1所述...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。