一种基于流量画像与机器学习的物联网入侵检测方法技术

本发明专利技术公开了一种基于流量画像与机器学习的物联网入侵检测方法，包含以下步骤：S1.由流量捕获模块捕获网段内流量数据包，将数据包聚合为数据流；S2.由规则集检测模块执行第一轮检测，根据数据流的标识符位与规则集进行匹配；S3.匹配成功则判断为良性并记录，结束检测，若失败则进行第二轮检测；S4.由机器学习检测模块执行第二轮检测，由机器学习模型根据数据流的特征进行分类；S5.若分类为良性则不报警只记录，若为攻击则报警并记录；S6.机器学习模块更新规则集。本发明专利技术利用物联网设备在通信时产生的流量特征完成对数据流的检测，引入规则集检测提高入侵检测系统的检测速率，同时降低检测的误报率。低检测的误报率。低检测的误报率。

【技术实现步骤摘要】
一种基于流量画像与机器学习的物联网入侵检测方法


[0001]本专利技术涉及基于物联网的入侵检测系统，特别涉及一种基于流量画像与机器学习的物联网入侵检测方法。

技术介绍

[0002]随着物联网（Internet of Things, IoT）技术的逐渐发展，物联网设备在各种场景下给人类带来了极大的便利。例如，智慧工业、数字医疗、智能交通、智慧城市和智能家居等，同时物联网应用也跨越许多垂直领域，包括汽车、电信和能源等。物联网的生态系统由支持网络连接的智能设备组成，这些设备通过嵌入式系统（如处理器、传感器和通信硬件）从其环境中获取数据，并对数据进行捕获、发送，根据数据进行相应的操作。物联网设备通过连接到物联网网关或其他边缘设备实现交换传感器数据的功能。这些设备也能够相互通信，并根据接收到的信息采取一系列行动。
[0003]物联网市场在近几年继续增长，IoT Analytics现在提高了其对2025年已知联网的物联网设备数量的预测（从215亿台提高到309亿台），平均每人拥有近4件物联网设备。由于物联网设备应用广泛，因此带来了巨大的经济效应，物联网也在过去几年受到了极大的关注。随着设备数量快速增长，物联网设备已经成为互联网整体流量的主要来源。据预测，到2023年，物联网流量将占互联网流量的一半，而其中智能家居物联网设备预计将占据近一半的所有物联网流量。智能家居物联网的扩张带来了诸多挑战。由于智能家居设备计算能力有限、缺乏传输加密和缺乏认证与授权机制等，这一系列设备的不安全因素使得智能家居设备容易受到各种网络攻击的威胁，并且在物联网设备中统一应用安全机制非常困难。此外，智能家居设备采集到的敏感数据与人类的生产和生活息息相关。这些攻击不仅会造成经济损失，而且还会危害人类的健康和安全。
[0004]分布式拒绝服务攻击（Distributed Denial
‑
of
‑
Service, DDoS）是对物联网危害性较高的攻击之一。而最具破坏性的互联网攻击是利用物联网设备及其安全缺陷创建僵尸网络，发起DDoS洪泛攻击。事实也证明，在一个布满物联网设备的智能城市中，攻陷一个连接互联网的智能灯泡就可以控制所有的灯。为了避免这些物联网安全风险，我们需要完善物联网不足的安全防御环境和入侵检测系统（Intrusion Detection System, IDS）。由于物联网环境的动态性和可用计算资源的有限性，传统的入侵检测技术在物联网生态系统中难以实现。与此同时，机器学习技术，一种不需要显式编程，在动态网络中表现良好的人工智能技术，正在迅速发展。利用机器学习的IDS将通过持续学习来适应环境的变化，这也将为物联网安全带来新的解决方案。

技术实现思路

[0005]本专利技术要解决的技术问题是在物联网智能家居场景中，为物联网设备提供一种快速、准确的入侵检测方法。
[0006]为此目的，本专利技术提出的技术方案为一种基于流量画像与机器学习的物联网入侵
检测方法，包括以下步骤：S1.由流量捕获模块捕获网段内流量数据包，按特定规则将数据包聚合为数据流；S2.由规则集检测模块执行第一轮检测，根据数据流的标识符位与规则集进行匹配；S3.匹配成功则判断为良性并记录，结束检测，若失败则进行第二轮检测；S4.由机器学习检测模块执行第二轮检测，由机器学习模型根据数据流携带的统计特征进行分类；S5.若分类为良性则不报警只记录，若为攻击则报警并记录，同时提供预测的攻击类型以及对应概率；S6.机器学习模块更新规则集。
[0007]进一步，前述S1中，由流量捕获模块捕获的数据包将会被整合为数据流。数据流是一系列在一定时间间隔内经过流量捕获模块的数据包提取统计特征后形成的数据集合，流量捕获模块提取传输层数据包的统计信息。数据流以一个TCP流或一个UDP流为一个单位，TCP流以FIN标志为结束，UDP流以设置的flowtimeout时间为限制，超过时间则标志为结束，随后统计一条数据流中的统计信息作为提取的特征，且统计的特征都分为正反向，规定由源地址到目的地址为正向，目的地址到源地址为反向，为每个数据流构建一个标志位称为Flow ID，包含以下5个字段：(1)Source IP：源IP地址；(2)Destination IP：目的IP地址；(3)Source port：源端口号；(4)Destination port：目的端口号；(5)Protocol number：协议号。
[0008]进一步，前述S2中，规则集检测模块将从每一条数据流的Flow ID中提取源IP地址、目的IP地址和协议号，该模块会将源IP地址、目的IP地址两者中与本地设备IP地址相同的标注为内部IP地址，另一个标注为外部IP地址，并组成[协议号，内部IP地址，外部IP地址]的判别式与规则集中的规则进行匹配。匹配方法为常规遍历，即将判别式与规则集中规则逐条比对是否相同。规则集中的规则格式包含以下3个字段：（1）Protocol number：协议号；（2）External IP：外部IP地址；（3）Internal IP：内部IP地址。
[0009]进一步，前述S3中，若判别式与规则集中的规则匹配成功则判断为良性数据流，同时记录到普通日志文件中，文件中标注对应数据流的Flow ID，时间戳以及判断结果，若匹配失败，则此数据流为未知流，规则集检测模块交付机器学习检测模块进行第二轮检测。
[0010]进一步，前述S4，机器学习检测模块在收到规则集检测模块传来的数据流后，将会去除数据流中代表特定网络环境的统计特征如Flow ID、源IP地址、目的IP地址、源端口号、目的端口号、协议号以及时间戳，这些特征可能会使机器学习模型过拟合到固定的网段从而失去泛化能力，所以这些特征不会参与机器学习模型训练以及检测的流程。随后剩余特征数据将由机器学习模型处理并进行多分类结果，结果包含类别名称以及相应概率。
[0011]进一步，前述S5中，由机器学习检测模块中的机器学习模型处理数据流的特征数
据后，若分类结果为良性类则记录在普通日志文件中，文件中标注对应数据流的Flow ID，时间戳、判断结果良性以及对应概率。若分类为某一具体攻击类别则报警，即输出警告语句，语句内容包含以下信息：(1)Flow ID：数据流的标识符；(2)Timestamp：时间戳；(3)Attack category：预测的攻击类别；(4)Category probability：对应的类别概率；以上信息也会同时记录在警报日志文件中。
[0012]进一步，前述S6中，机器学习检测模块会通过对设备正常流量进行画像即记录与分析，构建待定规则记录表，从而更新规则集检测模块中的规则集。当一条数据流被机器学习检测模块检测为良性类且预测良性概率满足设定阈值时，则其中的Flow ID将会进行规则化，即提取源IP地址、目的IP地址和协议号，组成[协议号，内部IP地址，外部IP地址]的待定规则，并存储在待定规则记录表（Record_List）中，表中会对该待定规则设定计数器与计时器，若新进入机本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于流量画像与机器学习的物联网入侵检测方法，其特征在于，包括以下步骤：S1.由流量捕获模块捕获网段内流量数据包，按特定规则将数据包聚合为数据流；S2.由规则集检测模块执行第一轮检测，根据数据流的标识符位与规则集进行匹配；S3.匹配成功则判断为良性并记录，结束检测，若失败则进行第二轮检测；S4.由机器学习检测模块执行第二轮检测，由机器学习模型根据数据流携带的统计特征进行分类；S5.若分类为良性则不报警只记录，若为攻击则报警并记录，同时提供预测的攻击类型以及对应概率；S6.机器学习模块更新规则集。2.如权利要求1所述的基于流量画像与机器学习的物联网入侵检测方法，其特征在于，所述S1中，由流量捕获模块捕获的数据包将会被整合为数据流，数据流是一系列在一定时间间隔内经过流量捕获模块的数据包提取统计特征后形成的数据集合，流量捕获模块提取传输层数据包的统计信息，数据流以一个TCP流或一个UDP流为一个单位；TCP流以FIN标志为结束，UDP流以设置的flowtimeout时间为限制，超过时间则标志为结束，随后统计一条数据流中的统计信息作为提取的特征，且统计的特征都分为正反向，规定由源地址到目的地址为正向，目的地址到源地址为反向，为每个数据流构建一个标志位称为Flow ID，包含以下5个字段：（1）Source IP：源IP地址；（2）Destination IP：目的IP地址；（3）Source port：源端口号；（4）Destination port：目的端口号；（5）Protocol number：协议号。3.如权利要求1所述的基于流量画像与机器学习的物联网入侵检测方法，其特征在于，所述S2中，规则集检测模块将从每一条数据流的Flow ID中提取源IP地址、目的IP地址和协议号，该规则集检测模块会将源IP地址、目的IP地址两者中与本地设备IP地址相同的标注为内部IP地址，另一个标注为外部IP地址，并组成[协议号，内部IP地址，外部IP地址]的判别式与规则集中的规则进行匹配，匹配方法为常规遍历，即将判别式与规则集中规则逐条比对是否相同，规则集中的规则格式包含以下3个字段：（1）Protocol number：协议号；（2）External IP：外部IP地址；（3）Internal IP：内部IP地址。4.如权利要求1所述的基于流量画像与机器学习的物联网入侵检测方法，其特征在于，所述S3中，若判别式与规则集中的规则匹配成功则判断为良性数据流，同时记录到普通日志文件中，文件中标注对应数据流的Flow ID，时间戳以及判断结果，若匹配失败，则此数据流为未知流，规则集检测模块交付机器学习检测模块进行第二轮检测。5.如权利要求1所述的基于流量画像与机器学习的物联网入侵检测方法，其特征在于，所述S4中，机器学习检测模块在收到规则集检测模块传来的数据流后，将会去除数据流中代表特定网络环境的统计特征如Flow ID、源IP地址、目的IP地址、源端口号、目的端口号、协议号以及时间戳，这些特征会使机器学习模型过拟合到固定的网段从而失去泛化能力，
所以这些特征不会参与机器学习模型训练以及检测的流程，随后剩余特征数据将由机器学习模型处理并进行多分类结果，结果包含类别名称以及相应概率。6.如权利要求1所述的基于流量画像与机器学习的物联网入侵检测方法，其特征在于，所述S5中，由机器学习检测模块中的机器学习模型处理数据流的特征数据后，若分类结果为良性类则记录在普通日志文件中，文件中标注对应数据流的Flow ID，时间戳、判断结果良性以及对应概率，若分类为某一具体攻击类别则报警，即输出警告语句，语句内容包含以下信息：Flow ID：数据...

【专利技术属性】
技术研发人员：童飞，何峰，张玉健，
申请(专利权)人：东南大学，
类型：发明
国别省市：