配电房物联网中设备类型识别方法技术

本发明专利技术公开一种配电房物联网中设备类型识别方法。本发明专利技术首先利用探针服务器进行主动扫描，抓取日志并通过流处理的方式对日志进行处理，快速获取当前的设备基础信息，再依据不同的功能模型，多种渠道提取类型指纹特征，在进行深度的数据清洗以及工程化特征后，根据类型指纹进行设备模型画像，并结合在线学习的方法搭建流处理设备识别模型，针对不同的应用场景，对类型模型采取进一步测试、评估与优化。本发明专利技术可以在配电房的物联网环境中，提供一种快速发现、实时响应、准确定位物联网设备的分类方法。

【技术实现步骤摘要】
配电房物联网中设备类型识别方法
本专利技术属于配电房物联网领域，涉及一种配电房物联网中设备类型识别方法。
技术介绍
在配电房物联网环境中，大量的传统设备在进行数字化改造时几乎没有配置防护能力，影响了整个系统的安全性和可靠性。同时设备类型识别作为进行物联网安全防护的重要基础，大部分物联网的安全连接都是建立在准确的设备类型识别之上，因此高效的、精确的设备类型识别方法十分有必要。机器学习算法已经广泛被利用在设备识别的分类场景中，然而机器学习的方法需要大量的数据作为支撑。在一个新的环境中，如果利用通过之前环境数据训练出来的模型，当前可以通过在线学习的方法，根据反馈数据实时快速地对模型进行调整，让模型适应新环境的变化来提高模型的准确率。但是对于已经存在的在线学习方法，一方面，以批处理的方法获取训练数据并更新模型，在模型的训练过程中会极大地占用系统资源，并且模型的更新很难具有实时性，另一方面，在模型刚开始搭建在新的环境中时，也难以让模型在刚部署的阶段有一个实时稳定的分类效果。
技术实现思路
本专利技术所要解决的技术问题是克服上述现有技术存在的缺陷，提供一种配电房物联网中设备类型识别方法，以获得设备最终的类型判别，实现快速发现、实时响应、准确定位配电房物联网中设备。为此，本专利技术采用如下的技术方案：配电房物联网中设备类型识别方法，其步骤包括：对于通过镜像和经过交换机的流量，采用旁路解析生成流量日志；根据用户指定IP范围，利用探针服务器进行主动扫描，根据不同的传输协议，主动向网络中设备发送不同的协议指令，获取网络中设备的详细信息并生成流量日志；利用本地文件的日志数据采集器主动检测流量日志更新，根据更新的日志信息生成日志流输入到流处理模型中；在流处理模型中，根据得到的设备信息，按照不同设备的MAC地址对数据进行划分，首先将MAC地址作为设备的唯一标识，然后对与该MAC地址相关的数据进行整理建指纹表，表中数据作为该设备的指纹；当新的日志进入设备指纹表中时，若日志中相关的MAC地址在表中已经存在，则对MAC地址对应的设备指纹特征进行改动，若日志相关的某个MAC地址在表中不存在，则通过日志中MAC地址相关的数据生成新的设备指纹；之后，将新生成或有所改动的设备指纹以流的形式，分别传入设备画像流处理模型以及机器学习流处理模型中；结合设备画像流处理模型以及机器学习流处理模型，对物联网设备指纹进行分析，从而获得设备最终的类型判别。为了让流处理模型一开始便具备更高的准确率，并且可以在反馈数据增加的时候不断提升模型的性能，本专利技术结合了设备画像和在线学习搭建了新的学习模型，并且利用流处理的方法。本专利技术抓取流量日志，利用流处理的方法在日志中实时地进行指纹提取，在日志流中，创建多个流处理功能模块对流数据进行处理和分析，最终利用设备画像流处理模块和机器学习流处理模块联合对设备指纹进行分析，从而获得设备最终的类型判别。进一步地，在流处理的流程中，首先对不同的日志信息进行筛选：针对HTTP、SSL、SMB、MQTT、DNS、DHCP、onvif网络协议日志，分析日志，提取类型判断需要用到的特征，确定以下的特征值作为类型判定的依据：onvif协议、流量进出比、源IP常访问端口、目的IP监听端口、dns注册域名、源IP常用的软件包、user_agent用户代理。进一步地，当设备指纹流入设备画像流处理模型中，对设备指纹进行分析认定，采用一维指纹特征和多维指纹特征相结合的方法，优先采用一维特征判定，其次采用多维特征判定。进一步地，若场景中需要识别的设备类型有N个，分别为d1,d2,…,dN，则设备画像流处理模型最终输出命中每一类型设备的概率为进一步地，对于进入机器学习流处理模型中的设备指纹数据，首先利用特征工程的方法，对其进行筛选和处理，其中特征处理包括数据清洗、数据规范化和特征衍生与提取；特征筛选采用过滤法、包装法和嵌入法；然后搭建相应的机器学习流处理模型。进一步地，所述的机器学习流处理模型的搭建包括模型选择和在线学习；所述的模型选择：通过对比模型对特征分布的要求、模型的鲁棒性、模型的资源消耗情况、模型的可更新性、模型的样本外准确率，选择基于Boosting和树形模型的XGBoost；所述的在线学习：针对有用户交互的场景，在基础的模型预测功能外，添加在线学习的特性，当模型判断的设备类型与用户的预期不符时，用户通过在交互页面上简单地更新设备的类型，从而一方面修正该设备的设备类型，另一方面更新模型。更进一步地，所述的模型更新逻辑如下：1)判断用户是否更新了设备的类型；2)若用户更新了设备类型，记录该设备不同时间段的特征；3)当特征数据积累到一定程度，在原模型的基础上，进一步训练模型，且提高最新特征数据的权重；4)保存训练好的新模型，并将新模型应用到后续的预测中；训练模型后，通过模型判断不同的设备，输出命中每一类型设备的概率进一步地，得到两个流处理模型的判断概率后，采用一种基于学习等级的权重配置方法对两个模型得到的概率结果进行投票，从而得到命中每一个设备的概率。进一步地，设定机器学习流处理模型针对不同设备类型识别的模型成熟度为：在模型部署到一个新的环境中后，按照不同设备的数据规模，对于不同的设备，设定阈值如在线学习阶段统计不同设备相关的训练数据数量则在一开始将模型成熟度初始化为(0,1)区间中的随机数或0.5，然后在每次在线学习中，更新每一个最后结合两个流处理模型，对物联网设备类型进行判断，输出命中每一类型设备的最终概率为：式中，为命中每一类型设备的最终概率。本专利技术具有的有益效果：本专利技术为了让流处理模型一开始便具备更高的准确率，并且可以在反馈数据增加的时候不断提升模型的性能，本专利技术结合了设备画像和在线学习搭建了新的学习模型，并且利用流处理的方法。本专利技术在配电房的物联网环境中，提供了一种快速发现、实时响应、准确定位物联网设备的分类方法。附图说明图1为本专利技术配电房物联网中设备类型识别方法的流程图。具体实施方式下面将结合具体实施方式和说明书附图对本专利技术技术方案作进一步具体说明。本实施例提供一种配电房物联网中设备类型识别方法，其步骤如下：对于通过镜像和经过交换机的流量，采用旁路解析生成流量日志。根据用户指定IP范围，利用探针服务器进行主动扫描，根据不同的传输协议(常见的有TCP、UDP等，或私有协议HikVision等)，主动向网络中设备发送不同的协议指令，获取网络中设备的详细信息并生成流量日志。利用本地文件的日志数据采集器(Filebeat)主动检测流量日志的更新，根据更新的日志信息生成日志流输入到流处理模型中。在流处理模型中，根据得到的设备信息，按照不同设备的MAC地址对数据进行划分，首先将MAC地址作为设备的唯一标识，然后对与该MAC地址相关的数据进行整理建指纹表，表中数据作为该设备的本文档来自技高网...

【技术保护点】
1.配电房物联网中设备类型识别方法，其特征在于，包括：/n对于通过镜像和经过交换机的流量，采用旁路解析生成流量日志；/n根据用户指定IP范围，利用探针服务器进行主动扫描，根据不同的传输协议，主动向网络中设备发送不同的协议指令，获取网络中设备的详细信息并生成流量日志；/n利用本地文件的日志数据采集器主动检测流量日志，快速生成日志流，及时输入到流处理模型中；/n在流处理模型中，根据得到的设备信息，按照不同设备的MAC地址对数据进行划分，首先将MAC地址作为设备的唯一标识，然后对与该MAC地址相关的数据进行整理建指纹表，表中数据作为该设备的指纹；当新的日志进入设备指纹表中时，若日志中相关的MAC地址在表中已经存在，则对MAC地址对应的设备指纹特征进行改动，若日志相关的某个MAC地址在表中不存在，则通过日志中MAC地址相关的数据生成新的设备指纹；之后，将新生成或有所改动的设备指纹以流的形式，分别传入设备画像流处理模型以及机器学习流处理模型中；/n结合设备画像流处理模型以及机器学习流处理模型，对物联网设备指纹进行分析，从而获得设备最终的类型判别。/n

【技术特征摘要】
1.配电房物联网中设备类型识别方法，其特征在于，包括：
对于通过镜像和经过交换机的流量，采用旁路解析生成流量日志；
根据用户指定IP范围，利用探针服务器进行主动扫描，根据不同的传输协议，主动向网络中设备发送不同的协议指令，获取网络中设备的详细信息并生成流量日志；
利用本地文件的日志数据采集器主动检测流量日志，快速生成日志流，及时输入到流处理模型中；
在流处理模型中，根据得到的设备信息，按照不同设备的MAC地址对数据进行划分，首先将MAC地址作为设备的唯一标识，然后对与该MAC地址相关的数据进行整理建指纹表，表中数据作为该设备的指纹；当新的日志进入设备指纹表中时，若日志中相关的MAC地址在表中已经存在，则对MAC地址对应的设备指纹特征进行改动，若日志相关的某个MAC地址在表中不存在，则通过日志中MAC地址相关的数据生成新的设备指纹；之后，将新生成或有所改动的设备指纹以流的形式，分别传入设备画像流处理模型以及机器学习流处理模型中；
结合设备画像流处理模型以及机器学习流处理模型，对物联网设备指纹进行分析，从而获得设备最终的类型判别。


2.根据权利要求1所述的配电房物联网中设备类型识别方法，其特征在于，在流处理的流程中，首先对不同的日志信息进行筛选：
针对HTTP、SSL、SMB、MQTT、DNS、DHCP、onvif网络协议日志，分析日志，提取类型判断需要用到的特征，确定以下的特征值作为类型判定的依据：onvif协议、流量进出比、源IP常访问端口、目的IP监听端口、dns注册域名、源IP常用的软件包、用户代理信息等。


3.根据权利要求1或2所述的配电房物联网中设备类型识别方法，其特征在于，当设备指纹流入设备画像流处理模型中，对设备指纹进行分析认定，采用一维指纹特征和多维指纹特征相结合的方法，优先采用一维特征判定，其次采用多维特征判定。


4.根据权利要求3所述的配电房物联网中设备类型识别方法，其特征在于，若场景中需要识别的设备类型有N个，分别为d1,d2,…,dN，则设备画像流处理模型最终输出命中每一类型设备的概率为


5.根据权利要求4所述的配电房物联网中设备类型识别方法，其特征在于，对于进入机器学习流处理模型中的设备指纹数据，首先利用特征工程的方法，对其进行筛选和处理，其中...

【专利技术属性】
技术研发人员：李霁远，孙歆，汪自翔，周辉，戴桦，孙昌华，李沁园，徐宏，徐梦宇，边珊，陈云，林蓓，杨中豪，周星宇，刘航宇，
申请(专利权)人：国网浙江省电力有限公司电力科学研究院，上海物盾信息科技有限公司，
类型：发明
国别省市：浙江;33