网络服务的检测方法、装置、电子设备及存储介质制造方法及图纸

本发明专利技术实施例公开了一种网络服务的检测方法、装置、电子设备及存储介质，网络服务的检测方法包括：获取IP网络的NetFlow数据流；从所述NetFlow数据流中提取用于识别网络服务的流量指标，并将所述流量指标输入web访问识别模型，识别所述流量指标是否为非离群点流量指标，其中，所述web访问识别模型是基于网站的NetFlow数据流样本预先训练得到；如果是非离群点流量指标，则确定所述NetFlow数据流对应网络服务，并上报所述NetFlow数据流以确定所述网络服务是否已备案。本发明专利技术的实施例，可以提升网络服务检测的准确率，同时检测速度快、效率高。效率高。效率高。

【技术实现步骤摘要】
网络服务的检测方法、装置、电子设备及存储介质


[0001]本专利技术涉及数据处理
，具体涉及一种网络服务的检测方法、装置、电子设备及存储介质。

技术介绍

[0002]目前对于已经注册备案的网站，通过监管和安全手段进行安全防护，但对于私开web服务、未备案网站的发现主要是通过从核心交换机获取镜像流量分析其中HTTP(超文本传输协议，Hypertext Transfer Protocol)链接的HTTP分析技术，或者通过注入初始URL(统一资源定位符，Uniform Resource Locator)然后爬虫主动遍历网站间的链接并分析这些链接达到发现网站的两种方法来实现。
[0003]然而对于HTTP分析方法，需要获取全量流量信息，需要占用大量的存储资源、带宽资源，分析过程也需要大量的IT资源来支撑，且需要获取实时流量，占用核心交换机负荷过大，容易导致核心交换机负载过大，进而影响网络稳定性，导致核心交换机访问访问用户感知变差。对于爬虫遍历的方法，部分web网站私开者可以有意识的绕开爬虫，在开发web时不允许爬虫进行爬取，或网站设立时间短与其他网站关联关系较弱，会导致网址识别失败，且使用爬虫技术随机性比较大，同样存在分析时间长，占用资源过大的问题。

技术实现思路

[0004]基于现有技术中存在的问题，本专利技术实施例提出一种网络服务的检测方法、装置、电子设备及存储介质。
[0005]第一方面，本专利技术实施例提供了一种网络服务的检测方法，包括：
[0006]获取IP网络的NetFlow数据流；
[0007]从所述NetFlow数据流中提取用于识别网络服务的流量指标，并将所述流量指标输入web访问识别模型，识别所述流量指标是否为非离群点流量指标，其中，所述web访问识别模型是基于网站的NetFlow数据流样本预先训练得到；
[0008]如果是非离群点流量指标，则确定所述NetFlow数据流对应网络服务，并上报所述NetFlow数据流以确定所述网络服务是否已备案。
[0009]进一步地，所述获取IP网络的NetFlow数据流，包括：
[0010]启动UDP监听线程，通过所述UDP监听线程从所述IP网络的路由器上采集NetFlow数据；
[0011]将NetFlow数据写入队列；
[0012]从所述队列取出NetFlow数据，并拆分所述NetFlow数据，得到NetFlow拆分数据；
[0013]将NetFlow拆分数据写入内存数据表；
[0014]从所述内存数据表中读取NetFlow拆分数据，并对所述NetFlow拆分数据进行聚合，得到NetFlow数据流；
[0015]存储所述NetFlow数据流。
[0016]进一步地，所述存储所述NetFlow数据流，包括：
[0017]以预定的文件存储格式，将所述NetFlow数据流存储到分布式文件系统HDFS。
[0018]进一步地，在从所述NetFlow数据流中提取用于识别网络服务的流量指标，并将所述流量指标输入web访问识别模型，识别所述流量指标是否为非离群点流量指标之前，还包括：基于网站的NetFlow数据流样本对所述web访问识别模型进行训练。
[0019]进一步地，所述基于网站的NetFlow数据流样本对所述web访问识别模型进行训练，包括：
[0020]从所述网站的NetFlow数据流样本中提取所述流量指标，得到流量指标样本集合；
[0021]对所述流量指标样本集合进行排序，并基于排序结果得到所述流量指标样本集合的上四分位值和下四分位值；
[0022]基于所述上四分位值和下四分位值，确定非离群点流量指标的范围。
[0023]进一步地，在确定所述NetFlow数据流对应网络服务之后，还包括：
[0024]将所述NetFlow数据流的所述流量指标更新所述流量指标样本集合，以便基于更新后的流量指标样本集合修正所述非离群点流量指标的范围。
[0025]进一步地，所述用于识别网络服务的流量指标包括源端口信息、bps信息和平均包长中的部分或全部。
[0026]第二方面，本专利技术的实施例提供一种网络服务的检测装置，包括：
[0027]获取模块，用于获取IP网络的NetFlow数据流；
[0028]识别模块，用于从所述NetFlow数据流中提取用于识别网络服务的流量指标，并将所述流量指标输入web访问识别模型，识别所述流量指标是否为非离群点流量指标，其中，所述web访问识别模型是基于网站的NetFlow数据流样本预先训练得到；
[0029]网络服务确定模块，用于在所述流量指标是非离群点流量指标时，确定所述NetFlow数据流对应网络服务，并上报所述NetFlow数据流以确定所述网络服务是否已备案。
[0030]第三方面，本专利技术实施例还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如第一方面所述的网络服务的检测方法。
[0031]第四方面，本专利技术实施例还提供了一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如第一方面所述的网络服务的检测方法。
[0032]由上述技术方案可知，本专利技术实施例提供的网络服务的检测方法、装置、电子设备及存储介质，通过从NetFlow数据流中提取少量的可用于识别网络服务的流量指标，对流量指标进行检测，不需要对整体流量信息进行检测，从而，提升了检测的效率，并且可以实时地检测。另外，通过web访问识别模型确定出流量指标是否为非离群点流量指标的方式确定NetFlow数据流是否对应网络服务，可以有效提升检测准确率。
附图说明
[0033]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以
根据这些图获得其他的附图。
[0034]图1是本专利技术一实施例提供的网络服务的检测方法的流程图；
[0035]图2是本专利技术另一实施例提供的网络服务的检测方法的流程图；
[0036]图3是本专利技术一实施例提供的web访问识别模型训练示意图；
[0037]图4是本专利技术一实施例提供的网络服务的检测装置的结构框图；
[0038]图5是本专利技术一实施例提供的电子设备的结构示意图。
具体实施方式
[0039]下面结合附图，对本专利技术的具体实施方式作进一步描述。以下实施例仅用于更加清楚地说明本专利技术的技术方案，而不能以此来限制本专利技术的保护范围。
[0040]以下结合附图描述根据本专利技术实施例的网络服务的检测方法、装置、电子设备及存储介质。
[0041]图1示出了本专利技术一实施例提供的网络服务的检测方法的流程图。如图1所示，并结合图2，本发本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种网络服务的检测方法，其特征在于，包括：获取IP网络的NetFlow数据流；从所述NetFlow数据流中提取用于识别网络服务的流量指标，并将所述流量指标输入web访问识别模型，识别所述流量指标是否为非离群点流量指标，其中，所述web访问识别模型是基于网站的NetFlow数据流样本预先训练得到；如果是非离群点流量指标，则确定所述NetFlow数据流对应网络服务，并上报所述NetFlow数据流以确定所述网络服务是否已备案。2.根据权利要求1所述的网络服务的检测方法，其特征在于，所述获取IP网络的NetFlow数据流，包括：启动UDP监听线程，通过所述UDP监听线程从所述IP网络的路由器上采集NetFlow数据；将NetFlow数据写入队列；从所述队列取出NetFlow数据，并拆分所述NetFlow数据，得到NetFlow拆分数据；将NetFlow拆分数据写入内存数据表；从所述内存数据表中读取NetFlow拆分数据，并对所述NetFlow拆分数据进行聚合，得到NetFlow数据流；存储所述NetFlow数据流。3.根据权利要求2所述的网络服务的检测方法，其特征在于，所述存储所述NetFlow数据流，包括：以预定的文件存储格式，将所述NetFlow数据流存储到分布式文件系统HDFS。4.根据权利要求1
‑
3任一项所述的网络服务的检测方法，其特征在于，在从所述NetFlow数据流中提取用于识别网络服务的流量指标，并将所述流量指标输入web访问识别模型，识别所述流量指标是否为非离群点流量指标之前，还包括：基于网站的NetFlow数据流样本对所述web访问识别模型进行训练。5.根据权利要求4所述的网络服务的检测方法，其特征在于，所述基于网站的NetFlow数据...

【专利技术属性】
技术研发人员：常乐，胡建强，
申请(专利权)人：中国移动通信集团山西有限公司，
类型：发明
国别省市：