一种检测流量采集设备数据采集漏报的方法及装置制造方法及图纸

一种检测流量采集设备数据采集漏报的方法涉及信息技术领域的信息安全技术，本发明专利技术包括步骤1是活跃IP数据漏报发现，步骤2是活跃域名数据漏报发现。本发明专利技术使用DNS数据源，对原有的数据有所补充，提取其中的属性符合机房内的数据，再进行模拟请求，既降低了模拟请求的性能需求，又提供了更加全面的模拟请求，使发现的漏报更加全面准确。在进行模拟请求时，本发明专利技术先进行http（get/post）请求，之后将模拟请求结果返回值不在合理范围内的数据再进行https（get/post）请求。这种方式相比于全部数据进行http&https模拟请求能够降低模拟请求的性能需求，相比于只做http模拟请求也能够增加模拟请求的全面性。本发明专利技术可以有效的提高网络监管水平，将信息安全管理系统漏报的数据找出，用以分析信息安全管理系统的漏报原因。

A method and device for the leakage of data acquisition for detecting flow collection equipment

A method for detecting the missing data of data collection in a flow collection device involves information security technology in the field of information technology. The invention includes step 1, activating IP data missing report, and step 2. The invention uses the DNS data source, add something to the original data, which accords with the attribute extraction room data, and then simulate the request, not only reduces the performance requirements of simulation request, and provides a more comprehensive simulation request, make the report found more comprehensive and accurate. When simulating requests, the invention first requests HTTP (get/post), then returns the simulated request results to the data within a reasonable range, and then requests HTTPS (get/post). In this way, http&, HTTPS simulation requests can reduce the performance requirement of simulation requests compared with all data, and increase the simulation request comprehensiveness compared to HTTP simulation requests only. The invention can effectively improve the level of network supervision, identify the missing data of the information security management system, and analyze the reasons for missing information of the information security management system.

【技术实现步骤摘要】
一种检测流量采集设备数据采集漏报的方法及装置
本专利技术涉及信息
的信息安全
，尤其是互联网管控领域。
技术介绍
目前，各个省市的通信行业相关互联网管理部门及企业，通过在省市内的全部企业运营商处部署活跃流量采集设备，以获取网络流量数据，其中通过http/https请求访问流量数据为主，部分设备也包含，FTP、POP3、STMP等其他访问。相关互联网管理部门及企业通过采集设备获取并记录访问流量数据中的源IP、访问域名、访问域名的IP地址等信息，用作对于全省网络发展情况的分析的数据来源。一般，在企业运营商处部署的活跃流量数据采集设备为EU即ExecutionUnit执行单元，EU设备将采集通过运营商的全部http(get/post)或https(get/post)返回状态码为200的请求，并记录有效访问的流量数据以及流量数据属性。IDC/ISP信息安全管理系统是IDC/ISP经营者建设的具有基础数据管理、访问日志管理、信息安全管理等功能的信息安全管理系统，以满足电信管理部门和IDC/ISP经营者的信息安全管理需要。IDC/ISP信息安全管理系统包括控制单元CU和执行单元EU两个部分。CU以省为单位集中部署，EU部署在各IDC出口，并接收CU统一下发的指令。工信部统一要求所有IDC和ISP经营者必须安装信息安全管理系统，并与工信部做接口。相关互联网管理部门及企业对于异常数据的严厉处置，导致EU设备从设计上采取了类似白名单方式的降噪手段，凡是没有被运营商记录为在机房内的IP全部进行剔除，EU设备对于采集到的流量数据使用了以上类白名单的粗暴降噪手段，导致上报给相关互联网管理部门及企业的流量数据存在大量的漏报情况。例如，一种EU设备通过分光镜像分流器的方式，镜像采集机房链路里面全部上下行活跃流量数据，将上行数据的目的IP与部署企业运营商提供的机房内IP段进行比较，不在已知IP段内的活跃数据直接剔除，这种方式能够有效的剔除机房外等噪音数据，但同时也会将企业运营商未记录的机房内数据剔除，导致漏报数据的产生。由于互联网技术的复杂多样和互联网数据的动态变化，运营商做不到实时掌控IDC机房内的全部IP地址和网站状态，漏报在EU设备的现有降噪机制下成为普遍现象。同时也存在其他原因的漏报现象，在实际生产环境中，发现大量漏报情况。相关互联网管理部门也相对重视。由于漏报数据的存在，相关互联网管理部门及企业基于该活跃流量采集数据的分析结果会出现不准确不完善的情况。因此需要采用一种有效的检测出活跃流量采集设备漏报数据的检测方法。此外，其他使用类似流量采集设备获取相关域名IP等信息的方案同样也需要类似的漏报核验方法及设备，包括资源协作系统云机房、内容分发系统。通过对现有技术的检索，并未发现针对EU设备漏报的解决方案，并没有相关的论文和专利申请，考虑到使用现有技术的组合解决该问题，涉及以下技术点：1、漏报数据的发现，2、所发现漏报数据的有效性检测。现有技术中，漏报数据的发现涉及漏报数据的获取，由于工信部同意要求所有IDC必须建立信息安全管理系统，所以所有IDC都具备EU设备，可是从EU设备获取的数据本身已经是降噪后的数据不能够有效发现漏报的数据。现有技术中还存在IDC建设资源管理系统的情况，资源管理系统可以获取并记录EU设备降噪前的数据，并以企业人工上报的方式由IDC管理企业上报来取得相关数据。现有技术中，漏报数据的有效性检测可以通过模拟请求的方式来确定，所发现的漏报数据是否有效。采用现有技术的组合完成检测流量采集设备数据采集漏报的方法具有以下难点：模拟请求的数据源的获取。如果不使用本专利技术的数据源获取，现在的数据源主要有企业人工上报或者信息安全管理系统上报的基础数据，使用全量数据进行模拟请求的话请求量过大，对于性能的要求比较大；而使用信息安全管理系统上报的基础数据进行模拟请求，则会导致模拟请求的数据不完整无法找出漏报的数据。本专利技术提出了一种通过提取准确有效的数据源并合理的进行模拟请求来确定数据漏报情况的方法及装置。考虑到模拟请求对于模拟请求设备性能以及数据流量带宽都有着一定的要求，本专利技术在数据源获取，数据源数据优化，模拟请求步骤方面都有创造性优化。本专利技术所述的模拟请求指的是使用域名或IP地址，模拟http访问，模拟https访问。现有技术中有CN201510959078.0，一种Netflow流量数据的采集方法和设备，本专利技术公开了一种Netflow流量数据的采集方法和设备。所述方法包括设定接收外部网络设备发送的Netflow流量数据包的端口，并实时监听该端口；在监听到Netflow流量数据包时，按照Netflow协议将接收到的Netflow流量数据包解析为键值对结构，并将所述键值对结构与配置文件中配置的属性字段匹配，将匹配出的键值对数据封装为消息事件数据发送给传输通道进行缓存；从传输通道中获取所述消息事件数据，并将获取到的消息事件数据写入到配置文件指定目录下的文件中；将写有消息事件数据的文件下载导入到数据库中作为流量原始数据。本专利技术的技术方案采用流式处理实现Netflow流量数据的接收、分析、传送和存储，相比于单一处理方式具有更高的效率。该专利与本专利技术属于同一个
，但是应用不同，方法不同，目的不同，该专利说明了流量采集可以使用多种手段，而本专利技术流量采集只是数据来源的方式，本专利技术的数据来源也不使用Netflow。现有技术中有《基于SNMP的网络流量数据采集研究与实现》第26卷第3期V_0I.26ND.3，长春师范学院（自然科学版）2007年6月。针对目前网络管理的数据流控制问题，提出一种利用SNMP协议实现对路由器中数据流量采集的方法。通过管理工作站(SNMPManager)对代理（Agent）中的变量访问，来提取路由器中的网络数据流量信息。该论文说明数据流浪采集的方式不是唯一的，通过SNMP协议也可以做数据流量的采集，同样本专利技术在数据采集方面没有使用SNMP协议。本专利技术用到技术术语五元组，五元组是通信术语。通常是指源IP地址，源端口，目的IP地址，目的端口和传输层协议。
技术实现思路
基于现有技术的不足本专利技术提供了一种检测流量采集设备数据采集漏报的方法及装置，包括两大步骤，步骤1是活跃IP数据漏报发现；步骤2是活跃域名数据漏报发现；步骤1活跃IP数据漏报发现包括：（1）IP基准表获取：针对于活跃IP数据的漏报情况，需要获取省内全面的机房内IP数据，作为针对信息安全管理系统漏报的数据的核验基准；信息安全管理系统机房内IP基准表获取流程为：a)在企业人工上报以及企业IDC基础上报的IP数据中，找出其中使用方式为非动态且有机房属性的IP数据；b)在企业人工上报以及企业信息安全管理系统基础上报的IP数据中，找出其中使用方式为静态的IP数据；c）获取一个月到三个月内的活跃累计IP数据，并剔除不合法IP，剔除内网IP，剔除广播IP，剔除重复；d）将通过前面步骤a）步骤b）步骤c）中获取的数据进行去重融合处理，得到融合结果数据；e）通过第三方离线数据以及第三方接口获得融合结果数据的地市属性，将非上报IP所处省市的IP数据进行剔除，最终获得全省市最全面的机房内IP数据作为IP基准表；其中非上报IP所处省市的IP数据指由行政命令或保本文档来自技高网...

【技术保护点】
一种检测流量采集设备数据采集漏报的方法，其特征在于由步骤1活跃IP数据漏报发现和步骤2活跃域名数据漏报发现组成；步骤1活跃IP数据漏报发现包括：（1）IP基准表获取：a) 在企业人工上报以及企业IDC基础上报的IP数据中，找出其中使用方式为非动态且有机房属性的IP数据；b) 在企业人工上报以及企业信息安全管理系统基础上报的IP数据中，找出其中使用方式为静态的IP数据；c）获取一个月到三个月内的活跃累计IP数据，并剔除不合法IP，剔除内网IP，剔除广播IP，剔除重复；d）将通过前面步骤a）步骤b）步骤c）获取的数据进行去重融合处理，得到融合结果数据；e）通过第三方离线数据以及第三方接口获得融合结果数据的地市属性，将非上报IP所处省市的IP数据进行剔除，最终获得全省市最全面的机房内IP数据作为IP基准表；其中非上报IP所处省市的IP数据指由行政命令或保密级别要求不允许上报的IP数据；（2）对IP基准表内全部IP做模拟请求，建立模拟请求成功表：对全省市最全面的机房内IP数据进行模拟请求，模拟请求时需要使用socket或者curl请求针对IP地址加端口先进行http的get/post请求，若返回码不在合理范围，则再进行https的get/post请求；记录返回码在合理范围内的IP，记录并建立模拟请求成功表；（3）补充模拟请求成功表数据：增加DNS流量数据并解析出域名和域名的解析IP数据，对域名的解析IP数据进行模拟请求，具体步骤是：a)由DNS流量采集设备提供DNS流量数据，进行降噪去重处理后，在五元组的数据中获得当日的有效域名以及域名的解析IP数据；b)根据域名和域名的解析IP数据先进行http的get/post请求，若返回码不在合理范围，则再进行https的get/post请求；记录所有返回码在合理范围内的IP，并输入到模拟请求成功表；（4）活跃流量数据与模拟请求成功表的比对计算找出信息安全管理系统漏报的IP数据：当日模拟请求的数据将被信息安全管理系统的活跃流量采集设备进行采集，并于次日作为活跃流量数据进行上报，因此在次日进行前一日的活跃流量数据与模拟请求成功表的比对计算，找到模拟请求成功但未由信息安全管理系统的活跃流量采集设备上报的活跃IP数据，并研究活跃流量采集设备的漏报情况：a)将信息安全管理系统的活跃流量采集设备采集的活跃流量IP数据进行降噪处理，获得活跃IP表；b)使用同一日的模拟请求成功表与活跃IP表进行比对，找到当日活跃采集未采集到和次日未上报的IP数据，为信息安全管理系统漏报的IP数据；步骤2活跃域名数据漏报发现包括：（1）域名IP关系基准表获取：a)通过企业人工上报数据以及DNS流量采集数据、爬虫采集域名能够获取省市内全量的域名数据，使用模拟请求手段获取准确且全面的域名IP关系数据；b)获取活跃流量采集设备上报的，一个月到三个月的活跃域名IP关系累计数据并删除重复记录；c)将模拟请求获得和活跃流量采集设备上报累计的活跃流量域名IP关系数据进行去重融合，获得域名IP关系全量表；d)将获得的域名IP关系全量表同活跃IP数据漏报方案中获得的剔除了省市外IP数据和专线IP数据的机房内IP数据进行关联，找到全省市内的机房内非专线IP的域名并记录域名IP关系基准表；（2）对域名IP关系基准表内全部域名进行模拟请求，建立域名IP关系模拟请求成功表：使用socket或curl请求，针对获得的机房内域名IP关系全量表中的域名先进行http的get/post请求，若返回码不在合理范围，则再进行https的get/post请求；记录返回码在合理范围内的对应域名IP关系作为域名IP关系模拟请求成功表；使用域名IP关系基准表中的域名进行模拟请求可以保证模拟请求的域名经过规定的机房；（3）补充域名IP关系模拟请求成功表数据使用当日的DNS流量数据中的域名和解析IP作为域名IP关系补充数据，对于域名IP关系补充数据进行模拟请求：a)由DNS流量采集设备提供DNS流量数据，进行降噪去重处理后获得当日的活跃域名及域名解析IP数据；b) 根据获取的域名和域名解析IP数据先进行http的get/post请求，若返回码不在合理范围，则再进行https的get/post请求；记录所有返回码在合理范围内的IP，录入域名IP关系模拟请求成功表；（4）活跃流量数据与域名IP关系模拟请求成功表的比对计算找出信息安全管理系统漏报的IP数据：当日模拟请求的数据将被信息安全管理系统的活跃流量采集设备进行采集，并作为活跃流量数据于次日进行上报，因此在次日进行前一日的活跃流量数据与域名IP关系模拟请求成功表的比对计算，找到模拟请求成功但未由信息安全管理系统的活跃流量采集设备上报的活跃域名数据，并研究活跃流量采集设备的漏报情况： a)将当日采集、次日上报的活跃流量数据进行降...

【技术特征摘要】
1.一种检测流量采集设备数据采集漏报的方法，其特征在于由步骤1活跃IP数据漏报发现和步骤2活跃域名数据漏报发现组成；步骤1活跃IP数据漏报发现包括：（1）IP基准表获取：a)在企业人工上报以及企业IDC基础上报的IP数据中，找出其中使用方式为非动态且有机房属性的IP数据；b)在企业人工上报以及企业信息安全管理系统基础上报的IP数据中，找出其中使用方式为静态的IP数据；c）获取一个月到三个月内的活跃累计IP数据，并剔除不合法IP，剔除内网IP，剔除广播IP，剔除重复；d）将通过前面步骤a）步骤b）步骤c）获取的数据进行去重融合处理，得到融合结果数据；e）通过第三方离线数据以及第三方接口获得融合结果数据的地市属性，将非上报IP所处省市的IP数据进行剔除，最终获得全省市最全面的机房内IP数据作为IP基准表；其中非上报IP所处省市的IP数据指由行政命令或保密级别要求不允许上报的IP数据；（2）对IP基准表内全部IP做模拟请求，建立模拟请求成功表：对全省市最全面的机房内IP数据进行模拟请求，模拟请求时需要使用socket或者curl请求针对IP地址加端口先进行http的get/post请求，若返回码不在合理范围，则再进行https的get/post请求；记录返回码在合理范围内的IP，记录并建立模拟请求成功表；（3）补充模拟请求成功表数据：增加DNS流量数据并解析出域名和域名的解析IP数据，对域名的解析IP数据进行模拟请求，具体步骤是：a)由DNS流量采集设备提供DNS流量数据，进行降噪去重处理后，在五元组的数据中获得当日的有效域名以及域名的解析IP数据；b)根据域名和域名的解析IP数据先进行http的get/post请求，若返回码不在合理范围，则再进行https的get/post请求；记录所有返回码在合理范围内的IP，并输入到模拟请求成功表；（4）活跃流量数据与模拟请求成功表的比对计算找出信息安全管理系统漏报的IP数据：当日模拟请求的数据将被信息安全管理系统的活跃流量采集设备进行采集，并于次日作为活跃流量数据进行上报，因此在次日进行前一日的活跃流量数据与模拟请求成功表的比对计算，找到模拟请求成功但未由信息安全管理系统的活跃流量采集设备上报的活跃IP数据，并研究活跃流量采集设备的漏报情况：a)将信息安全管理系统的活跃流量采集设备采集的活跃流量IP数据进行降噪处理，获得活跃IP表；b)使用同一日的模拟请求成功表与活跃IP表进行比对，找到当日活跃采集未采集到和次日未上报的IP数据，为信息安全管理系...

【专利技术属性】
技术研发人员：林飞，陈维，赵喜荣，易永波，毛俊，王钟，何涛，彭浩勇，廖艳云，易祥，
申请(专利权)人：北京亚鸿世纪科技发展有限公司，
类型：发明
国别省市：北京,11