一种抗噪音干扰的城域网数据核验装置制造方法及图纸

一种抗噪音干扰的城域网数据核验装置涉及信息技术领域。本发明专利技术由XDR数据采集器、重复数据剥离器、第一次降噪模块、第三方IP地址数据接口、流量归类模块、第二次降噪模块和IP地址归类模块组成；本发明专利技术通过抽离出有效数据，包括区域内外流向，可以更有效的利用流量数据对监管系统的数据覆盖度进行核验，可降低噪音数据在数据漏报发现中的影响。

【技术实现步骤摘要】
一种抗噪音干扰的城域网数据核验装置
本专利技术涉及信息
，特别是信息安全

技术介绍
DPI是一种基于数据包的深度检测技术，针对不同的网络应用层载荷进行深度检测，通过对报文的有效载荷检测决定其合法性。DPI设备通过对网络的关键点处的流量和报文内容进行检测分析，可以根据事先定义的策略对检测流量进行过滤控制，能完成所在链路的业务精细化识别、业务流量流向分析、业务流量占比统计、业务占比整形、以及应用层拒绝服务攻击、对病毒、木马进行过滤和滥用P2P的控制等功能。XDR数据是指基于全量数据进行处理后，生成的供信令监测平台和信令类应用使用的信令及业务的详细记录。通过DPI设备和城域网核心路由分光及部署点，能够对城域网核心路由流量数据具有采集能力。通过DPI设备进行采集流量数据，可形成XDR流量数据。但目前大部分DPI采集点设备不能或不能准确的判断向域内、向域外流向，而且现在的采集数据中由于各种原因，大量DPI设备中存在数据噪音，影响后期研判。目前，各个省市的通信行业相关部门及企业，通过在省市内的全部企业运营商处部署EU活跃流量采集设备，EU设备可以按照国家互联网监管的要求将采集到的流量中的http、https、ftp、pop3、smtp等等数据上报，以便国家通信监管部门进行数据监管，数据分析。但由于缺乏有效的核验方法，导致流量存在大量漏报情况。特别是针对链路在专线网络链路和特殊网络的漏覆盖检测，无法通过互联网通用手段或现行的监测系统方案去发现及核验，而城域网数据参与核验是一个比较有效的补充手段。本专利技术的一种抗噪音干扰的城域网数据核验装置能够将目前DPI设备采集的城域网DPI流量数据进行多重去噪音处理，分析获取域内数据，并对EU采集的数据提供核验依据，发现EU设备采集数据的错漏情况。
技术实现思路
鉴于现有技术的不足，本专利技术提供的一种抗噪音干扰的城域网数据核验装置由XDR数据采集器、重复数据剥离器、第一次降噪模块、第三方IP地址数据接口、流量归类模块、第二次降噪模块和IP地址归类模块组成；XDR数据采集器负责通过分光设备采集城域网设备产生的XDR数据，并在所采集的XDR数据中添加通过IP包分析得到的源MAC地址和目的MAC地址，生成包括源MAC地址和目的MAC地址的XDR数据；重复数据剥离器负责将包括源MAC地址和目的MAC地址的XDR数据进行查重处理，并将所有重复的包括源MAC地址和目的MAC地址的XDR数据执行保留一条包括源MAC地址和目的MAC地址的XDR数据去除重复的包括源MAC地址和目的MAC地址的XDR数据的操作，生成去重的XDR数据；第一次降噪模块对去重的XDR数据进行降噪处理，包括：1）去掉缺失源IP地址的去重的XDR数据，去掉缺失目的IP地址的去重的XDR数据；2）源MAC地址与目的MAC地址重复的数据；3）源IP地址与目的IP地址相同的数据；生成第一次降噪的XDR数据；由第三方IP地址数据接口获取IP地址及所在地对应数据提供方所提供的IP地址及所在地对应数据，常见的IP地址及所在地对应数据提供方包括：百度接口、新浪接口、腾讯接口、IPIPNET；由流量归类模块根据IP地址及所在地对应数据将第一次降噪的XDR数据补充源IP地址所在地和目的IP地址所在地，生成包含IP地址归属地的XDR数据；由流量归类模块根据IP地址所在地将IP地址划分为域内IP地址和域外IP地址，域内指城域网所在地范围内，域外指城域网所在地范围外；由流量归类模块将域内IP地址对应的MAC地址划分为域内MAC地址，将域外IP地址对应的MAC地址划分为域外MAC地址；由第二次降噪模块去除包含IP地址归属地的XDR数据中的源IP地址与目的IP地址同时为域内IP地址的数据，去除包含IP地址归属地的XDR数据中的源IP地址与目的IP地址同时为域外IP地址的数据，生成第二次降噪的XDR数据；由IP地址归类模块读取第二次降噪的XDR数据中的域内MAC地址和域外MAC地址；由IP地址归类模块读取重复数据剥离器生成的去重的XDR数据，对比第三方IP地址数据接口获取的IP地址及所在地对应数据，找出去重的XDR数据中未包含在IP地址及所在地对应数据中的源IP地址和目的IP地址，生成待归类的IP地址；由IP地址归类模块根据靠近域内MAC地址对应的域内IP地址的待归类IP地址为域内IP地址的规则提取再发现的域内IP地址，由IP地址归类模块根据靠近域外MAC地址对应的域外IP地址的待归类IP地址为域外IP地址的规则提取再发现的域外IP地址；由IP地址归类模块将再发现的域内IP地址与再发现的域外IP地址组成提供给EU查漏报用的IP数据。有益效果业内DPI设备采集的城域网数据虽然是高价值数据，但是由于数据噪音和无法有效低成本的分离有效数据，导致城域网高价值的流量数据不能更有效的使用在数据监管中。通过抽离出有效数据，包括区域内外流向，可以更有效的利用流量数据对监管系统的数据覆盖度进行核验。本专利可降低噪音数据在数据漏报发现中的影响。本专利接受一定范围的噪音可以某种程度上降低采集DPI设备成本及后期处理性能成本，并通过采用低成本处理方式，可对常见的噪音一直处在抗干扰状态。通过分析获得的DPI流量采集数据中的域内IP地址，能够有效的比对并发现目前管局IDC监管系统中漏覆盖的省内IP地址，能够有效的提升各省管局属地化管理本省数据。附图说明图1是本专利技术的系统结构图。具体实施方式参看图1实现本专利技术提供的一种抗噪音干扰的城域网数据核验装置由XDR数据采集器1、重复数据剥离器2、第一次降噪模块3、第三方IP地址数据接口4、流量归类模块5、第二次降噪模块6和IP地址归类模块7组成；XDR数据采集器1负责通过分光设备采集城域网设备产生的XDR数据，并在所采集的XDR数据中添加通过IP包分析得到的源MAC地址和目的MAC地址，生成包括源MAC地址和目的MAC地址的XDR数据；重复数据剥离器2负责将包括源MAC地址和目的MAC地址的XDR数据进行查重处理，并将所有重复的包括源MAC地址和目的MAC地址的XDR数据执行保留一条包括源MAC地址和目的MAC地址的XDR数据去除重复的包括源MAC地址和目的MAC地址的XDR数据的操作，生成去重的XDR数据；第一次降噪模块3对去重的XDR数据进行降噪处理，包括：1）去掉缺失源IP地址的去重的XDR数据，去掉缺失目的IP地址的去重的XDR数据；2）源MAC地址与目的MAC地址重复的数据；3）源IP地址与目的IP地址相同的数据；生成第一次降噪的XDR数据；由第三方IP地址数据接口4获取IP地址及所在地对应数据提供方所提供的IP地址及所在地对应数据，常见的IP地址及所在地对应数据提供方包括：百度接口、新浪接口、腾讯接口、IPIPNET；由流量归类模块5根据IP地址及所在地对应数据将第一次降噪的XDR数据补充源IP地址所在地和目的IP地址所在地，生成包含IP本文档来自技高网...

【技术保护点】
1.一种抗噪音干扰的城域网数据核验装置由XDR数据采集器、重复数据剥离器、第一次降噪模块、第三方IP地址数据接口、流量归类模块、第二次降噪模块和IP地址归类模块组成；/nXDR数据采集器负责通过分光设备采集城域网设备产生的XDR数据，并在所采集的XDR数据中添加通过IP包分析得到的源MAC地址和目的MAC地址，生成包括源MAC地址和目的MAC地址的XDR数据；/n重复数据剥离器负责将包括源MAC地址和目的MAC地址的XDR数据进行查重处理，并将所有重复的包括源MAC地址和目的MAC地址的XDR数据执行保留一条包括源MAC地址和目的MAC地址的XDR数据去除重复的包括源MAC地址和目的MAC地址的XDR数据的操作，生成去重的XDR数据；/n第一次降噪模块对去重的XDR数据进行降噪处理，包括：1）去掉缺失源IP地址的去重的XDR数据，去掉缺失目的IP地址的去重的XDR数据；2）源MAC地址与目的MAC地址重复的数据；3）源IP地址与目的IP地址相同的数据；生成第一次降噪的XDR数据；/n由第三方IP地址数据接口获取IP地址及所在地对应数据提供方所提供的IP地址及所在地对应数据；/n由流量归类模块根据IP地址及所在地对应数据将第一次降噪的XDR数据补充源IP地址所在地和目的IP地址所在地，生成包含IP地址归属地的XDR数据；由流量归类模块根据IP地址所在地将IP地址划分为域内IP地址和域外IP地址，域内指城域网所在地范围内，域外指城域网所在地范围外；由流量归类模块将域内IP地址对应的MAC地址划分为域内MAC地址，将域外IP地址对应的MAC地址划分为域外MAC地址；/n由第二次降噪模块去除包含IP地址归属地的XDR数据中的源IP地址与目的IP地址同时为域内IP地址的数据，去除包含IP地址归属地的XDR数据中的源IP地址与目的IP地址同时为域外IP地址的数据，生成第二次降噪的XDR数据；/n由IP地址归类模块读取第二次降噪的XDR数据中的域内MAC地址和域外MAC地址；由IP地址归类模块读取重复数据剥离器生成的去重的XDR数据，对比第三方IP地址数据接口获取的IP地址及所在地对应数据，找出去重的XDR数据中未包含在IP地址及所在地对应数据中的源IP地址和目的IP地址，生成待归类的IP地址；由IP地址归类模块根据靠近域内MAC地址对应的域内IP地址的待归类IP地址为域内IP地址的规则提取再发现的域内IP地址，由IP地址归类模块根据靠近域外MAC地址对应的域外IP地址的待归类IP地址为域外IP地址的规则提取再发现的域外IP地址；/n由IP地址归类模块将再发现的域内IP地址与再发现的域外IP地址组成提供给EU查漏报用的IP数据。/n...

【技术特征摘要】
1.一种抗噪音干扰的城域网数据核验装置由XDR数据采集器、重复数据剥离器、第一次降噪模块、第三方IP地址数据接口、流量归类模块、第二次降噪模块和IP地址归类模块组成；
XDR数据采集器负责通过分光设备采集城域网设备产生的XDR数据，并在所采集的XDR数据中添加通过IP包分析得到的源MAC地址和目的MAC地址，生成包括源MAC地址和目的MAC地址的XDR数据；
重复数据剥离器负责将包括源MAC地址和目的MAC地址的XDR数据进行查重处理，并将所有重复的包括源MAC地址和目的MAC地址的XDR数据执行保留一条包括源MAC地址和目的MAC地址的XDR数据去除重复的包括源MAC地址和目的MAC地址的XDR数据的操作，生成去重的XDR数据；
第一次降噪模块对去重的XDR数据进行降噪处理，包括：1）去掉缺失源IP地址的去重的XDR数据，去掉缺失目的IP地址的去重的XDR数据；2）源MAC地址与目的MAC地址重复的数据；3）源IP地址与目的IP地址相同的数据；生成第一次降噪的XDR数据；
由第三方IP地址数据接口获取IP地址及所在地对应数据提供方所提供的IP地址及所在地对应数据；
由流量归类模块根据IP地址及所在地对应数据将第一次降噪的XDR数据补充源IP地址所在地和目的IP地址所在地，生成包含IP地址归属地...

【专利技术属性】
技术研发人员：王林汝，蔡蓓蓓，李春雨，陈维，林飞，王钟，何涛，
申请(专利权)人：江苏省互联网行业管理服务中心，北京亚鸿世纪科技发展有限公司，
类型：发明
国别省市：江苏;32