网络流量元数据采集技术算法制造技术

本发明专利技术公开了一种网络流量元数据采集技术算法，包括以下步骤：S1、构建网络流量采集物理架构；S2、划分系统功能并定义类；S3、监测测网络流量信息并采集；S4、数据分片；S5、数据重组，将传输过程中分成的数据片段按原先顺序重新连接，并恢复至原先数据模样；S6、数据包发送，通过设置网络数据包过滤器，将数据包一些数据包过滤掉后再发往应用程序，同时统计网络通信过程中的信息；本发明专利技术通过将数据进行分类处理，可提高数据传输速度及准确性，同时将数据分片再进行重组，既能够有效对数据进行监测分析，防止不良数据危害网络，且数据分片进行传输还能够提高传输效率，以增加网络资源利用率，有效提高网络服务质量。有效提高网络服务质量。有效提高网络服务质量。

【技术实现步骤摘要】
网络流量元数据采集技术算法


[0001]本专利技术涉及网络数据采集相关
，尤其涉及网络流量元数据采集技术算法。

技术介绍

[0002]网络数据在传输过程中，数据需要从一个客户端发送到另一个客户端，在此过程中，数据需要多个交换机、防火墙、网页服务器、应用服务器等中间介质。
[0003]目前网络流量元数据在传输过程中，既需要能够对数据进行准确的采集，同时也需要对数据进行监测分析，以防止不良数据破坏网络。但是由于数据经过大量防火墙、交换机与各服务器系统，需要多次监测分析，因此数据采集效率低下，同时网络数据包传输速度缓慢导致网络资源利用不足。据此，本申请文件提出一种网络流量元数据采集技术算法。

技术实现思路

[0004]本专利技术的目的是为了解决现有技术中存在的缺点，而提出的网络流量元数据采集技术算法。
[0005]为了实现上述目的，本专利技术采用了如下技术方案：
[0006]一种网络流量元数据采集技术算法，包括以下步骤：
[0007]S1、构建网络流量采集物理架构，通过构建带有数据分析系统的物理架构，并可将从数据库取出的数据分析完毕后，将分析结果存回数据库；
[0008]S2、划分系统功能并定义类，通过合理设计系统功能，提高系统扩展性，同时将数据进行分类并调整各个类之间的关系；
[0009]S3、监测测网络流量信息并采集，基于SNMP协议，使用相关流量采集工具对网络流量元数据采集；
[0010]S4、数据分片，将采集到的流量元数据分成多个片段进行传输，且在各片段均设有报头，同时数据片设置较大保证能够被物理帧封装；
[0011]S5、数据重组，将传输过程中分成的数据片段按原先顺序重新连接，并恢复至原先数据模样；
[0012]S6、数据包发送，通过设置网络数据包过滤器，将数据包一些数据包过滤掉后再发往应用程序，同时统计网络通信过程中的信息。
[0013]优选地，所述步骤S1中，数据分析系统包括配置模块、报警模块、安全模块、计费模块与故障分析模块。
[0014]优选地，所述步骤S3中，数据采集应用主动探测法，通过相关工具发送UDP包，获知网络延时丢包等信息。
[0015]优选地，所述步骤S4中，数据片段长度需满足物理网MTU帧能封装，且在满足MTU值前提下，各数据片段长度尽量设置较大，以提高传输速度。
[0016]优选地，所述步骤S5中，在数据到达信宿机后再重组，以降低数据间隔、提高数据
传输速度。
[0017]优选地，所述步骤S6中，数据包过滤器采用内核级过滤器，且将数据包送往应用程序时进行用户缓冲，再进行数据包注入。
[0018]本专利技术具有以下有益效果：
[0019]通过将数据进行分类处理，可提高数据传输速度及准确性，同时将数据分片再进行重组，既能够有效对数据进行监测分析，防止不良数据危害网络，且数据分片进行传输还能够提高传输效率，以增加网络资源利用率，有效提高网络服务质量。
附图说明
[0020]图1为本专利技术提出的网络流量元数据采集技术算法的方法流程示意图；
[0021]图2为本专利技术提出的网络流量元数据采集技术算法中数据分析系统的系统结构示意图。
具体实施方式
[0022]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。
[0023]网络流量元数据采集技术算法，包括以下步骤：
[0024]S1、构建网络流量采集物理架构，通过构建带有数据分析系统的物理架构，并可将从数据库取出的数据分析完毕后，将分析结果存回数据库；步骤S1中，数据分析系统包括配置模块、报警模块、安全模块、计费模块与故障分析模块。需要说明的是，配置模块用于管理信息查询及资源分配，并对各网络资源进行维护，且管理路由信息、相关域配置以及对网络交换机进行管理；报警模块用于在发生网络故障，以及监测到不良数据信息使发出警报，同时启动故障分析模块；故障分析模块用于飞行网络故障，并将检测及处理结构以日志形式记录下来；安全模块用于维护数据分析系统的安全防范，保证数据分析系统能够正常运行；计费模块用于计算网络流量元输送量，并进行统计，按照相关协议进行计费处理。
[0025]S2、划分系统功能并定义类，通过合理设计系统功能，提高系统扩展性，同时将数据进行分类并调整各个类之间的关系；值得一提的是，通过将数据进行分类处理，既可以提高对数据处理的效率，同时也方便数据管理，保证数据处理准确性。
[0026]S3、监测测网络流量信息并采集，基于SNMP协议，使用相关流量采集工具对网络流量元数据采集；步骤S3中，数据采集应用主动探测法，通过相关工具发送UDP包，获知网络延时丢包等信息。
[0027]S4、数据分片，将采集到的流量元数据分成多个片段进行传输，且在各片段均设有报头，同时数据片设置较大保证能够被物理帧封装；步骤S4中，数据片段长度需满足物理网MTU帧能封装，且在满足MTU值前提下，各数据片段长度尽量设置较大，以提高传输速度。需要说明的是，各数据片段长度并不作统一要求，只需能够尽量较大的通过MTU帧能封装即可，如此可提高信宿机的选择性，从而能够自行分片处理，大大提高传输效率。
[0028]S5、数据重组，将传输过程中分成的数据片段按原先顺序重新连接，并恢复至原先数据模样；步骤S5中，在数据到达信宿机后再重组，以降低数据间隔、提高数据传输速度。
[0029]S6、数据包发送，通过设置网络数据包过滤器，将数据包一些数据包过滤掉后再发
往应用程序，同时统计网络通信过程中的信息。步骤S6中，数据包过滤器采用内核级过滤器，且将数据包送往应用程序时进行用户缓冲，再进行数据包注入。需要说明的是，过滤器接收数据包后，可将所需数据进行缓存，随后应用程度再重新接收数据。
[0030]以上所述，仅为本专利技术较佳的具体实施方式，但本专利技术的保护范围并不局限于此，任何熟悉本
的技术人员在本专利技术揭露的技术范围内，根据本专利技术的技术方案及其专利技术构思加以等同替换或改变，都应涵盖在本专利技术的保护范围之内。
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种网络流量元数据采集技术算法，其特征在于，包括以下步骤：S1、构建网络流量采集物理架构，通过构建带有数据分析系统的物理架构，并可将从数据库取出的数据分析完毕后，将分析结果存回数据库；S2、划分系统功能并定义类，通过合理设计系统功能，提高系统扩展性，同时将数据进行分类并调整各个类之间的关系；S3、监测测网络流量信息并采集，基于SNMP协议，使用相关流量采集工具对网络流量元数据采集；S4、数据分片，将采集到的流量元数据分成多个片段进行传输，且在各片段均设有报头，同时数据片设置较大保证能够被物理帧封装；S5、数据重组，将传输过程中分成的数据片段按原先顺序重新连接，并恢复至原先数据模样；S6、数据包发送，通过设置网络数据包过滤器，将数据包一些数据包过滤掉后再发往应用程序，同时统计网络通信过程中的信息。2.根据权利要求1所述的一种网络流量元数据采集技术算法，其特征...

【专利技术属性】
技术研发人员：苗敬峰，刘天钊，王华杰，胥继云，
申请(专利权)人：山东顺国电子科技有限公司，
类型：发明
国别省市：