一种基于大数据的分析管理系统技术方案

本发明专利技术公开了一种基于大数据的分析管理系统，该系统的运行方法包括：对网络流数据记录进行采集记录管理；对采集到的流数据进行接收分配及上报传输处理；进行网络流数据的分析处理进行优化控制；对网络流数据进行导入存储及控制处理。所述对网络流数据记录进行采集记录管理包括：对网络数据流记录报文进行采集记录，并进行会话复原处理。所述对采集到的流数据进行接收分配及上报传输处理包括：接收到采集记录的网络流记录报文后，通过网卡驱动进行内存分配，将原始报文缓存在系统内存中；获取到完成内存分配的网络流记录报文后，对其会话关联上报进行控制管理。本发明专利技术，具有高效分析管理及准确性高的特点。管理及准确性高的特点。管理及准确性高的特点。

【技术实现步骤摘要】
一种基于大数据的分析管理系统


[0001]本专利技术涉及互联网
，具体为一种基于大数据的分析管理系统。

技术介绍

[0002]伴随着互联网技术的飞速发展，人类社会已经步入信息时代。互联网正在改变人们的生活方式，每时每刻都有数以千万计的用户接入互联网并产生海量的网络数据，在万物互联的趋势下，其规模也在不断提升和扩大。海量的网络数据中承载了丰富的网络状况信息和用户行为信息,他们对监测网络运行状态、改善网络运维、理解用户行为、挖掘用户意图具有重要意义。但现有的网络数据分析处理方法不但效率低下，且由于网络数据类型复杂易导致分析处理出现误差。因此，设计高效分析处理及准确性高的一种基于大数据的分析管理系统是很有必要的。

技术实现思路

[0003]本专利技术的目的在于提供一种基于大数据的分析管理系统，以解决上述
技术介绍
中提出的问题。
[0004]为了解决上述技术问题，本专利技术提供如下技术方案：一种基于大数据的分析管理方法，包括：对网络流数据记录进行采集记录管理；对采集到的流数据进行接收分配及上报传输处理；进行网络流数据的分析处理进行优化控制；对网络流数据进行导入存储及控制处理。
[0005]根据上述技术方案，所述对网络流数据记录进行采集记录管理包括：对网络数据流记录报文进行采集记录，并进行会话复原处理。
[0006]根据上述技术方案，所述对采集到的流数据进行接收分配及上报传输处理包括：接收到采集记录的网络流记录报文后，通过网卡驱动进行内存分配，将原始报文缓存在系统内存中；获取到完成内存分配的网络流记录报文后，对其会话关联上报进行控制管理。
[0007]根据上述技术方案，所述进行网络流数据的分析处理进行优化控制包括：通过采用采用数组和链表相结合的方式，进行哈希冲突控制管理；根据网络流表项的内存池的使用状态信息，进行网络流表的动态控制调整；对网络流数据进行预处理，以小时为单位对上下行流量进行聚合，生成对应的时间序列数据。
[0008]根据上述技术方案，所述对网络流数据进行导入存储及控制处理包括：通过分布式日志收集聚合传输功能，将网络流数据导入至存储集群之中进行存储；通过分布式集群方法进一步对网络流数据进行组织和管理。
[0009]根据上述技术方案，一种基于大数据的分析管理系统，包括：网络流采集模块，用于对网络流数据记录进行采集记录管理；优化管理模块，用于进行网络流数据的分析处理进行优化控制；数据处理模块，用于对网络流数据进行导入存储及控制处理。
[0010]根据上述技术方案，所述网络流采集模块包括：流记录模块，用于对网络数据流记录报文进行采集记录；接收分配模块，用于对网络流数据进行接收分配；上报处理模块，用于进行流数据上报分析处理。
[0011]根据上述技术方案，所述优化管理模块包括：冲突优化模块，用于进行哈希冲突控制管理；动态调整模块，用于进行网络流表的动态控制调整；预处理模块，用于对网络流数据进行预处理。
[0012]根据上述技术方案，所述数据处理模块包括：导入存储模块，用于对网络流数据进行导入存储；分析处理模块，用于进行数据分析控制管理。
[0013]与现有技术相比，本专利技术所达到的有益效果是：本专利技术，通过设置有网络流采集模块、优化管理模块与数据处理模块，可使采集到的记录数据信息更加准确、高效，并通过内存池的分配单元的指针可以获取该内存单元的地址，可更加高效地进行报文丢弃和内存回收，同时使报文数据信息的会话关联上报更加高效、智能，有效提升报文会话关联上报资源的利用率。
附图说明
[0014]附图用来提供对本专利技术的进一步理解，并且构成说明书的一部分，与本专利技术的实施例一起用于解释本专利技术，并不构成对本专利技术的限制。在附图中：图1是本专利技术实施例一提供的一种基于大数据的分析管理方法的流程图；图2是本专利技术实施例二提供的一种基于大数据的分析管理系统的模块构成图。
具体实施方式
[0015]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
实施例一
[0016]图1为本专利技术实施例一提供的一种基于大数据的分析管理方法的流程图，本实施例可应用于分析管理系统中，该方法可以由本专利技术实施例提供的一种基于大数据的分析管理系统来执行，该系统由多个软硬件模块组成，如图1所示，该方法具体包括以下步骤：S101、对网络流数据记录进行采集记录管理；示例性的，在本专利技术实施例中，对网络数据流记录报文进行采集记录，并进行会话
复原处理；由于网络数据采集链路上承载的流量具有数量大、速率高的特点，全量报文交由下游流量采集服务器处理会产生很高的负载，产生性能瓶颈，故通过该步骤，通过网络上游硬件探针采集到的一次网络会话包含的流量信息，下游流量采集系统负责根据接收的镜像报文和流记录报文还原一次完整的会话，并转化为设定的格式化数据进行输出，其中流记录报文由报文头部信息和16条流记录帧组成，报文头部信息长度为10个字节，包含流记录版本号，时间戳等信息，每条流记录帧中携带了流基本信息，是表示流记录信息的最小单位，每条流记录帧的长度为64字节，且网络上一次交互或者访问行为的用户特征、远端网络特征以及流量特征等数据信息，大都存在于网内请求报文和网外应答报文，故通过该处理，可使采集到的记录数据信息更加准确、高效。
[0017]S102、对采集到的流数据进行接收分配及上报传输处理；示例性的，在本专利技术实施例中，接收到采集记录的网络流记录报文后，通过网卡驱动进行内存分配，将原始报文缓存在系统内存中；该步骤中，原始报文的存储结构是通用的，进入系统之中的网络流记录报文通过报文接收内存池的分配单元，组织网络流记录报文解析出关键信息和字段，当报文结束周期需要被释放时，通过内存池的分配单元的指针可以获取该内存单元的地址，可更加高效地进行报文丢弃和内存回收。
[0018]获取到完成内存分配的网络流记录报文后，对其会话关联上报进行控制管理；将报文信息数据分为请求报文和应答报文后，利用报文序号和确认号对同一会话的请求应答进行关联，其中通过确认号进行会话关联可以兼容请求报文和应答报文到达顺序不定的情况，使同一组会话被组织在同一个结构体之中，且当报文到达会话关联时根据当前关联状态以及槽位状态选择匹配的槽位，如果没有匹配的会话则控制该报文新占据一个槽位并创建一个新的会话单元，如果当前槽位已经填满则弹出第一个会话单元，回收空间并分配给新到来的报文，使报文数据信息的会话关联上报更加高效、智能，有效提升报文会话关联上报资源的利用率。
[0019]S103、进行网络流数据的分析处理进行优化控制；示例性的，在本专利技术实施例中，通过采用采用数组和链表相结合的方式，进行哈希冲突控制管理；由于网络流表的逻辑结构是散列表，因此当新的流记录数据插入流表时会不可避免地产生哈希冲突，从而线性增加流表在查找本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于大数据的分析管理方法，其特征在于：包括：对网络流数据记录进行采集记录管理；对采集到的流数据进行接收分配及上报传输处理；进行网络流数据的分析处理进行优化控制；对网络流数据进行导入存储及控制处理。2.根据权利要求1所述的一种基于大数据的分析管理方法，其特征在于：所述对网络流数据记录进行采集记录管理包括：对网络数据流记录报文进行采集记录，并进行会话复原处理。3.根据权利要求1所述的一种基于大数据的分析管理方法，其特征在于：所述对采集到的流数据进行接收分配及上报传输处理包括：接收到采集记录的网络流记录报文后，通过网卡驱动进行内存分配，将原始报文缓存在系统内存中；获取到完成内存分配的网络流记录报文后，对其会话关联上报进行控制管理。4.根据权利要求1所述的一种基于大数据的分析管理方法，其特征在于：所述进行网络流数据的分析处理进行优化控制包括：通过采用采用数组和链表相结合的方式，进行哈希冲突控制管理；根据网络流表项的内存池的使用状态信息，进行网络流表的动态控制调整；对网络流数据进行预处理，以小时为单位对上下行流量进行聚合，生成对应的时间序列数据。5.根据权利要求1所述的一种基于大数据的分析管理方法，其特征在于：...

【专利技术属性】
技术研发人员：何子翔，
申请(专利权)人：南京和子祥企业管理有限公司，
类型：发明
国别省市：