一种基于网络环境下的大数据的处理方法和系统技术方案

本发明专利技术实施例提供了一种基于网络环境下的大数据的处理方法和系统，其中，所述方法包括：获取符合预定条件的多条具有会话标识的第一会话数据；将具有相同的会话标识的第一会话数据进行合并，分别得到与会话标识各自对应的第二会话数据；如果当前到达缓存合并周期，则将所述第二会话数据与已缓存的具有相同的会话标识的第三会话数据进行合并，得到与会话标识各自对应的第四会话数据；以及/或者，如果当前到达缓存清空周期，则将所述第二会话数据、已缓存的第三会话数据、第四会话数据的至少之一写入输出文件，以用于输出展示。本发明专利技术实施例降低了网络环境下大数据合并的资源占用，缓解了合并的压力，节省了合并的时间，实现合并的动态调节。

【技术实现步骤摘要】
一种基于网络环境下的大数据的处理方法和系统
本专利技术实施例涉及数据处理
，尤其涉及一种基于网络环境下的大数据的处理方法和系统。
技术介绍
由于近些年智能生活的普及，特别是互联网及通信技术的高速发展，使得网络环境下产生了庞大的、繁杂的各种数据，不管现在还是将来这些数据都将以线性增量增长，即形成网络环境下的大数据。目前，对一定量的数据进行合并的常规方案是：按照数据的属性等信息相同或者相近的原则对全部数据进行一次性合并，若数据量较大，则合并时间长、效率低。而且，由于大数据具有无法通过常规工具进行捕捉、管理和处理的特性，因此，无法将数据的常规合并方案应用在网络环境下的大数据处理上，所以，对网络环境下的大数据进行合并的问题函待解决。
技术实现思路
本专利技术实施例提供了一种基于网络环境下的大数据的处理方法和系统，以解决现有的数据合并方案无法应用在网络环境下的大数据上的问题。根据本专利技术实施例的一方面，提供了一种基于网络环境下的大数据的处理方法，包括：获取符合预定条件的多条具有会话标识的第一会话数据；将具有相同的会话标识的第一会话数据进行合并，分别得到与会话标识各自对应的第二会话数据；如果本文档来自技高网...

【技术保护点】
一种基于网络环境下的大数据的处理方法，其特征在于，包括：获取符合预定条件的多条具有会话标识的第一会话数据；将具有相同的会话标识的第一会话数据进行合并，分别得到与会话标识各自对应的第二会话数据；如果当前到达缓存合并周期，则将所述第二会话数据与已缓存的具有相同的会话标识的第三会话数据进行合并，得到与会话标识各自对应的第四会话数据；以及/或者，如果当前到达缓存清空周期，则将所述第二会话数据、已缓存的第三会话数据、第四会话数据的至少之一写入输出文件，以用于输出展示。

【技术特征摘要】
1.一种基于网络环境下的大数据的处理方法，其特征在于，包括：获取符合预定条件的多条具有会话标识的第一会话数据；将具有相同的会话标识的第一会话数据进行合并，分别得到与会话标识各自对应的第二会话数据；如果当前到达缓存合并周期，则将所述第二会话数据与已缓存的具有相同的会话标识的第三会话数据进行合并，得到与会话标识各自对应的第四会话数据；以及/或者，如果当前到达缓存清空周期，则将所述第二会话数据、已缓存的第三会话数据、第四会话数据的至少之一写入输出文件，以用于输出展示。2.根据权利要求1所述的方法，其特征在于，所述方法还包括：将所述第二会话数据、第三会话数据、第四会话数据中的至少之一存储在会话数据库中。3.根据权利要求1所述的方法，其特征在于，在所述将具有相同的会话标识的第一会话数据进行合并，分别得到与会话标识各自对应的第二会话数据之前，所述方法还包括：将获取到的第一条第一会话数据作为展示数据写入所述输出文件，并将所述第一条第一会话数据存储在缓存结构中。4.根据权利要求3所述的方法，其特征在于，在所述得到与会话标识各自对应的第四会话数据之后，所述方法还包括：将所述第四会话数据存储至所述缓存结构中。5.根据权利要求4所述的方法，其特征在于，还包括：从所述缓存结构中读取第五会话数据；根据所述第五会话数据所属的整点时间段信息对所述第五会话数据进行计数；从用户数据库中查询并统计出与所述第五会话数据属于同一整点时间段信息、且与所述第五会话数据属于同一协议的用户数据的数量；将计数结果与所述数量相加，作为用户数据数量统计结果。6.根据权利要求4或5所述的方法...

【专利技术属性】
技术研发人员：徐振超，
申请(专利权)人：北京亿赛通网络安全技术有限公司，
类型：发明
国别省市：北京,11