一种网络运行数据查询方法、装置、设备及存储介质制造方法及图纸

本发明专利技术涉及一种网络运行数据查询方法、装置、设备及存储介质，包括：获取网络运行数据，其中所述网络运行数据包括字段数据以及时间数据；根据所述时间数据将所述字段数据存储至预设数据库中；建立汇聚表，根据所述时间数据，提取所述预设数据库中的待查询字段数据添加至所述汇聚表；根据所述汇聚表，查询满足预设要求的所述待查询字段数据。本发明专利技术提供的网络运行数据查询方法、装置、设备及存储介质，根据时间数据，将网络运行数据的字段数据以列进行存储，并进行压缩，建立汇聚表，根据查询要求以及汇聚表，查询对应数据，实现对海量数据的快速存储和查询。速存储和查询。速存储和查询。

【技术实现步骤摘要】
一种网络运行数据查询方法、装置、设备及存储介质


[0001]本专利技术涉及数据查询
，尤其涉及一种网络运行数据查询方法、装置、设备及存储介质。

技术介绍

[0002]根据《中华人民共和国网络安全法》：采取监测、记录网络运行状态、网络安全事件的技术措施，并按照规定留存相关的网络运行数据不少于六个月。
[0003]因此，在企业中，保留用户上网产生的各种网络运行数据，首先符合国家政策，其次可针对网络中存在的各种问题，利用回溯网络运行数据得到优化方案，降低运维成本。对于大型企业，企业内部产生的各种网络运行数据是海量的。如何解决日志存储、回溯查询，迫在眉睫。
[0004]在目前的方案中，采用MySQL或者Hadoop等技术进行存储和查询。但这两种方案中MySQL由于是行式存储，在存储上太慢，且统计分析无法很好支持；而Hadoop需要多台机器协同工作，查询速度慢，对于一般企业成本太高，无法达到想要的效果。

技术实现思路

[0005]有鉴于此，有必要提供一种网络运行数据查询方法、装置、设备及存储介质，用以解决现有技术中需本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种网络运行数据查询方法，其特征在于，包括：获取网络运行数据，其中，所述网络运行数据包括字段数据以及时间数据；根据所述时间数据将所述字段数据存储至预设数据库中；建立汇聚表，根据所述时间数据，提取所述预设数据库中的待查询字段数据添加至所述汇聚表；根据所述汇聚表，查询满足预设要求的所述待查询字段数据。2.根据权利要求1所述的网络运行数据查询方法，其特征在于，所述根据所述时间数据将所述字段数据存储至预设数据库中，包括：将所述字段数据的格式设置为预设格式；根据所述时间数据，将所述字段数据以所述预设格式进行分区保存至所述预设数据库中。3.根据权利要求2所述的网络运行数据查询方法，其特征在于，所述将所述字段数据以所述预设格式进行分区保存，包括：记录所述字段数据的概要信息，所述概要信息包括所述字段数据的当天数据量以及所述字段数据的占用内存大小；根据所述字段数据的当天数据量以及占用内存大小进行分区，根据所述数据量以及分区结果对所述字段数据进行分别保存。4.根据权利要求2所述的网络运行数据查询方法，其特征在于，根据所述时间数据，将所述字段数据以所述预设格式进行分区保存，包括：根据所述时间数据，将超过预设时间阈值的所述字段数据不保存至所述预设数据库中。5.根据权利要求1所述的网络运行数据查询方法，其特征在于，所述根据所述时间数据将所述字段数据存储至预设数据库中，包括：将所述字段数据中每个字段按列结合存储引擎进行存储；根据预设算法，将所述字段数据中每个字段按列压缩后存储至所述预设...

【专利技术属性】
技术研发人员：钟竹，方翔，
申请(专利权)人：北京安博通科技股份有限公司，
类型：发明
国别省市：