数据处理方法及装置、数据查询方法及装置、网络设备制造方法及图纸

本发明专利技术提供了一种数据处理方法及装置、数据查询方法及装置、网络设备，该数据处理方法包括：采集待处理的原始数据；对原始数据按照指定格式进行结构化处理，得到结构化数据；对结构化数据进行聚合处理以得到聚合数据，将聚合数据作为原始数据处理后的数据；其中，聚合数据的数据量小于原始数据的数据量。本发明专利技术能够有效缩减数据量，改善现有技术中数据量庞大的问题。

【技术实现步骤摘要】
数据处理方法及装置、数据查询方法及装置、网络设备
本专利技术涉及数据处理
，尤其是涉及数据处理方法及装置、数据查询方法及装置、网络设备。
技术介绍
在诸如云服务等领域中通常会涉及到庞大的数据量。诸如，云服务提供商会为用户提供计算服务、网络服务、存储服务等多种计费产品(又可称为资源)，并以数据形式记录用户在预设时间段内所消耗的资源量，得到用于作为收费依据的资源消耗数据。云服务提供商所记录得到的资源消耗数据量通常巨大。诸如，对于一个资源而言，如果云服务提供商以1秒一次的频率记录一条资源消耗数据，一天将会记录86400条数据，如果云服务提供商可提供一万个资源，一天记录的资源消耗数据则是8亿，更何况云服务提供商通常可提供几万、几十万甚至百万的资源。庞大的数据量可能会带来存储不便、查询耗时长等诸多问题。
技术实现思路
有鉴于此，本专利技术的目的在于提供一种数据处理方法及装置、数据查询方法及装置、网络设备，能够有效缩减数据量，改善现有技术中数据量庞大的问题。为了实现上述目的，本专利技术实施例采用的技术方案如下：第一本文档来自技高网...

【技术保护点】
1.一种数据处理方法，其特征在于，包括：/n采集待处理的原始数据；/n对所述原始数据按照指定格式进行结构化处理，得到结构化数据；/n对所述结构化数据进行聚合处理以得到聚合数据，将所述聚合数据作为所述原始数据处理后的数据；其中，所述聚合数据的数据量小于所述原始数据的数据量。/n

【技术特征摘要】
1.一种数据处理方法，其特征在于，包括：
采集待处理的原始数据；
对所述原始数据按照指定格式进行结构化处理，得到结构化数据；
对所述结构化数据进行聚合处理以得到聚合数据，将所述聚合数据作为所述原始数据处理后的数据；其中，所述聚合数据的数据量小于所述原始数据的数据量。


2.根据权利要求1所述的方法，其特征在于，所述对所述原始数据按照指定格式进行结构化处理，得到结构化数据的步骤，包括：
从所述原始数据中查找与预设结构化表中的各字段对应的数据，并将查找到的所述数据填写在所述预设结构化表中对应的字段处；
将经填写的所述预设结构化表作为结构化数据。


3.根据权利要求2所述的方法，其特征在于，所述方法还包括：
如果从所述原始数据中未查找到与所述预设结构化表中指定的关键字段对应的数据，丢弃所述原始数据。


4.根据权利要求2所述的方法，其特征在于，所述对所述结构化数据进行聚合处理，得到聚合数据的步骤，包括：
将所述结构化数据进行分组，得到至少一个数据组；其中，同一个所述数据组中的多条结构化数据在预设字段对应填入的数据相同；
对于每个所述数据组，将该数据组中的多条结构化数据进行聚合，得到该数据组对应的聚合数据；其中，所述聚合数据为该数据组中的多条结构化数据中选取的一条结构化数据，或者，所述聚合数据为该数据组中的多条结构化数据按照预设算法形成的一条新的结构化数据。


5.根据权利要求1所述的方法，其特征在于，所述方法还包括：
将得到的所述聚合数据存储于非关系型数据库中；所述非关系型数据库部署于服务器集群上。


6.根据权利要求1至5任一项所述的方法，其特征在于，所述采集待处理的原始数据的步骤，包括：
按照预设频率从部署有计费产品的服务器获取待处理的原始数据；其中，...

【专利技术属性】
技术研发人员：罗艳军，
申请(专利权)人：北京金山云网络技术有限公司，北京金山云科技有限公司，
类型：发明
国别省市：北京;11