数据处理方法、装置和系统制造方法及图纸

本发明专利技术涉及一种数据处理方法、装置和系统。所述数据处理方法，应用于服务端，所述方法，包括：接收原始数据；遍历原始数据中的所有字段，获取至少一个统计维度；统计维度与所述字段对应；针对每个统计维度，根据所述统计维度以及关联规则确定对应的统计指标，其中，所述关联规则包括统计维度与统计指标的对应关系；根据所述统计维度与所述统计指标进行数据统计，获取对应的统计结果，所述统计结果用于作为在接收到数据查询请求后查询数据的源数据，所述数据查询请求包括统计维度。根据本发明专利技术的实施例，可以不需要再进行逻辑运算，可以提高统计分析的效率，无需通过原始数据进行繁杂的计算，可提高资源利用率。可提高资源利用率。可提高资源利用率。

【技术实现步骤摘要】
数据处理方法、装置和系统


[0001]本专利技术涉及数据处理
，尤其涉及一种数据处理方法、装置和系统。

技术介绍

[0002]相关技术中，数据湖中汇集了来自各数据提供方的数据。然而，不同的用户关注的侧重点各不相同，因此，对数据的统计也有不同的需求。统计维度的灵活多变导致计算分析变得困难。特别是数据量比较大时，查询统计结果就需要耗费大量的资源，且数据处理的效率较低，不能满足用户对数据的实时性需求，严重影响用户的体验和满意度。

技术实现思路

[0003]本专利技术提供一种数据处理方法、装置和系统，以解决相关技术中的不足。
[0004]根据本专利技术实施例的第一方面，提供一种数据处理方法，应用于服务端，所述方法，包括：
[0005]接收原始数据；
[0006]遍历所述原始数据中的所有字段，获取至少一个统计维度；所述统计维度与所述字段对应；
[0007]针对每个所述统计维度，根据所述统计维度以及关联规则确定对应的统计指标，其中，所述关联规则包括统计维度与统计指标的对应关系；
[0008]根据所述统计维度与所述统计指标进行数据统计，获取对应的统计结果，所述统计结果用于作为在接收到数据查询请求后查询数据的源数据，所述数据查询请求包括统计维度。
[0009]在一个实施例中，所述至少一个统计维度中部分统计维度之间存在关联关系；所述关联规则还包括所述部分统计维度之间的关联关系；所述部分统计维度包括高级统计维度与低级统计维度，所述低级统计维度隶属于所述高级统计维度；<br/>[0010]所述根据所述统计维度与所述统计指标进行数据统计，获取对应的统计结果，包括：
[0011]针对所述低级统计维度，根据所述低级统计维度与对应的统计指标进行数据统计，获取对应的低级统计结果；
[0012]根据所述低级统计结果与部分统计维度之间的关联关系，获取高级统计维度的高级统计结果；
[0013]对所述低级统计结果与所述高级统计结果进行折叠处理，以进行分级展示。
[0014]在一个实施例中，所述所有字段中包括时间字段；所述关联规则还包括时间粒度；
[0015]所述根据所述统计维度与所述统计指标进行数据统计，获取对应的统计结果，包括：
[0016]根据所述统计维度、所述统计指标以及时间粒度进行数据统计，获取对应的统计结果。
[0017]在一个实施例中，所述时间粒度包括高级时间粒度与低级时间粒度；所述高级时间粒度大于所述低级时间粒度；所述关联规则还包括所述高级时间粒度与所述低级时间粒度的关系；
[0018]所述根据所述统计维度、所述统计指标以及时间粒度进行数据统计，获取对应的统计结果，包括：
[0019]根据所述统计维度、所述统计指标以及低级时间粒度进行数据统计，得到小粒度统计结果；
[0020]根据所述小粒度统计结果与所述高级时间粒度与所述低级时间粒度的关系获取所述高级时间粒度对应的大粒度统计结果。
[0021]在一个实施例中，所述的数据处理方法，还包括：
[0022]对所述统计结果进行分析，获取分析结果；
[0023]根据分析结果确定存在异常情况时，输出提示信息，所述提示信息用于提示所述异常情况和/或提供改善所述异常情况的建议。
[0024]根据本专利技术实施例的第二方面，提供一种数据处理方法，应用于应用端，所述方法，包括：
[0025]接收用户输入的数据查询请求；所述数据查询请求包括统计维度；
[0026]根据所述统计维度从服务端获取对应的统计结果；其中，服务端在接收原始数据后，遍历所述原始数据中的所有字段，获取至少一个统计维度，所述统计维度与所述字段对应，针对每个所述统计维度，根据所述统计维度以及关联规则确定对应的统计指标，所述关联规则包括统计维度与统计指标的对应关系，并根据所述统计维度与所述统计指标进行数据统计，获取对应的统计结果，所述统计结果用于作为在接收到数据查询请求后查询数据的源数据，所述数据查询请求包括统计维度；
[0027]根据所述统计结果进行数据展示。
[0028]根据本专利技术实施例的第三方面，提供一种数据处理方法，应用于终端设备，所述方法，包括：
[0029]采集原始数据；
[0030]将所述原始数据发送至服务端，其中，所述服务端在接收原始数据后，遍历所述原始数据中的所有字段，获取至少一个统计维度，所述统计维度与所述字段对应，针对每个所述统计维度，根据所述统计维度以及关联规则确定对应的统计指标，所述关联规则包括统计维度与统计指标的对应关系，并根据所述统计维度与所述统计指标进行数据统计，获取对应的统计结果，所述统计结果用于作为在接收到数据查询请求后查询数据的源数据，所述数据查询请求包括统计维度。
[0031]根据本专利技术实施例的第四方面，提供一种数据处理装置，应用于服务端，所述装置，包括：
[0032]第一接收模块，被配置为接收原始数据；
[0033]查询模块，被配置为遍历所述原始数据中的所有字段，获取至少一个统计维度；所述统计维度与所述字段对应；
[0034]第一确定模块，被配置为针对每个所述统计维度，根据所述统计维度以及关联规则确定对应的统计指标，其中，所述关联规则包括统计维度与统计指标的对应关系；
[0035]第一获取模块，被配置为根据所述统计维度与所述统计指标进行数据统计，获取对应的统计结果，所述统计结果用于作为在接收到数据查询请求后查询数据的源数据，所述数据查询请求包括统计维度。
[0036]根据本专利技术实施例的第五方面，提供一种数据处理装置，应用于应用端，所述装置，包括：
[0037]第二接收模块，被配置为接收用户输入的数据查询请求；所述数据查询请求包括统计维度；
[0038]第二获取模块，被配置为根据所述统计维度从服务端获取对应的统计结果；其中，服务端在接收原始数据后，遍历所述原始数据中的所有字段，获取至少一个统计维度，所述统计维度与所述字段对应，针对每个所述统计维度，根据所述统计维度以及关联规则确定对应的统计指标，所述关联规则包括统计维度与统计指标的对应关系，并根据所述统计维度与所述统计指标进行数据统计，获取对应的统计结果，所述统计结果用于作为在接收到数据查询请求后查询数据的源数据，所述数据查询请求包括统计维度；
[0039]显示模块，被配置为根据所述统计结果进行数据展示。
[0040]根据本专利技术实施例的第六方面，提供一种数据处理装置，应用于终端设备，所述装置，包括：
[0041]采集模块，被配置为采集原始数据；
[0042]发送模块，被配置为将所述原始数据发送至服务端，其中，所述服务端在接收原始数据后，遍历所述原始数据中的所有字段，获取至少一个统计维度，所述统计维度与所述字段对应，针对每个所述统计维度，根据所述统计维度以及关联规则确定对应的统计指标，所述关联规则包括统计维度与统计指标的对应关系，并根据所述统计维度与所述统计指标进行数据统计，获取对应的统计结本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法，其特征在于，应用于服务端，所述方法，包括：接收原始数据；遍历所述原始数据中的所有字段，获取至少一个统计维度；所述统计维度与所述字段对应；针对每个所述统计维度，根据所述统计维度以及关联规则确定对应的统计指标，其中，所述关联规则包括统计维度与统计指标的对应关系；根据所述统计维度与所述统计指标进行数据统计，获取对应的统计结果，所述统计结果用于作为在接收到数据查询请求后查询数据的源数据，所述数据查询请求包括统计维度。2.根据权利要求1所述的数据处理方法，其特征在于，所述至少一个统计维度中部分统计维度之间存在关联关系；所述关联规则还包括所述部分统计维度之间的关联关系；所述部分统计维度包括高级统计维度与低级统计维度，所述低级统计维度隶属于所述高级统计维度；所述根据所述统计维度与所述统计指标进行数据统计，获取对应的统计结果，包括：针对所述低级统计维度，根据所述低级统计维度与对应的统计指标进行数据统计，获取对应的低级统计结果；根据所述低级统计结果与部分统计维度之间的关联关系，获取高级统计维度的高级统计结果；对所述低级统计结果与所述高级统计结果进行折叠处理，以进行分级展示。3.根据权利要求1或2所述的数据处理方法，其特征在于，所述所有字段中包括时间字段；所述关联规则还包括时间粒度；所述根据所述统计维度与所述统计指标进行数据统计，获取对应的统计结果，包括：根据所述统计维度、所述统计指标以及时间粒度进行数据统计，获取对应的统计结果。4.根据权利要求3所述的数据处理方法，其特征在于，所述时间粒度包括高级时间粒度与低级时间粒度；所述高级时间粒度大于所述低级时间粒度；所述关联规则还包括所述高级时间粒度与所述低级时间粒度的关系；所述根据所述统计维度、所述统计指标以及时间粒度进行数据统计，获取对应的统计结果，包括：根据所述统计维度、所述统计指标以及低级时间粒度进行数据统计，得到小粒度统计结果；根据所述小粒度统计结果与所述高级时间粒度与所述低级时间粒度的关系获取所述高级时间粒度对应的大粒度统计结果。5.根据权利要求1所述的数据处理方法，其特征在于，还包括：对所述统计结果进行分析，获取分析结果；根据分析结果确定存在异常情况时，输出提示信息，所述提示信息用于提示所述异常情况和/或提供改善所述异常情况的建议。6.一种数据处理方法，其特征在于，应用于应用端，所述方法，包括：接收用户输入的数据查询请求；所述数据查询请求包括统计维度；根据所述统计维度从服务端获取对应的统计结果；其中，服务端在接收原始数据后，遍
历所述原始数据中的所有字段，获取至少一个统计维度，所述统计维度与所述字段对应，针对每个所述统计维度，根据所述统计维度以及关联规则确定对应的统计指标，所述关联规则包括统计维度与统计指标的对应关系，并根据所述统计维度与所述统计指标进行数据统计，获取对应的统计结果，所述统计结果用于作为在接收到数据查询请求后查询数据的源数据，所述数据查询请求包括统计维度；根据所述统计结果进行数据展示。7.一种数据处理方法，其特征在于，应用于终端设备，所述方法，包括：采集原始数...

【专利技术属性】
技术研发人员：赵磊，田福臣，
申请(专利权)人：京东方科技集团股份有限公司，
类型：发明
国别省市：