【技术实现步骤摘要】
本申请涉及计算机，尤其是涉及到一种业务数据分析方法及装置、存储介质、计算机设备。
技术介绍
1、由于业务的蓬勃发展，用户基数日渐增长，对数据的分析计算也造成了极大挑战。当前业务分析的处理方式是实时采集全量日志源数据，默认行式存储生成中间表，后续分析计算均依赖前述中间表。随着业务需求不断拓宽，时间跨度增大，其计算所需的资源数据量也日益庞大，导致分析计算效率较低，甚至当计算基础数据过于庞大时，还会出现宕机的风险，进一步降低了业务分析效率。为此，如何提高大数据量数据的分析计算效率，成为业务分析中的一大难点和痛点。
技术实现思路
1、有鉴于此，本申请提供了一种业务数据分析方法及装置、存储介质、计算机设备，获取用户在业务平台上操作产生的日志源数据；在日志源数据对应的各数据字段中，根据业务分析需求确定多个需求数据字段，以及需求数据字段中需要进行聚合计算的目标聚合字段；针对满足预设聚合条件的多条日志源数据，基于目标聚合字段在各日志源数据中的字段值进行聚合计算，得到目标聚合字段的最终字段值，以及提取日志源数据对应的各需求数据字段中非目标聚合字段的字段值；基于目标聚合字段及非目标聚合字段各自的字段值，生成聚合数据中间表，根据聚合数据中间表进行业务数据分析。通过根据分析需求聚合数据，再利用聚合后的数据进行业务分析，能够提高分析效率。
2、根据本申请的一个方面，提供了一种业务数据分析方法，所述方法包括：
3、获取用户在业务平台上操作产生的日志源数据；
4、在所述日志源
5、针对满足预设聚合条件的多条日志源数据，基于目标聚合字段在各日志源数据中的字段值进行聚合计算，得到目标聚合字段的最终字段值，以及提取所述日志源数据对应的各需求数据字段中，非目标聚合字段的字段值；
6、基于目标聚合字段及非目标聚合字段各自对应的字段值，生成聚合数据中间表，根据所述聚合数据中间表进行业务数据分析。
7、可选地，，所述日志源数据包括用户id，所述用户id为非目标聚合字段，所述针对满足预设聚合条件的多条日志源数据，基于目标聚合字段在各日志源数据中的字段值进行聚合计算，得到目标聚合字段的最终字段值，包括：
8、响应于定时启动的数据聚合任务，针对所述数据聚合任务对应的数据聚合时间段内产生的日志源数据，根据用户id对所述日志源数据进行数据分组，得到各用户id各自对应的目标聚合数据组；
9、针对任一目标聚合数据组，在所述目标聚合数据组对应的日志源数据中，根据聚合函数对目标聚合字段在各日志源数据中的字段值进行聚合计算，得到目标聚合字段的最终字段值。
10、可选地，所述根据聚合函数对目标聚合字段在各日志源数据中的字段值进行聚合计算，得到目标聚合字段的最终字段值，包括：
11、根据日志源数据及目标聚合字段，确定聚合参数；
12、将所述聚合参数拼接至预设聚合函数语句模版中，得到目标聚合语句，在所述日志源数据中执行所述目标聚合语句后，得到目标聚合字段的最终字段值。
13、可选地，所述基于目标聚合字段及非目标聚合字段各自对应的字段值，生成聚合数据中间表，包括：
14、针对任一目标聚合数据组中，目标聚合字段及非目标聚合字段各自对应的字段值，生成所述目标聚合数据组的聚合数据；
15、针对多个数据聚合时间段内，每个数据聚合时间段内的目标聚合数据组的聚合数据，生成聚合数据中间表。
16、可选地，所述基于目标聚合字段及非目标聚合字段各自对应的字段值，生成聚合数据中间表之后，所述方法还包括：
17、在所述需求数据字段中，结合业务分析需求确定需要进行业务信息关联的目标关联字段，并获取所述目标关联字段对应的待关联业务信息；
18、将所述待关联业务信息关联至所述聚合数据中间表中，目标关联字段的对应位置，得到关联业务信息的聚合数据中间表。
19、可选地，所述获取用户在业务平台上操作产生的日志源数据，包括：
20、实时采集用户在业务平台上操作产生的日志源数据，并将采集到的日志源数据存储于预设分布式文件管理系统；
21、相应地，所述在所述日志源数据对应的各数据字段中，根据业务分析需求确定多个需求数据字段，包括：
22、根据预设分布式文件管理系统的数据仓库工具，在预设分布式文件管理系统对应的存储路径下，查询得到日志源数据对应的各数据字段，并在所述日志源数据对应的各数据字段中，根据业务分析需求确定多个需求数据字段。
23、可选地，所述基于目标聚合字段及非目标聚合字段各自对应的字段值，生成聚合数据中间表之后，所述方法还包括：
24、将所述数据聚合中间表采用列式数据方式存储，并对数据聚合中间表进行数据压缩。
25、根据本申请的另一方面，提供了一种业务数据分析装置，所述装置包括：
26、数据获取模块，用于获取用户在业务平台上操作产生的日志源数据；
27、需求确定模块，用于在所述日志源数据对应的各数据字段中，根据业务分析需求确定需求数据字段，以及所述需求数据字段中，需要进行聚合计算的目标聚合字段；
28、字段聚合模块，用于针对满足预设聚合条件的多条日志源数据，基于目标聚合字段在各日志源数据中的字段值，聚合计算得到目标聚合字段的最终字段值，以及提取所述日志源数据对应的各需求数据字段中，非目标聚合字段的字段值；
29、数据分析模块，基于目标聚合字段及非目标聚合字段各自对应的字段值，生成聚合数据中间表，根据所述聚合数据中间表进行业务数据分析。
30、可选地，所述日志源数据包括用户id，所述用户id为非目标聚合字段，所述字段聚合模块，还用于：
31、响应于定时启动的数据聚合任务，针对所述数据聚合任务对应的数据聚合时间段内产生的日志源数据，根据用户id对所述日志源数据进行数据分组，得到各用户id各自对应的目标聚合数据组；
32、针对任一目标聚合数据组，在所述目标聚合数据组对应的日志源数据中，根据聚合函数对目标聚合字段在各日志源数据中的字段值进行聚合计算，得到目标聚合字段的最终字段值。
33、可选地，所述字段聚合模块，还用于：
34、根据日志源数据及目标聚合字段，确定聚合参数；
35、将所述聚合参数拼接至预设聚合函数语句模版中，得到目标聚合语句，在所述日志源数据中执行所述目标聚合语句后，得到目标聚合字段的最终字段值。
36、可选地，所述装置还包括：中间表生成模块，用于：
37、针对任一目标聚合数据组中，目标聚合字段及非目标聚合字段各自对应的字段值，生成所述目标聚合数据组的聚合数据；
38、针对多个数据聚合时间段内，每个数据聚合时间段内的目标聚合数据组的聚合数据，生成聚合数本文档来自技高网...
【技术保护点】
1.一种业务数据分析方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述日志源数据包括用户ID，所述用户ID为非目标聚合字段，所述针对满足预设聚合条件的多条日志源数据，基于目标聚合字段在各日志源数据中的字段值进行聚合计算，得到目标聚合字段的最终字段值，包括：
3.根据权利要求2所述的方法，其特征在于，所述根据聚合函数对目标聚合字段在各日志源数据中的字段值进行聚合计算，得到目标聚合字段的最终字段值，包括：
4.根据权利要求2所述的方法，其特征在于，所述基于目标聚合字段及非目标聚合字段各自对应的字段值，生成聚合数据中间表，包括：
5.根据权利要求1所述的方法，其特征在于，所述基于目标聚合字段及非目标聚合字段各自对应的字段值，生成聚合数据中间表之后，所述方法还包括：
6.根据权利要求1至5中任一项所述的方法，其特征在于，所述获取用户在业务平台上操作产生的日志源数据，包括：
7.根据权利要求6所述的方法，其特征在于，所述基于目标聚合字段及非目标聚合字段各自对应的字段值，生成聚合数据中间表之
8.一种业务数据分析装置，其特征在于，所述装置包括：
9.一种存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述业务数据分析的方法。
10.一种计算机设备，包括存储介质、处理器及存储在存储介质上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述业务数据分析的方法。
...【技术特征摘要】
1.一种业务数据分析方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述日志源数据包括用户id，所述用户id为非目标聚合字段，所述针对满足预设聚合条件的多条日志源数据，基于目标聚合字段在各日志源数据中的字段值进行聚合计算，得到目标聚合字段的最终字段值，包括：
3.根据权利要求2所述的方法，其特征在于，所述根据聚合函数对目标聚合字段在各日志源数据中的字段值进行聚合计算，得到目标聚合字段的最终字段值，包括：
4.根据权利要求2所述的方法，其特征在于，所述基于目标聚合字段及非目标聚合字段各自对应的字段值，生成聚合数据中间表，包括：
5.根据权利要求1所述的方法，其特征在于，所述基于目标聚合字段及非目标聚合字段各自对应的字段值，生成聚合...
【专利技术属性】
技术研发人员：丁凤，王兵，罗泽文，王庆宝，陈志业，郭永康，
申请(专利权)人：广东南方新媒体股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。