数据的离线计算方法、装置、设备以及存储介质制造方法及图纸

本公开提供了数据的离线计算方法、装置、设备以及存储介质，涉及数据处理技术领域，尤其涉及大数据、云计算、数据分析、离线计算等技术领域。具体实现方案为：根据目标业务的时间需求信息，基于第一预计算指标，生成至少一个时间维度的第二预计算指标；根据第二预计算指标的第一数据维度信息，确定第一数据源；根据第二预计算指标的第一计算逻辑信息和第一时间维度信息，基于第一数据源进行离线计算，以得到第二预计算指标的第一预计算结果。根据本公开的技术，通过利用第二预计算指标进行离线计算，可以预先获取到业务所需指标的计算结果，解决了对业务所需指标进行实时计算的耗时问题，提升了业务的整体计算效率。提升了业务的整体计算效率。提升了业务的整体计算效率。

【技术实现步骤摘要】
数据的离线计算方法、装置、设备以及存储介质


[0001]本公开涉及数据处理
，尤其涉及大数据、云计算、数据分析、离线计算等


技术介绍

[0002]离线计算是在计算开始前已知所有输入数据，且在解决一个问题后就要立即得出结果的前提下进行的计算。在大数据中属于数据的计算部分，在该部分中与离线计算对应的则是实时计算。

技术实现思路

[0003]本公开提供了一种数据的离线计算方法、装置、设备以及存储介质。
[0004]根据本公开的一方面，提供了一种数据的离线计算方法，包括：
[0005]根据目标业务的时间需求信息，基于第一预计算指标，生成至少一个时间维度的第二预计算指标；
[0006]根据第二预计算指标的第一数据维度信息，确定第一数据源；以及
[0007]根据第二预计算指标的第一计算逻辑信息和第一时间维度信息，基于第一数据源进行离线计算，以得到第二预计算指标的第一预计算结果。
[0008]根据本公开的另一方面，提供了一种数据的离线计算装置，包括：
[0009]生成模块，用于根据目标业务的时间需求信息，基于第一预计算指标，生成至少一个时间维度的第二预计算指标；
[0010]第一确定模块，用于根据第二预计算指标的第一数据维度信息，确定第一数据源；以及
[0011]第一计算模块，用于根据第二预计算指标的第一计算逻辑信息和第一时间维度信息，基于第一数据源进行离线计算，以得到第二预计算指标的第一预计算结果。
[0012]根据本公开的另一方面，提供了一种电子设备，包括：
[0013]至少一个处理器；以及
[0014]与该至少一个处理器通信连接的存储器；其中，
[0015]该存储器存储有可被该至少一个处理器执行的指令，该指令被该至少一个处理器执行，以使该至少一个处理器能够执行本公开实施例中任一的方法。
[0016]根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，该计算机指令用于使该计算机执行根据本公开实施例中任一的方法。
[0017]根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，该计算机程序在被处理器执行时实现根据本公开实施例中任一的方法。
[0018]根据本公开的技术，通过利用第二预计算指标进行离线计算，可以预先获取到业务所需指标的计算结果，解决了对业务所需指标进行实时计算的耗时问题，提升了业务的整体计算效率。
[0019]应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
[0020]附图用于更好地理解本方案，不构成对本公开的限定。其中：
[0021]图1是根据本公开实施例的数据的离线计算方法的流程示意图；
[0022]图2是根据本公开实施例的数据的离线计算方法的应用示意图；
[0023]图3是根据本公开实施例的数据的离线计算方法的流程示意图；
[0024]图4是根据本公开实施例的数据的离线计算方法的应用示意图；
[0025]图5是根据本公开实施例的数据的离线计算装置的示意图；
[0026]图6是用来实现本公开实施例的数据的离线计算方法的电子设备的框图。
具体实施方式
[0027]以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
[0028]如图1所示，本公开实施例提供了一种数据的离线计算方法，包括：
[0029]步骤S101：根据目标业务的时间需求信息，基于第一预计算指标，生成至少一个时间维度的第二预计算指标。
[0030]步骤S102：根据第二预计算指标的第一数据维度信息，确定第一数据源。以及
[0031]步骤S103：根据第二预计算指标的第一计算逻辑信息和第一时间维度信息，基于第一数据源进行离线计算，以得到第二预计算指标的第一预计算结果。
[0032]根据本公开实施例，需要说明的是：
[0033]目标业务，可以理解为任何需要利用数据进行计算分析的业务。也即是说，本公开实施例的数据的离线计算方法，可以适用于任何业务领域的基于指标的数据分析计算需求。例如，目标业务可以是营销服务业务、生产制造业务、电商业务、多媒体业务等等。
[0034]第一预计算指标，可以理解为对某一项业务进行数据分析的评判指标，该指标需要使用至少一个维度的数据进行计算。第一预计算指标可以是目标业务在进行数据分析时所使用的任何一个维度的评判指标，在此不做具体限定，可以根据需要进行选择和调整。例如，第一预计算指标可以是总人数，总金额，累计值，平均值，转化率等指标。第一预计算指标的确定方式可以根据目标业务的需求进行选择和调整，在此不做具体限定。例如，第一预计算指标可以是在目标业务进行数据分析时，经常使用的一个评判指标。和/或，第一预计算指标可以是计算耗时较长的评判指标。又如，第一预计算指标可以是目标业务当前数据分析计算时起到决定性作用的评判指标。
[0035]时间需求信息，可以理解为对评判指标(第一预计算指标)的时间维度的需求信息。例如，根据时间需求信息，可以知道目标业务希望利用评价指标对每小时的数据、每天的数据、每月的数据或每年的数据进行评估分析。也即是说，根据时间需求信息可以知道需要生成几个时间维度的第二预计算指标。具体的，当第一预计算指标为总销售金额，时间需
求信息的时间维度为每月和每周时，基于第一预计算指标得到的第二预计算指标至少包括每月和每周两个时间维度的指标，即每月的总销售金额和每周的总销售金额。
[0036]第一预计算指标至少包括第二计算逻辑信息、第二数据维度信息和时间维度信息。根据第二数据维度信息，可以知道第一预计算指标需要基于哪些维度的数据进行计算。根据第二计算逻辑信息，可以知道第一预计算指标需要利用何种运算逻辑(加、减、乘、除等)对这些维度的数据进行计算。根据时间维度信息，可以知道第一预计算指标要使用的数据的时间维度。
[0037]第二预计算指标至少包括第一数据维度信息、第一计算逻辑和第一时间维度信息。根据第一数据维度信息，可以知道第二预计算指标需要基于哪些维度的数据进行计算，以及可以进一步确认这些维度的数据所存储在的第一数据源。根据第一计算逻辑信息，可以知道第二预计算指标需要利用何种运算逻辑(加、减、乘、除等)对这些维度的数据进行计算。根据第一时间维度信息，可以知道第二预计算指标要使用的数据的时间维度。例如，第二预计算指标是计算每周的销售额，则根据第一时间维度信息可以知道第二预计算指标需要使用到一周之内的每天的销售额数据。根据第一时间维度信息，还可以知道第二预计算指标的第一本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据的离线计算方法，包括：根据目标业务的时间需求信息，基于第一预计算指标，生成至少一个时间维度的第二预计算指标；根据所述第二预计算指标的第一数据维度信息，确定第一数据源；以及根据所述第二预计算指标的第一计算逻辑信息和第一时间维度信息，基于所述第一数据源进行离线计算，以得到所述第二预计算指标的第一预计算结果。2.根据权利要求1所述的方法，其中，根据目标业务的时间需求信息，基于第一预计算指标，生成至少一个时间维度的第二预计算指标，包括：根据目标业务的时间需求信息，确定至少一个时间维度的第一时间维度信息；根据第一预计算指标的第二计算逻辑信息，确定第一计算逻辑信息；根据所述第一预计算指标的第二数据维度信息，确定第一数据维度信息；根据所述第一时间维度信息、所述第一计算逻辑信息和所述第一数据维度信息，生成至少一个时间维度的第二预计算指标。3.根据权利要求2所述的方法，其中，根据所述第一时间维度信息、所述第一计算逻辑信息和所述第一数据维度信息，生成至少一个时间维度的第二预计算指标，包括：在确定包括多个时间维度的第一时间维度信息的情况下，根据所述第一计算逻辑信息、所述第一数据维度信息以及每个时间维度对应的第一时间维度信息，生成每个时间维度的第二预计算指标。4.根据权利要求1所述的方法，其中，根据所述第二预计算指标的第一数据维度信息，确定第一数据源，包括：根据所述第二预计算指标的第一数据维度信息，确定离线计算所需使用的第一数据；将存储所述第一数据的数据源，确定为需接入的第一数据源。5.根据权利要求1所述的方法，还包括：根据所述第二预计算指标的第一时间维度信息，确定第一计算频次；在所述第二预计算指标的计算时间满足所述第一计算频次的情况下，基于所述第一数据源进行离线计算，以得到所述第二预计算指标的第一预计算结果。6.根据权利要求1至5任一项所述的方法，其中，根据目标业务的时间需求信息，基于第一预计算指标，生成至少一个时间维度的第二预计算指标之前，还包括：在候选指标的指标计算时长满足时长阈值的情况下，和/或，在所述候选指标的指标使用频次满足频次阈值的情况下，将所述候选指标确定为第一预计算指标。7.根据权利要求1至5任一项所述的方法，还包括：确定所述第二预计算指标对应的预设存储空间；将所述第一预计算结果存入所述预设存储空间并与所述第二预计算指标关联。8.根据权利要求7所述的方法，还包括：在接收到指标计算任务的情况下，确定所述指标计算任务的目标计算指标；在确定所述预设存储空间中存储有与所述目标计算指标匹配的所述第二预计算指标的情况下，将所述第二预计算指标的第一预计算结果作为所述指标计算任务的计算结果输出。9.根据权利要求7所述的方法，还包括：
在接收到指标计算任务的情况下，确定所述指标计算任务的目标计算指标；在确定所述预设存储空间中未存储有与所述目标计算指标匹配的所述第二预计算指标的情况下，根据所述目标计算指标的第三数据维度信息，确定第二数据源；根据所述目标计算指标的第三计算逻辑信息，基于所述第二数据源进行实时计算，以得到所述目标计算指标的计算结果；将所述计算结果与所述目标计算指标关联并存入目标存储空间。10.根据权利要求9所述的方法，还包括：根据所述目标计算指标的第二时间维度信息，确定第二计算频次；在所述目标计算指标的计算时间满足所述第二计算频次的情况下，从所述第二数据源中获取对应的第二数据；基于所述目标计算指标的第三计算逻辑信息和所述第二数据，进行离线计算，以得到所述目标计算指标的第二预计算结果。11.一种数据的离线计算装置，包括：生成模块，用于根据目标业务的时间需求信息，基于第一预计算指标，生成至少一个时间维度的第二预计算指标；第一确定模块，用于根据所述第二预计算指标的第一数据维度信息，确定第一数据源；以及第一计算模块，用于根据所述第二预计算指标的第一计算逻辑信息和第一时间维度信息，基于所述第一数据源进行离线计算，以得到所述第二预计算指标的第一预计算...

【专利技术属性】
技术研发人员：贾光楠，刘彦江，高坡，尉乃升，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：