基于大数据的指标流实时计算方法、装置、设备及介质制造方法及图纸

本申请涉及大数据技术领域，揭示了一种基于大数据的指标流实时计算方法、装置、设备及介质，其中方法包括：调用客户端根据批次计算请求从Redis中获取配置变化参数，配置变化参数为已变化预设值时从关系型数据库中获取待更新的指标流配置数据更新客户端指标流配置数据和作业端的本批次的指标流配置数据，将配置变化参数更新为未变化预设值；调用作业端根据本批次的指标流配置数据和目标数据源进行数据获取和指标计算得到单批次指标计算结果，将单批次指标计算结果存储在客户端中；调用客户端根据单批次指标计算结果进行指标结果统计得到各个指标标识各自对应的实时计算结果。从而实现无需将明细数据写入数据库，减少了对存储资源的消耗。

【技术实现步骤摘要】
基于大数据的指标流实时计算方法、装置、设备及介质
本申请涉及到大数据
，特别是涉及到一种基于大数据的指标流实时计算方法、装置、设备及介质。
技术介绍
现有技术的实时计算模块先将明细数据写到数据库中，后端程序再根据众多维度对数据库中的明细数据做进一步聚合过滤等操作，然后再计算出指标结果进行展现。存到数据库中的明细数据的很多字段都是没用到的，导致浪费存储资源。整个计算过程相当的繁琐，存在大量的计算，需要有强大的硬件和够强的数据库做支撑，计算过程消耗的时间比较长，增加客户端响应时间，影响了客户的满意度。
技术实现思路
本申请的主要目的为提供一种基于大数据的指标流实时计算方法、装置、设备及介质，旨在解决现有技术的实时计算模块先将明细数据写到数据库中，然后再根据数据库中的明细数据计算出指标结果，导致浪费存储资源，存在大量的计算，需要有强大的硬件和够强的数据库做支撑的技术问题。为了实现上述专利技术目的，本申请提出一种基于大数据的指标流实时计算方法，所述方法包括：调用客户端按预设时间间隔获取批次计算请求，根据所述批次本文档来自技高网...

【技术保护点】
1.一种基于大数据的指标流实时计算方法，其特征在于，所述方法包括：/n调用客户端按预设时间间隔获取批次计算请求，根据所述批次计算请求从Redis中获取配置变化参数；/n当所述配置变化参数为未变化预设值时，调用各个作业端将上批次的指标流配置数据作为本批次的指标流配置数据；/n当所述配置变化参数为已变化预设值时，调用所述客户端从关系型数据库中获取待更新的指标流配置数据，根据所述待更新的指标流配置数据更新所述客户端的客户端指标流配置数据，根据所述客户端指标流配置数据，确定各个所述作业端各自对应的所述本批次的指标流配置数据，将所述Redis中的所述配置变化参数更新为所述未变化预设值；/n分别调用每个所...

【技术特征摘要】
1.一种基于大数据的指标流实时计算方法，其特征在于，所述方法包括：
调用客户端按预设时间间隔获取批次计算请求，根据所述批次计算请求从Redis中获取配置变化参数；
当所述配置变化参数为未变化预设值时，调用各个作业端将上批次的指标流配置数据作为本批次的指标流配置数据；
当所述配置变化参数为已变化预设值时，调用所述客户端从关系型数据库中获取待更新的指标流配置数据，根据所述待更新的指标流配置数据更新所述客户端的客户端指标流配置数据，根据所述客户端指标流配置数据，确定各个所述作业端各自对应的所述本批次的指标流配置数据，将所述Redis中的所述配置变化参数更新为所述未变化预设值；
分别调用每个所述作业端根据各自对应的所述本批次的指标流配置数据从目标数据源中获取数据，得到各个所述作业端各自对应的待计算数据；
分别调用每个所述作业端采用所述本批次的指标流配置数据分别对每个指标标识对应的所述待计算数据进行指标计算，得到各个所述作业端各自对应的单批次指标计算结果；
分别调用每个所述作业端将各自对应的所述单批次指标计算结果存储在所述客户端中；
调用所述客户端分别按所述客户端指标流配置数据中每个所述指标标识的粒度和所述客户端中的所有所述单批次指标计算结果进行指标结果统计，得到各个所述指标标识各自对应的实时计算结果；
调用所述客户端获取写库规则数据，采用所述写库规则数据根据所述客户端指标流配置数据将各个所述指标标识各自对应的实时计算结果更新到指标结果库中。


2.根据权利要求1所述的基于大数据的指标流实时计算方法，其特征在于，所述方法还包括：
获取指标配置请求；
基于所述指标配置请求，获取待存储的指标流配置数据；
根据所述待存储的指标流配置数据更新所述关系型数据库；
将所述Redis中的所述配置变化参数更新为所述已变化预设值。


3.根据权利要求1所述的基于大数据的指标流实时计算方法，其特征在于，所述根据所述待更新的指标流配置数据更新所述客户端的客户端指标流配置数据，根据所述客户端指标流配置数据，确定各个所述作业端各自对应的所述本批次的指标流配置数据的步骤，包括：
调用所述客户端根据所述待更新的指标流配置数据更新所述客户端的所述客户端指标流配置数据；
调用所述客户端根据更新后的所述客户端指标流配置数据进行广播数据生成，得到待广播的配置数据；
调用所述客户端将所述待广播的配置数据广播到各个所述作业端；
调用各个所述作业端将所述待广播的配置数据作为各个所述作业端各自对应的所述本批次的指标流配置数据。


4.根据权利要求1所述的基于大数据的指标流实时计算方法，其特征在于，所述分别调用每个所述作业端根据各自对应的所述本批次的指标流配置数据从目标数据源中获取数据，得到各个所述作业端各自对应的待计算数据的步骤，包括：
分别调用每个所述作业端根据各自对应的所述本批次的指标流配置数据中获取数据源配置，得到各个所述作业端各自对应的目标数据源配置；
分别调用每个所述作业端从各自对应的所述目标数据源配置中获取主题配置数据，得到各个所述作业端各自对应的主题配置数据集合；
分别调用每个所述作业端根据各自对应的所述主题配置数据集合从kafka中获取数据，得到各个所述作业端各自对应的所述待计算数据。


5.根据权利要求1所述的基于大数据的指标流实时计算方法，其特征在于，所述调用所述客户端分别按所述客户端指标流配置数据中每个所述指标标识的粒度和所述客户端中的所有所述单批次指标计算结果进行指标结果统计，得到各个所述指标标识各自对应的实时计算结果的步骤之后，还包...

【专利技术属性】
技术研发人员：沈卫，
申请(专利权)人：平安普惠企业管理有限公司，
类型：发明
国别省市：广东;44