数据指标的批量处理方法、装置、设备及存储介质制造方法及图纸

本发明专利技术公开了一种数据指标的批量处理方法、装置、设备及存储介质，属于数据标准化领域。所述方法包括以下步骤：基于配置的任务参数进行指标处理任务的扫描；所述任务参数包括扫描方式、触发条件和调用接口；当扫描到满足触发条件的指标处理任务时，通过所述调用接口调用所述指处理任务；基于配置的指标加工流程执行所述指标处理任务，以得到符合指标要求的数据指标；所述指标加工流程中包含有所述指标处理任务的数据源信息和数据加工逻辑信息。本发明专利技术通过将数据加工逻辑以配置文件的方式嵌入在指标加工流程的节点中，方便更新替换，大大缩短了逻辑变更流程的时间，提高了开发和发版效率。

【技术实现步骤摘要】
数据指标的批量处理方法、装置、设备及存储介质
本专利技术涉及数据标准化领域，涉及一种数据指标的批量处理方法、装置、设备及存储介质。
技术介绍
数据指标是企业在运营过程中，通过对本企业ODS数据的分析和汇总，提炼出来的反映企业经营状况的指标信息。数据指标的加工，一般包括，ODS数据的清洗和入仓，数据指标逻辑的提炼，指标逻辑的技术实现。通过使用数据指标，对数据进行分析，更清楚了解自己企业经营状况，可以更快，更好的做出各种决策，从而让企业的决策风险降低，更容易把握市场机会。业内企业的数据指标加工平台一般采用大数据平台技术，系统的技术关联多，依赖多，整个过程链条长，不易于做技术输出。指标加工逻辑确定之前，为了验证指标的准确性，有效性，需要进行多次的调试和完善和验证。在调试的过程中，指标加工逻辑变更流程长，不易开发调试。不同企业机构的指标加工逻辑有差异性，多机构支持功能薄弱，需要做较多改动才能够支持多机构。
技术实现思路
本专利技术要解决的技术问题是为了克服现有技术中指标加工逻辑变更流程长的问题，提出了一种数据指标的批量处理方法、装置、设备及存储介质，通过将指标加工逻辑以配置文件的方式嵌入定时任务的指标加工流程的节点中，实现了指标加工逻辑的快速可更换，大大缩短了逻辑变更流程的时间，提高了开发和发版效率。本专利技术是通过下述技术方案来解决上述技术问题：一种数据指标的批量处理方法，包括以下步骤：基于配置的任务参数进行指标处理任务的扫描；所述任务参数包括触发条件和调用接口；当扫描到满足触发条件的指标处理任务时，通过所述调用接口调用所述指处理任务；基于配置的指标加工流程执行所述指标处理任务，以得到符合指标要求的数据指标；所述指标加工流程的节点中包含有所述指标处理任务的数据源信息和数据加工逻辑信息。本技术方案中，通过定时任务结合指标加工流程配置指标处理任务的加工逻辑，实现了数据指标的批量处理。优选地，所述基于配置的指标加工流程执行所述指标处理任务的步骤包括：根据所述数据源信息从对应的数据库中抽取待处理数据；根据所述数据加工逻辑信息对所述待处理数据进行加工处理，以得到符合指标要求的数据指标。本技术方案中，指标处理任务支持多数据库，可同时对多个数据库中的数据进行数据指标的处理。优选地，所述根据所述数据源信息从对应的数据库中抽取待处理数据的步骤包括：从所述指标加工流程中截取数据源信息，所述数据源信息至少包含一个数据库；基于所述数据源信息，抽象连接对应的数据库；从连接的所述数据库中抽取待处理数据并暂存在资源库中，所述待处理数据上带有与所述数据库相对应的数据流转标识。本技术方案中，指标处理任务支持多数据库，并通过数据流转标识进行数据隔离，保障了数据安全。优选地，所述数据加工逻辑信息至少包含一套数据加工规则，所述数据加工规则被配置于property文件中，且所述数据加工规则与所述property文件一一对应；每个所述数据库至少配置有一套数据加工规则；所述对抽取的所述待处理数据进行加工处理的步骤包括：从所述指标加工流程中截取所述数据加工逻辑信息，所述数据加工逻辑信息中包含有至少一个property文件的文件名；基于所述数据加工逻辑信息，将对应的property文件加载至所述资源库中；根据所述property文件中配置的所述数据加工规则，对所述资源库中的待处理数据进行加工处理。本技术方案中，数据加工规则通过property文件进行配置，通过property文件加载，操作简便；指标处理任务可适配多种行业场景，可在加工任务流程的加工节点嵌入对应每种行业场景的指标加工规则，适用场景广泛。优选地，在从所述指标加工流程中截取所述数据加工逻辑信息的步骤之前，还包括：遍历所述property文件；当所述property文件有更新时，对应更新所述指标加工流程中的所述数据加工逻辑信息。本技术方案中，数据加工规则通过property文件进行配置，通过property文件加载的方式替换旧逻辑，提高了开发效率和发版效率。优选地，所述数据指标由对应的所述待处理数据加工处理后得到，所述数据指标带有与其对应的所述待处理数据上的所述数据流转标识；所述在得到符合指标要求的数据指标的步骤之后，还包括：基于所述数据指标上带有的所述数据流转标识，将所述数据指标存入与所述数据流转标识相对应的数据库中。本技术方案中，通过数据流转标识确保处理后的数据指标入库至对应的数据库中，防止数据泄露。优选地，所述数据加工规则中包含有数据日期参数和数据加工逻辑；所述根据所述property文件中配置的所述数据加工规则，对所述资源库中的待处理数据进行加工处理的步骤包括：截取所述数据加工规则中的数据日期参数；根据所述数据日期参数，从所述待处理数据中找出所述数据日期参数表征的时间产生的数据；根据所述数据加工逻辑，针对找到的所述数据进行加工处理。本技术方案中，通过数据加工规则中的数据日期参数，可以针对任意日期的数据进行加工，以将该日期的数据处理成符合指标要求的指标数据。本专利技术还公开了一种数据指标的批量处理装置，包括：任务管理模块，用于基于配置的任务参数进行指标处理任务的扫描；所述任务参数包括扫描方式、触发条件和调用接口；当扫描到满足触发条件的指标处理任务时，通过所述调用接口调用所述指处理任务；数据加工模块，用于基于配置的指标加工流程执行所述指标处理任务，以得到符合指标要求的数据指标；所述指标加工流程的节点中包含有所述指标处理任务的数据源信息和数据加工逻辑信息。本专利技术还公开了一种计算机设备，包括存储器和处理器，所述存储器上存储有计算机程序，所述计算机程序被所述处理器执行时实现前述任一项技术方案中所述的数据指标的批量处理方法的步骤。本专利技术还公开了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序可被至少一个处理器所执行，以实现前述任一项技术方案中所述的数据指标的批量处理方法的步骤。本专利技术的积极进步效果在于：将数据指标的处理以定时任务的方式实现定期执行；数据加工逻辑以配置文件的方式嵌入在指标加工流程的节点中，方便更新替换，大大缩短了逻辑变更流程的时间，提高开发和发版效率；通过在节点中配置多个数据源，以实现对不同机构间数据的隔离，以提高数据的安全性。附图说明图1示出了本专利技术数据指标的批量处理方法实施例一的流程图；图2示出了实施例一中步骤2的具体流程图；图3示出了实施例一中步骤21的具体流程图；图4示出了实施例一中步骤22的具体流程图；图5示出了实施例一中步骤225的具体流程图；图6示出了本专利技术数据指标的批量处理装置第一实施例的结构图；图7示出了本专利技术计算机设备一实施例的硬件架构示意图。具体实施方式本文档来自技高网...

【技术保护点】
1.一种数据指标的批量处理方法，其特征在于，包括以下步骤：/n基于配置的任务参数进行指标处理任务的扫描；所述任务参数包括触发条件和调用接口；当扫描到满足触发条件的指标处理任务时，通过所述调用接口调用所述指处理任务；/n基于配置的指标加工流程执行所述指标处理任务，以得到符合指标要求的数据指标；所述指标加工流程的节点中包含有所述指标处理任务的数据源信息和数据加工逻辑信息。/n

【技术特征摘要】
1.一种数据指标的批量处理方法，其特征在于，包括以下步骤：
基于配置的任务参数进行指标处理任务的扫描；所述任务参数包括触发条件和调用接口；当扫描到满足触发条件的指标处理任务时，通过所述调用接口调用所述指处理任务；
基于配置的指标加工流程执行所述指标处理任务，以得到符合指标要求的数据指标；所述指标加工流程的节点中包含有所述指标处理任务的数据源信息和数据加工逻辑信息。


2.根据权利要求1所述的数据指标的批量处理方法，其特征在于，所述基于配置的指标加工流程执行所述指标处理任务的步骤包括：
根据所述数据源信息从对应的数据库中抽取待处理数据；
根据所述数据加工逻辑信息对所述待处理数据进行加工处理，以得到符合指标要求的数据指标。


3.根据权利要求2所述的数据指标的批量处理方法，其特征在于，
所述根据所述数据源信息从对应的数据库中抽取待处理数据的步骤包括：
从所述指标加工流程中截取数据源信息，所述数据源信息至少包含一个数据库；
基于所述数据源信息，抽象连接对应的数据库；
从连接的所述数据库中抽取待处理数据并暂存在资源库中，所述待处理数据上带有与所述数据库相对应的数据流转标识。


4.根据权利要求3所述的数据指标的批量处理方法，其特征在于，所述数据加工逻辑信息至少包含一套数据加工规则，所述数据加工规则被配置于property文件中，且所述数据加工规则与所述property文件一一对应；
每个所述数据库至少配置有一套数据加工规则；
所述根据所述数据加工逻辑信息对所述待处理数据进行加工处理的步骤包括：
从所述指标加工流程中截取所述数据加工逻辑信息，所述数据加工逻辑信息中包含有至少一个property文件的文件名；
基于所述数据加工逻辑信息，将对应的property文件加载至所述资源库中；
根据所述property文件中配置的所述数据加工规则，对所述资源库中的待处理数据进行加工处理。


5.根据权利要求4所述的数据指标的批量处理方法，其特征在于，在从所述指标加工流程中截取所...

【专利技术属性】
技术研发人员：张广智，梁海涛，邢远辉，邵骋，余祥，
申请(专利权)人：平安银行股份有限公司，
类型：发明
国别省市：广东;44