数据处理方法、装置、电子设备及存储介质制造方法及图纸

本发明专利技术涉及大数据技术领域，提供一种数据处理方法、装置、电子设备及存储介质，所述方法包括：接收业务系统实时上报的实时数据及业务系统离线上报的离线数据；对实时数据进行第一预处理，得到实时物理表，及对离线数据进行第二预处理，得到离线物理表；将数据处理规则转换为数据库规则语句，并将数据库规则语句、实时物理表和离线物理表写入数据库管理系统中的规则表中；定时触发数据库规则语句，从实时物理表和离线物理表得到数据库规则语句对应的目标规则结果数据；从目标规则结果数据中进行抽取，得到数据处理结果。本发明专利技术通过将实时物理表和离线物理表转换为规则结果数据，抽取的数据都是预先计算好的，提高了数据的处理效率。率。率。

【技术实现步骤摘要】
数据处理方法、装置、电子设备及存储介质


[0001]本专利技术涉及大数据
，具体涉及一种数据处理方法、装置、电子设备及存储介质。

技术介绍

[0002]随着互联网进入大数据时代，数据的来源类型开始多样化，以业务人员或者机构的激励方案为例，激励方案需要对象、指标及时间限定，需要从实时数据源及离线数据源获取数据，现有技术通过将多个数据源的数据定时写入到一个数据库的实例中，通过OLAP(联机分析处理，On
‑
Line Analytical Processing)的方式将规则转化为SQL，进行数据库的查询操作后获取数据。
[0003]然而，在将多个数据源的数据定时写入一个数据库时，涉及到实时数据源时，获取数据的更新频次受限于管理人员操作的频率，及涉及到离线数据时，离线的历史数据可能会在未来的某个时间回刷以修正数据，管理人员无法及时准确获知这样的变动，导致数据处理效率低。
[0004]因此，有必要提出一种可以快速准确处理数据的方法。

技术实现思路

[0005]鉴于以上内容，有必要提出一种数据处理方法本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法，其特征在于，所述方法包括：解析接收的数据处理请求，获取业务系统的标识码及数据处理规则；接收所述标识码对应的业务系统实时上报的实时数据及所述业务系统离线上报的离线数据；对所述实时数据进行第一预处理，得到实时物理表，及对所述离线数据进行第二预处理，得到离线物理表；将所述数据处理规则转换为数据库规则语句，并将所述数据库规则语句、所述实时物理表和所述离线物理表写入数据库管理系统中的规则表中；基于所述规则表中的调度机制，定时触发所述数据库规则语句，从所述实时物理表和所述离线物理表得到所述数据库规则语句对应的目标规则结果数据；响应于所述数据处理请求，从所述目标规则结果数据中进行抽取，得到数据处理结果。2.如权利要求1所述的数据处理方法，其特征在于，所述接收所述标识码对应的业务系统实时上报的实时数据及所述业务系统离线上报的离线数据包括：根据所述业务系统的标识码，从预设的数据源接口库中获取实时数据对应的多个预设的第一数据源的第一调用接口列表，及离线数据对应的多个预设的第二数据源的第二调用接口列表；所述标识码对应的业务系统分别将所述第一调用接口列表中每个第一调用接口对应的实时数据进行实时上报，及所述标识码对应的业务系统分别将所述第二调用接口列表中的每个第二调用接口对应的离线数据进行离线上报。3.如权利要求1所述的数据处理方法，其特征在于，所述对所述实时数据进行第一预处理，得到实时物理表包括：识别所述实时数据的类型；若所述实时数据的类型为静态数据，则将所述实时数据写入消息队列Kafka中形成第一实时物理表，将所述第一实时物理表确定为实时物理表；或者若所述实时数据的类型为动态数据，则通过分布式处理引擎Flink消费所述实时数据形成第二实时物理表，将所述第二实时物理表确定为实时物理表。4.如权利要求3所述的数据处理方法，其特征在于，所述通过分布式处理引擎Flink消费所述实时数据形成第二实时物理表包括：将所述实时数据导入至分布式处理引擎Flink中，识别所述实时数据中的多个实时数据表的表名称及表字段之间的逻辑关系；当在所述分布式处理引擎Flink中获取到空闲插槽时，在所述空闲插槽中执行所述多个实时数据表的表名称及表字段之间的逻辑关系，形成第二实时物理表。5.如权利要求1所述的数据处理方法，其特征在于，所述对所述离线数据进行第二预处理，得到离线物理表包括：识别所述离线数据中的多个离线数据表中每个离线数据表的表名称及表字段；...

【专利技术属性】
技术研发人员：张登峰，邓小龙，
申请(专利权)人：平安科技深圳有限公司，
类型：发明
国别省市：