一种业务数据处理系统、方法、服务器和存储介质技术方案

本发明专利技术实施例公开了一种业务数据处理系统、方法、服务器和存储介质，该系统包括：数据仓库集市数据层，用于按照预设频率将各业务数据源的全量数据同步到数据仓库数据集市，并对所述全量数据进行处理，得到业务宽表全量数据；增量数据层，用于与所述各业务数据源对接，获取各业务数据源的实时增量数据，得到业务宽表增量数据；业务处理层，用于对所述业务宽表全量数据进行校验，并将经过校验的业务宽表全量数据与所述业务宽表增量数据进行数据融合得到目标业务宽表数据。通过本发明专利技术实施例的技术方案，可以实现多业务部门间繁琐对接流程的解耦，而且保障了多数据源的对接时数据的一致性。性。性。

【技术实现步骤摘要】
一种业务数据处理系统、方法、服务器和存储介质


[0001]本专利技术实施例涉及计算机
，尤其涉及一种业务数据处理系统、方法、服务器和存储介质。

技术介绍

[0002]目前，随着智能化数据管理需求的普及，业务方不仅仅关系实时数据的分析展示，同样关心历史日期同时刻下的对比数据，通过两部分数据对比分析，可以让业务人员更好的了解各项指标的数据趋势，把握业务动态，进而更好的执行计划和指导实际的生产操作。
[0003]目前，常规的业务对接方案是通过如图1所示的数据处理框架来完成的，不同的数据源均通过接口调用的方式将全量数据一次同步到业务方的数据库中生成业务宽表全量数据。
[0004]但是，在实现本专利技术的过程中，专利技术人发现现有技术中至少存在以下技术问题：随着自身业务模型的发展，自身业务宽表将对接多个系统获取基础宽表数据，将全量数据一次性对接，不能保证数据异构后的事务一致性。

技术实现思路

[0005]本专利技术实施例提供了一种业务数据处理系统、方法、服务器和存储介质，以减少同步全量数据时不同业务数据源之间的耦合，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种业务数据处理系统，其特征在于，包括：数据仓库集市数据层，用于按照预设频率将各业务数据源的全量数据同步到数据仓库数据集市，并对所述全量数据进行处理，得到业务宽表全量数据；增量数据层，用于与所述各业务数据源对接，获取各业务数据源的实时增量数据，得到业务宽表增量数据；业务处理层，用于对所述业务宽表全量数据进行校验，并将经过校验的业务宽表全量数据与所述业务宽表增量数据进行数据融合得到目标业务宽表数据。2.根据权利要求1所述的系统，其特征在于，所述数据仓库集市数据层具体用于：以天为单位，每天将当前数据同步时刻之前的所述各业务数据源的全量数据同步到所述数据仓库数据集市并记录数据同步的时间戳；按照当前业务方的业务模型将所述全量数据进行整合得到当日业务宽表全量数据；将所述当日业务宽表全量数据以及所述时间戳推送到所述当前业务方的业务数据库。3.根据权利要求2所述的系统，其特征在于，所述业务处理层对所述业务宽表全量数据进行校验，包括：确定所述各业务数据源的全量数据是否发生变化；若是，则根据变化后的全量数据更新所述当日业务宽表全量数据。4.根据权利要求2所述的系统，其特征在于，所述业务处理层进行数据融合时，通过调用Job任务在预设时间，将所述当日业务宽表全量数据和所述时间戳后的增量数据进行去重合并得到当日目标业务宽表数据。5.根据权利要求1所述的系统，其特征在于，所述增量数据层通过消息队列方式对接所述各业务数据源。6.根据权利要求1-5中任一所述的系统，其特征在于，所述业务处理层在进行数据融合前还用于对所述业务宽表增量数据进行数据校验和过滤。7.根据权利要求6所述的系统，其特征在于，所述业务处理层将所述业务宽表增量数据存储到MySQL数据库中，并使用分布式锁以保证所述各业务数据源增量数据的事务一致性。8.根据权利要求4所述的系统，其特征在于，所述系统还包括：业务存储层，用于将所述当日目标...

【专利技术属性】
技术研发人员：赵力，
申请(专利权)人：北京京东世纪贸易有限公司，
类型：发明
国别省市：