用于数据仓库的数据更新方法、系统及电子设备技术方案

本发明专利技术公开一种用于数据仓库的数据更新方法、系统及电子设备，其中，该方法包括：以数据源系统中的数据表单为单位创建数据更新的任务流；将所述任务流一一对应的转化为数据处理程序，分别部署到ETL系统上；通过所述ETL系统生成每个数据源系统的任务流调度表，并依据所述任务流调度表执行各任务流对应的数据处理程序，将所有数据源系统中的数据表单更新到数据仓库中。用于数据仓库的数据更新系统，采用上述用于数据仓库的数据更新方法，解决了不同的业务系统提供的数据内容、格式、质量千差万别，以及多个业务系统的数据同时更新到数据仓库时数据更新量过大且更新任务不好调度等问题。

【技术实现步骤摘要】
用于数据仓库的数据更新方法、系统及电子设备
本专利技术涉及数据仓库
，尤其涉及用于数据仓库的数据更新方法、系统及电子设备。
技术介绍
随着企业各项业务的飞速发展及信息化建设的不断深入，产生了日益庞大的历史数据，由于各业务系统之间相互独立导致了业务不集成、流程不互通、数据不共享等问题，这些问题对企业进行数据的分析利用、挖掘以及报表开发等工作带来了非常大的困难。在此情况下，为了实现企业全局数据的系统化运作管理，挖掘数据价值，为企业开发类似于决策支持系统、智能商务系统、经营分析系统等的深度应用奠定基础，企业会开始着手建立数据仓库，将相互分离的业务系统的数据源整合在一起。但是在数据仓库实施过程中，存在着不同的业务系统提供的数据内容、格式、质量千差万别，以及多个业务系统同时更新到数据仓库时数据更新量过大且更新任务不好调度等问题，为数据仓库的数据更新带来一定的难度。
技术实现思路
本专利技术的目的在于提供用于数据仓库的数据更新方法、系统及电子设备，以解决不同的业务系统提供的数据内容、格式、质量千差万别，以及多个业务系统同时本文档来自技高网...

【技术保护点】
1.一种用于数据仓库的数据更新方法，其特征在于，包括：/n以数据源系统中的数据表单为单位创建数据更新的任务流；/n将所述任务流一一对应的转化为数据处理程序，分别部署到ETL系统上；/n通过所述ETL系统生成每个数据源系统的任务流调度表，并依据所述任务流调度表执行各任务流对应的数据处理程序，将所有数据源系统中的数据表单更新到数据仓库中。/n

【技术特征摘要】
1.一种用于数据仓库的数据更新方法，其特征在于，包括：
以数据源系统中的数据表单为单位创建数据更新的任务流；
将所述任务流一一对应的转化为数据处理程序，分别部署到ETL系统上；
通过所述ETL系统生成每个数据源系统的任务流调度表，并依据所述任务流调度表执行各任务流对应的数据处理程序，将所有数据源系统中的数据表单更新到数据仓库中。


2.根据权利要求1所述的用于数据仓库的数据更新方法，其特征在于，以数据源系统中的数据表单为单位创建数据更新的任务流的方法包括：
对任务阶段和数据源系统的数据表单分别进行编号；
利用任务阶段的编号和数据源系统的数据表单的编号对每个任务进行统一格式的编码，一个任务对应执行一个数据表单的一个任务阶段；
将用于更新同一数据表单的任务作为一个任务流，同时生成所述任务流的任务信息表及任务依赖表。


3.根据权利要求2所述的用于数据仓库的数据更新方法，其特征在于，所述任务阶段包括数据检测阶段、数据加载阶段、数据处理阶段和数据备份阶段，或者同时包括起始阶段和/或结束阶段。


4.根据权利要求2或3所述的用于数据仓库的数据更新方法，其特征在于，所述任务信息表包括对应的任务流中所有任务的编码、调度周期、归属条线及处理阶段；
所述任务依赖表包括对应的任务流中所有任务根据所处的任务阶段所决定的前后依赖关系。


5.根据权利要求3所述的用于数据仓库的数据更新方法，其特征在于，所述数据处理程序包括数据检测模块程序、数据加载模块程序、数据处理模块程序和数据备份模块程序，或者同时包括起始模块程序和/或结束模块程序。


6.根据权利要求5所述的用于数据仓库的数据更新方法，其特征在于，通过所述ETL系统生成数据源系统的任务流调度表，并依据所述任务流调度表执行各任务流对应的数据处理程序，将数据源系统中的数据表单更新到数据仓库中的方法包括：...

【专利技术属性】
技术研发人员：肖国忠，
申请(专利权)人：苏宁金融科技南京有限公司，
类型：发明
国别省市：江苏;32