数据仓库的制作方法、装置、终端设备及计算机存储介质制造方法及图纸

本发明专利技术涉及金融科技技术领域，公开了一种数据仓库的制作方法、装置、终端设备及计算机存储介质。该数据仓库的制作方法基于获取实时数据和批量数据，并将所述实时数据和所述批量数据存入至预设开源数据库当中；根据预设的参数配置在所述预设开源数据库中读取待加工实时数据或者待加工批量数据；按照预设的共用加工代码针对所述待加工实时数据或者所述待加工批量数据进行加工得到明细数据；将所述明细数据导出至预设查询系统当中以制作得到数据仓库。本发明专利技术能够减少开发成本，还能做到对历史数据的回溯，在需要进行基于批量数据的准实时分析时，提供统一的实时和批量数据加工，提升了数据仓库的实用性和有效性。升了数据仓库的实用性和有效性。升了数据仓库的实用性和有效性。

【技术实现步骤摘要】
数据仓库的制作方法、装置、终端设备及计算机存储介质


[0001]本专利技术涉及金融科技(Fintech)
，尤其涉及一种数据仓库的制作方法、装置，终端设备及计算机存储介质。

技术介绍

[0002]随着计算机技术的发展，越来越多的技术应用在金融领域，传统金融业正在逐步向金融科技(Fintech)转变，但由于金融行业的安全性、实时性要求，也对数据同步技术提出了更高的要求。
[0003]时下，众多企业都是通过kafka(一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者在网站中的所有动作流数据)技术，利用Java(一门面向对象的计算机编程语言)编程来进行实时数据的加工，即，在获取到实时数据流后利用特定加工逻辑对该数据量进行加工得到统计值，然后将统计值存入开源数据库当中形成数据仓库来提供实时查询服务。
[0004]然而，现有针对批量数据进行加工以制作数据仓库普遍是以hive sql(hive数据仓库工具提供的sql查询功能)或者spark sql(Spark SQL是一个用来处理结构化数据的spark组件)来实现，如此，在针对本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据仓库的制作方法，其特征在于，所述数据仓库的制作方法包括：获取实时数据和批量数据，并将所述实时数据和所述批量数据存入至预设开源数据库当中；根据预设的参数配置在所述预设开源数据库中读取待加工实时数据或者待加工批量数据；按照预设的共用加工代码针对所述待加工实时数据或者所述待加工批量数据进行加工得到明细数据；将所述明细数据导出至预设查询系统当中以制作得到数据仓库。2.如权利要求1所述的数据仓库的制作方法，其特征在于，所述将所述实时数据和所述批量数据存入至预设开源数据库当中的步骤，包括：将所述实时数据按照预设数表方式存入所述预设开源数据库中的实时数仓表上；将所述批量数据按照所述预设数表方式存入所述预设开源数据库中的批量数仓表上，其中，所述实时数仓表的第一表命名规则和所述批量数仓表的第二表命名规则不同。3.如权利要求2所述的数据仓库的制作方法，其特征在于，所述参数配置与所述第一表命名规则或者所述第二表命名规则相关联，所述根据预设的参数配置在所述预设开源数据库中读取待加工实时数据或者待加工批量数据的步骤，包括：若所述参数配置与所述第一表命名规则相关联，则在所述预设开源数据库中读取所述实时数仓表上的所述实时数据作为待加工实时数据；或者，若所述参数配置与所述第二表命名规则相关联，则在所述预设开源数据库中读取所述实时数仓表上的所述实时数据作为待加工实时数据。4.如权利要求1所述的数据仓库的制作方法，其特征在于，所述数据仓库的制作方法，还包括：根据预设的准实时数据加工任务针对述预设开源数据库中的所述实时数据和所述批量数据进行合并加工处理得到实时加工结果，并将所述实时加工结果导出至所述预设查询系统当中。5.如权利要求4所述的数据仓库的制作方法，其特征在于，所述根据预设的准实时数据加工任务针对述预设开源数据库中的所述实时数据和所述批量数据进行合并加工处理得到实时加工结果的步骤，包括：在接收到所述准实时数据加工任务时，确定所述准实时数据加工任务中携带的时间信息；从所述实时数据中提取所述时间信息关联的全量实时数据，并从所述批量数据中提取所述时间信息关联的增量数据；针对所述全量实时数据和所述增量数据进行进行合并加工处理得到实时加工结果。6.如权利要求5所述的数据仓库的制作方法，其特征在于，所述时间信息为日期，所述从所述实时数据中提取所述时间信息关联的全量实时数据...

【专利技术属性】
技术研发人员：黄琳，江旻，杨杨，王大飞，陈博娜，沈立，
申请(专利权)人：深圳前海微众银行股份有限公司，
类型：发明
国别省市：