数据库同步到数据仓库的方法、装置和电子装置制造方法及图纸

本申请涉及一种数据库同步到数据仓库的方法、装置和电子装置，其中，该数据库同步到数据仓库的方法包括：获取数据库目标数据，所述数据库目标数据为数据库格式的数据；对所述数据库目标数据进行格式转换，得到数据仓库目标数据，所述数据仓库目标数据为数据仓库格式的数据；基于所述数据仓库目标数据得到数据仓库，并判断所述数据仓库中的数据量是否和数据库中的数据量一致。通过本申请，解决了相关技术中存在数据库同步到数据仓库的效率较低，无法满足大规模的数据同步场景的技术问题，提高了数据库同步到数据仓库的效率。了数据库同步到数据仓库的效率。了数据库同步到数据仓库的效率。

【技术实现步骤摘要】
数据库同步到数据仓库的方法、装置和电子装置


[0001]本申请涉及数据处理领域，特别是涉及数据库同步到数据仓库的方法、装置和电子装置。

技术介绍

[0002]随着信息技术的不断发展，数据库的应用越来越广泛。由于数据量往往比较庞大，数据库中可能存在千万条、上亿条数据。数据的来源往往也有很多，例如出行记录、消费记录、浏览网页、发送消息、图像视频等。由于数据库一般为关系型数据库，主要用于处理日常事务，其功能需要同时涵盖读写操作，因此数据库往往会同时对读写操作进行优化。当需要对数据库进行深度查询和分析操作时，数据库往往无法胜任，需要通过数据仓库来实现。
[0003]为了对数据库中的数据进行深度分析操作，一般会将数据库中的数据同步到数据仓库。现有技术中一般通过离线数据仓库实现离线计算，从而获取报表需求，进一步将数据库中的数据逐步抽离到离线数据仓库。但是，现有技术中的离线计算以及逐步抽离数据的过程繁琐，无法满足各种应用场景，需要人工进行干预和调整，且无法对数据库中的整体数据进行一站式操作，导致现有技术中数据库同步到数据仓库的效率较低，无法满足大规模的数据同步场景。
[0004]针对相关技术中存在数据库同步到数据仓库的效率较低，无法满足大规模的数据同步场景的技术问题，目前还没有提出有效的解决方案。

技术实现思路

[0005]在本实施例中提供了一种数据库同步到数据仓库的方法、装置、电子装置和存储介质，以解决相关技术中数据库同步到数据仓库的效率较低，无法满足大规模的数据同步场景的问题。
[0006]第一个方面，在本实施例中提供了一种数据库同步到数据仓库的方法，包括：
[0007]获取数据库目标数据，所述数据库目标数据为数据库格式的数据；
[0008]对所述数据库目标数据进行格式转换，得到数据仓库目标数据，所述数据仓库目标数据为数据仓库格式的数据；
[0009]基于所述数据仓库目标数据得到数据仓库，并判断所述数据仓库中的数据量是否和数据库中的数据量一致。
[0010]在其中的一些实施例中，所述数据库目标数据至少包括：数据库表名、数据库字段名以及数据库字段属性。
[0011]在其中的一些实施例中，所述基于所述数据仓库目标数据得到数据仓库包括：
[0012]获取数据仓库初始参数以及同步参数，所述数据仓库初始参数至少包括：数据仓库地址、数据仓库端口、数据仓库名、数据仓库表名，所述同步参数至少包括全量同步参数和增量同步参数；
[0013]基于所述数据仓库初始参数、同步参数以及数据仓库目标数据生成所述数据仓
库。
[0014]在其中的一些实施例中，所述对所述数据库目标数据进行格式转换，得到数据仓库目标数据包括：
[0015]基于所述数据库目标数据以及预设转换规则生成逻辑业务代码；
[0016]调用所述逻辑业务代码，得到所述数据仓库目标数据。
[0017]在其中的一些实施例中，所述预设转换规则至少包括：字符大小转换规则、数据库表名转换规则、数据库字段名转换规则以及数据库字段属性转换规则。
[0018]在其中的一些实施例中，所述获取数据库目标数据包括：
[0019]获取数据库初始参数以及数据库类型，所述数据库初始参数至少包括：数据库地址、数据库端口、数据库名以及数据库表名；
[0020]基于所述数据库类型选择对应的数据库操作代码；
[0021]基于所述数据库操作代码以及数据库初始参数获取所述数据库目标数据。
[0022]在其中的一些实施例中，所述基于所述数据仓库目标数据得到数据仓库之后还包括：
[0023]设置时间点阈值，并判断所述数据仓库数据的生成时间是否在所述时间点阈值之前；
[0024]若在所述时间点阈值之前，则删除所述数据仓库的数据。
[0025]第二个方面，在本实施例中提供了一种数据库同步到数据仓库的装置，其特征在于，包括：
[0026]获取模块，用于获取数据库目标数据，所述数据库目标数据为数据库格式的数据；
[0027]转换模块，对所述数据库目标数据进行格式转换，得到数据仓库目标数据，所述数据仓库目标数据为数据仓库格式的数据；
[0028]校验模块，用于基于所述数据仓库目标数据得到数据仓库，并判断所述数据仓库中的数据量是否和数据库中的数据量一致。
[0029]第三个方面，在本实施例中提供了一种电子装置，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述第一个方面所述的数据库同步到数据仓库的方法。
[0030]第四个方面，在本实施例中提供了一种存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述第一个方面所述的数据库同步到数据仓库的方法。
[0031]与相关技术相比，在本实施例中提供的数据库同步到数据仓库的方法、装置、电子装置和存储介质，获取数据库目标数据，所述数据库目标数据为数据库格式的数据；对所述数据库目标数据进行格式转换，得到数据仓库目标数据，所述数据仓库目标数据为数据仓库格式的数据；基于所述数据仓库目标数据得到数据仓库，并判断所述数据仓库中的数据量是否和数据库中的数据量一致。通过对数据库目标数据进行格式转换，得到数据仓库并进一步进行校验，从而实现数据仓库的一站式生成和校验，无需人工进行操作，解决了相关技术中存在数据库同步到数据仓库的效率较低，无法满足大规模的数据同步场景的技术问题，提高了数据库同步到数据仓库的效率。
[0032]本申请的一个或多个实施例的细节在以下附图和描述中提出，以使本申请的其他特征、目的和优点更加简明易懂。
Interface Controller，简称为NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输设备106可以为射频(Radio Frequency，简称为RF)模块，其用于通过无线方式与互联网进行通讯。
[0043]请参阅图2，图2是本专利技术一实施例的数据库同步到数据仓库的方法的流程示意图。在本实施例中，数据库同步到数据仓库的方法包括：
[0044]S202：获取数据库目标数据，所述数据库目标数据为数据库格式的数据。
[0045]示例性地，对数据库中保存的数据以及数据库参数进行提取，得到数据库目标数据。其中，数据库目标数据为在同步过程中需要进行格式转换的数据。可以理解的，由于数据库与数据仓库中的数据格式以及存储方式并不相同，因此在同步过程中需要获取数据库目标数据，以用于后续在同步过程中进行格式转换。
[0046]具体的，数据库是指按照预设的数据结构组织、存储和管理数据的仓库，用于长期存储在计算机内并且可以统一管理的大量数据的集合。数据库的类型包括关系型数据库如MySQL、MariaDB等。优选的，本实施例中的数据库为关系型数据库，以方便通过数据库语言对数据库进行操作。
[0047]S204：对数据库目标数据进行格式转换，得到数据仓库目标数本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据库同步到数据仓库的方法，其特征在于，包括：获取数据库目标数据，所述数据库目标数据为数据库格式的数据；对所述数据库目标数据进行格式转换，得到数据仓库目标数据，所述数据仓库目标数据为数据仓库格式的数据；基于所述数据仓库目标数据得到数据仓库，并判断所述数据仓库中的数据量是否和数据库中的数据量一致。2.根据权利要求1所述的数据库同步到数据仓库的方法，其特征在于，所述数据库目标数据至少包括：数据库表名、数据库字段名以及数据库字段属性。3.根据权利要求1所述的数据库同步到数据仓库的方法，其特征在于，所述基于所述数据仓库目标数据得到数据仓库包括：获取数据仓库初始参数以及同步参数，所述数据仓库初始参数至少包括：数据仓库地址、数据仓库端口、数据仓库名、数据仓库表名，所述同步参数至少包括全量同步参数和增量同步参数；基于所述数据仓库初始参数、同步参数以及数据仓库目标数据生成所述数据仓库。4.根据权利要求1所述的数据库同步到数据仓库的方法，其特征在于，所述对所述数据库目标数据进行格式转换，得到数据仓库目标数据包括：基于所述数据库目标数据以及预设转换规则生成逻辑业务代码；调用所述逻辑业务代码，得到所述数据仓库目标数据。5.根据权利要求4所述的数据库同步到数据仓库的方法，其特征在于，所述预设转换规则至少包括：字符大小转换规则、数据库表名转换规则、数据库字段名转换规则以及数据库字段属性转换规则。6.根据权利要求1所述的数据库...

【专利技术属性】
技术研发人员：顾伟涛，王跃剑，曹彩鹏，周游，刘培锴，陈斐，
申请(专利权)人：杭州浮云网络科技有限公司，
类型：发明
国别省市：