一种数据仓库的数据同步的方法和装置制造方法及图纸

本发明专利技术公开了一种数据仓库的数据同步的方法和装置，涉及计算机技术领域。该方法的一具体实施方式包括：获取源端和目标端的元数据信息，元数据信息中包括表结构；判断源端的元数据信息与目标端的元数据信息是否一致，若不一致，变更目标端的表结构使其与源端的表结构相同；对目标端的用户数据进行同步，使其与源端的用户数据一致。该实施方式克服了现有技术中的数据仓库在同步数据时灵活性差，不能适应元数据变更的场景的技术问题，进而达到自适应的处理元数据变更及对用户数据信进行灵活同步的技术效果，有利于提高数据同步的易用性。

A Method and Device for Data Synchronization in Data Warehouse

【技术实现步骤摘要】
一种数据仓库的数据同步的方法和装置
本专利技术涉及计算机
，尤其涉及一种数据仓库的数据同步的方法和装置。
技术介绍
数据仓库(DataWarehouse，DW或DWH)是为企业所有级别的决策制定过程，提供所有类型数据支持的战略集合。它是单个数据存储，出于分析性报告和决策支持目的而创建。为需要业务智能的企业，提供指导业务流程改进、监视时间、成本、质量以及控制。目前，数据仓库作为处理和运行大数据的平台，涉及大量的文件存储及数据计算。元数据(Metadata)，又称中介数据、中继数据，为描述数据的数据(dataaboutdata)，主要是描述数据属性(propert6)的信息，用来支持如指示存储位置、历史数据、资源查找、文件记录等功能。在实现本专利技术过程中，专利技术人发现现有技术中至少存在如下问题：数据仓库之间在同步数据时灵活性差，不能很好的适应元数据变更的场景。
技术实现思路
有鉴于此，本专利技术实施例提供一种数据仓库的数据同步的方法和装置，能够解决现有技术中的数据仓库在同步数据时灵活性差，不能适应元数据变更的场景。为实现上述目的，根据本专利技术实施例的一个方面，提供了一种数据仓库的数据同步的方法。本专利技术实施例的一种数据仓库的数据同步的方法包括：获取源端和目标端的元数据信息，元数据信息中包括表结构；判断源端的元数据信息与目标端的元数据信息是否一致，若不一致，变更目标端的表结构使其与源端的表结构相同；对目标端的用户数据进行同步，使其与源端的用户数据一致。可选的，本专利技术的实施例在获取源端和目标端的元数据信息之前，还包括：保存与数据仓库相应的信息配置，信息配置用于解析服务地址以及获取元数据信息；保存与数据同步相应的参数配置，参数配置用于变更表结构。可选的，本专利技术实施例的信息配置包括服务目录的名称、主备节点的域名信息以及对应的端口信息。可选的，本专利技术实施例的参数配置包括同时拷贝的最大文件数目、是否覆盖目标文件、是否跳过文件校验以及带宽最大值。可选的，本专利技术的实施例变更目标端的表结构使其与源端的表结构相同的步骤包括：将目标端的表结构删除；根据保存的配置参数在目标端创建与源端相同的表结构。可选的，本专利技术的实施例变更目标端的表结构使其与源端的表结构相同的步骤包括：将目标端的表结构与源端的表结构进行一一对比，以确定出目标端中与源端存在差异的表结构；将目标端中存在差异的表结构更新为与源端相同的表结构。为实现上述目的，根据本专利技术实施例的另一方面，提供了一种数据仓库的数据同步的装置。本专利技术实施例的一种数据仓库的数据同步的装置包括：获取模块，用于获取源端和目标端的元数据信息，元数据信息中包括表结构；变更模块，用于判断源端的元数据信息与目标端的元数据信息是否一致，若不一致，变更目标端的表结构使其与源端的表结构相同；同步模块，用于对目标端的用户数据进行同步，使其与源端的用户数据一致。可选的，本专利技术的实施例还包括保存模块，用于：保存与数据仓库相应的信息配置，信息配置用于解析服务地址以及获取元数据信息；保存与数据同步相应的参数配置，参数配置用于变更表结构。可选的，本专利技术实施例的信息配置包括服务目录的名称、主备节点的域名信息以及对应的端口信息。可选的，本专利技术实施例的参数配置包括同时拷贝的最大文件数目、是否覆盖目标文件、是否跳过文件校验以及带宽最大值。可选的，本专利技术实施例的变更模块还用于：将目标端的表结构删除；根据保存的配置参数在目标端创建与源端相同的表结构。可选的，本专利技术实施例的变更模块还用于：将目标端的表结构与源端的表结构进行一一对比，以确定出目标端中与源端存在差异的表结构；将目标端中存在差异的表结构更新为与源端相同的表结构。为实现上述目的，根据本专利技术实施例的再一方面，提供了一种数据仓库的数据同步的方法的电子设备。本专利技术实施例的一种电子设备包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本专利技术实施例的数据仓库的数据同步的方法。为实现上述目的，根据本专利技术实施例的又一方面，提供了一种计算机可读介质。本专利技术实施例的一种计算机可读介质，其上存储有计算机程序，所述程序被处理器执行时实现本专利技术实施例的数据仓库的数据同步的方法。上述专利技术中的一个实施例具有如下优点或有益效果：因为采用对源端和目标端的元数据信息进行对比，然后对元数据信息中的表结构进行变更，从而使元数据信息和用户数据达到一致的技术手段，所以克服了现有技术中的数据仓库在同步数据时灵活性差，不能适应元数据变更的场景的技术问题，进而达到自适应的处理元数据变更及对用户数据信进行灵活同步的技术效果，有利于提高数据同步的易用性。上述的非惯用的可选方式所具有的进一步效果将在下文中结合具体实施方式加以说明。附图说明附图用于更好地理解本专利技术，不构成对本专利技术的不当限定。其中：图1是根据本专利技术实施例的数据仓库的数据同步的方法的基本流程的示意图；图2是根据本专利技术的数据仓库的数据同步的方法的一种优选流程的示意图；图3是根据本专利技术的数据仓库的数据同步的代理方法的示意图；图4是根据本专利技术实施例的数据仓库的数据同步的装置的主要模块的示意图；图5是本专利技术实施例可以应用于其中的示例性系统架构图；图6是适于用来实现本专利技术实施例的终端设备或服务器的计算机系统的结构示意图。具体实施方式以下结合附图对本专利技术的示范性实施例做出说明，其中包括本专利技术实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本专利技术的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。图1是根据本专利技术实施例的数据仓库的数据同步的方法的基本流程的示意图，如图1所示，本专利技术实施例的一种数据仓库的数据同步的方法主要包括如下步骤：步骤S101：获取源端和目标端的元数据信息。本专利技术主要是通过对源端和目标端的元数据信息进行对比，并对存在差异的元数据信息进行变更，然后在对用户数据进行同步，从而实现自适应处理元数据变更的一站式数据同步的服务。元数据信息中包括表结构。本专利技术在获取源端和目标端的元数据信息之前，还包括：保存与数据仓库相应的信息配置，信息配置用于解析服务地址以及获取元数据信息；保存与数据同步相应的参数配置，参数配置用于变更表结构。其中，信息配置包括服务目录的名称、主备节点的域名信息以及对应的端口信息。参数配置包括同时拷贝的最大文件数目、是否覆盖目标文件、是否跳过文件校验以及带宽最大值。当然，在本专利技术的实施例中，还可以根据解析到的服务地址对元数据信息的处理以服务代理的方式提供(不同的服务代理映射不同的数据仓库)，这样就可以提高数据仓库的数据同步的速度，进而降低运行成本。步骤S102：判断源端的元数据信息与目标端的元数据信息是否一致，若不一致，变更目标端的表结构使其与源端的表结构相同；若一致，则直接执行步骤S103。本步骤旨在通过对比元数据信息的差异，然后将存在差异的表结构进行变更，而具体的变更过程分为两种情况：情况一：将目标端的表结构删除；根据保存的配置参数在目标端创建与源端相同的表结构；情况二：将目标端的表结构与源端的表结构进行一一对比，以确定出目标端中与源端存在差异的表本文档来自技高网...

【技术保护点】
1.一种数据仓库的数据同步的方法，其特征在于，包括：获取源端和目标端的元数据信息，所述元数据信息中包括表结构；判断所述源端的元数据信息与所述目标端的元数据信息是否一致，若不一致，变更所述目标端的表结构使其与所述源端的表结构相同；对所述目标端的用户数据进行同步，使其与所述源端的用户数据一致。

【技术特征摘要】
1.一种数据仓库的数据同步的方法，其特征在于，包括：获取源端和目标端的元数据信息，所述元数据信息中包括表结构；判断所述源端的元数据信息与所述目标端的元数据信息是否一致，若不一致，变更所述目标端的表结构使其与所述源端的表结构相同；对所述目标端的用户数据进行同步，使其与所述源端的用户数据一致。2.根据权利要求1所述的方法，其特征在于，在所述获取源端和目标端的元数据信息之前，还包括：保存与所述数据仓库相应的信息配置，所述信息配置用于解析服务地址以及获取所述元数据信息；保存与所述数据同步相应的参数配置，所述参数配置用于变更所述表结构。3.根据权利要求2所述的方法，其特征在于，所述信息配置包括服务目录的名称、主备节点的域名信息以及对应的端口信息。4.根据权利要求2所述的方法，其特征在于，所述参数配置包括同时拷贝的最大文件数目、是否覆盖目标文件、是否跳过文件校验以及带宽最大值。5.根据权利要求1所述的方法，其特征在于，所述变更所述目标端的表结构使其与所述源端的表结构相同的步骤包括：将所述目标端的表结构删除；根据保存的配置参数在所述目标端创建与所述源端相同的表结构。6.根据权利要求1所述的方法，其特征在于，所述变更所述目标端的表结构使其与所述源端的表结构相同的步骤包括：将所述目标端的表结构与所述源端的表结构进行一一对比，以确定出所述目标端中与所述源端存在差异的表结构；将所述目标端中存在差异的表结构更新为与所述源端相同的表结构。7.一种数据仓库的数据同步的装置，其特征在于，包括：获取模块，用于获取源端和目标端的元数据信息，所述元数据信息中包括表结构；变...

【专利技术属性】
技术研发人员：韩飞，张侃，刘彦伟，曾光耀，
申请(专利权)人：北京京东尚科信息技术有限公司，北京京东世纪贸易有限公司，
类型：发明
国别省市：北京,11