数据的同步方法、装置、系统制造方法及图纸

本申请实施例提供了一种数据的同步方法及装置，可以通过获取用户输入的同步任务信息，并根据同步任务信息中的数据库标识，确定第一数据库，接着从第一数据库中确定与表标识匹配的表数据，并且根据与表数据对应的日志表，同步表数据，实现了用户可以按需创建数据的同步任务，使得数据的同步由“推送”转为“拉取”，提高了数据同步的针对性，保证了数据的一致性，同时将数据同步处理从数据库中转移，降低了数据库的系统负载，提高了数据同步的效率。率。率。

【技术实现步骤摘要】
数据的同步方法、装置、系统


[0001]本申请涉及数据处理
，特别是涉及一种数据的同步方法和一种数据的同步装置。

技术介绍

[0002]SAP(Systems Applications And Products In Data Processing)系统，又称企业管理解决方案，其功能为：借助软件程序为企业定制并创建管理系统，对企业的人力资源、物流运输、销售服务、交易支付、产品规格及质量、生产活动、原材料采购、货物仓储及库存管理等全部经营活动与环节，实施监督、分析及管理，形成数据化的资源管理系统，为企业生产、决策、组织运营提供指导及依据。
[0003]当前SAP系统在工业企业中的覆盖率非常高，一些企业甚至达到了100％，同时SAP系统中存储了企业大量的数据。当对SAP系统中的数据进行迁移(同步)时，一方面基于SAP自带组件的数据迁移(同步)方式，成本高且能够支持的目标数据源十分有限，另一方面采用Java数据库连接(Java Database Connectivity，JDBC)方式，需要自己写任务拖库，容易造成系统负载过大，缺乏运维监控，且难以保证数据的一致性。

技术实现思路

[0004]本申请实施例所要解决的技术问题是提供一种数据的同步方法，以解决现有技术中从SAP获取数据容易造成系统负载过大，难以保证数据一致性，以及无法支持不同数据源的问题。
[0005]相应的，本申请实施例还提供了一种数据的同步装置，用以保证上述方法的实现及应用。
[0006]为了解决上述问题，本申请公开了一种数据的同步方法，包括：
[0007]获取用户输入的同步任务信息，所述同步任务信息包括数据库标识以及表标识；
[0008]确定与所述数据库标识对应的第一数据库，并从所述第一数据库中确定与所述表标识匹配的表数据；
[0009]根据与所述表数据对应的日志表，同步所述表数据。
[0010]可选地，所述根据与所述表数据对应的日志表，同步所述表数据，包括：
[0011]从所述第一数据库中查询是否存在与所述表数据对应的日志表，所述日志表包括所述表数据的数据变化信息；
[0012]当所述第一数据库中存在与所述表数据对应的日志表时，则根据所述日志表的数据变化信息，同步所述表数据。
[0013]可选地，所述同步任务信息还包括调度周期，所述根据所述日志表的数据变化信息，同步所述表数据，包括：
[0014]按照所述调度周期，查询所述日志表中的数据变化信息；
[0015]确定与所述数据变化信息匹配的增量数据，并同步所述增量数据。
[0016]可选地，所述按照所述调度周期，查询所述日志表中的数据变化信息，包括：
[0017]获取所述日志表中距离当前时刻最近的时间戳；
[0018]当所述时间戳满足所述调度周期时，则获取所述日志表中的数据变化信息。
[0019]可选地，所述数据变化信息包括增加信息、删减信息以及修改信息中的至少一种，所述确定与所述数据变化信息匹配的增量数据，并同步所述增量数据，包括：
[0020]确定与所述增加信息对应的第一增量数据，获取所述第一增量数据；或，
[0021]确定与所述删减信息对应的第二增量数据，删除所述第二增量数据；或，
[0022]确定与所述修改信息对应的第三增量数据，更新所述第三增量数据。
[0023]可选地，所述表数据包括表字段，所述方法还包括：
[0024]响应针对所述表字段的选择操作，从所述表数据中确定目标表字段；
[0025]所述根据所述日志表的数据变化信息，同步所述表数据，包括：
[0026]根据所述数据变化信息，同步所述目标表字段。
[0027]本申请还公开了一种数据的同步方法，涉及数据中台、数据采集对象以及SAP系统，所述方法包括：
[0028]所述数据中台获取用户输入的同步任务信息，并将所述同步任务信息发送至所述数据采集对象，所述同步任务信息包括表标识；
[0029]所述数据采集对象从所述SAP系统中确定与所述表标识匹配的表数据，并从所述SAP系统中查询是否存在与所述表数据对应的日志表，所述日志表包括所述表数据的数据变化信息；
[0030]当所述SAP系统中存在与所述表数据对应的日志表时，则所述数据采集对象将所述表数据与所述日志表发送至所述数据中台；
[0031]所述数据中台根据所述日志表的数据变化信息，同步所述表数据。
[0032]可选地，所述数据中台包括数据处理对象以及第二数据库，所述同步任务信息还包括调度周期，所述数据中台根据所述日志表的数据变化信息，同步所述表数据，包括：
[0033]通过所述数据处理对象按照所述调度周期，查询所述日志表中的数据变化信息；
[0034]通过所述数据处理对象确定与所述数据变化信息匹配的增量数据，并将所述增量数据同步于所述第二数据库。
[0035]可选地，所述通过所述数据处理对象按照所述调度周期，查询所述日志表中的数据变化信息，包括：
[0036]通过所述数据处理对象获取所述日志表中距离当前时刻最近的时间戳；
[0037]当所述时间戳满足所述调度周期时，则所述数据处理对象获取所述日志表中的数据变化信息。
[0038]可选地，所述数据变化信息包括增加信息、删减信息以及修改信息中的至少一种，所述通过所述数据处理对象确定与所述数据变化信息匹配的增量数据，并将所述增量数据同步于所述第二数据库，包括：
[0039]所述数据处理对象确定与所述增加信息对应的第一增量数据，并将所述第一增量数据发送至所述第二数据库；或，
[0040]所述数据处理对象确定与所述删减信息对应的第二增量数据，并从所述第二数据库中删除所述第二增量数据；或，
[0041]所述数据处理对象确定与所述修改信息对应的第三增量数据，并对所述第二数据库中的所述第三增量数据进行更新。
[0042]可选地，所述表数据包括表字段，所述方法还包括：
[0043]所述数据中台响应针对所述表字段的选择操作，从所述表数据中确定目标表字段；
[0044]所述数据中台根据所述日志表的数据变化信息，同步所述表数据，包括：
[0045]所述数据中台根据所述数据变化信息，同步所述目标表字段。
[0046]可选地，所述数据中台包括任务管理对象，所述数据中台获取用户输入的同步任务信息，并将所述同步任务信息发送至所述数据采集对象，包括：
[0047]所述数据中台通过所述任务管理对象获取用户输入的同步任务信息，并将所述同步任务信息发送至所述数据采集对象。
[0048]本申请还公开了一种数据的同步方法，应用于同步应用程序，所述同步应用程序包括数据库添加控件、任务输入控件以及任务创建控件，所述方法包括：
[0049]响应针对所述数据库添加控件的添加操作，确定与所述添加操作匹配的第一数据库；
[0050]响应针对所述本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据的同步方法，其特征在于，包括：获取用户输入的同步任务信息，所述同步任务信息包括数据库标识以及表标识；确定与所述数据库标识对应的第一数据库，并从所述第一数据库中确定与所述表标识匹配的表数据；根据与所述表数据对应的日志表，同步所述表数据。2.根据权利要求1所述的方法，其特征在于，所述根据与所述表数据对应的日志表，同步所述表数据，包括：从所述第一数据库中查询是否存在与所述表数据对应的日志表，所述日志表包括所述表数据的数据变化信息；当所述第一数据库中存在与所述表数据对应的日志表时，则根据所述日志表的数据变化信息，同步所述表数据。3.根据权利要求2所述的方法，其特征在于，所述同步任务信息还包括调度周期，所述根据所述日志表的数据变化信息，同步所述表数据，包括：按照所述调度周期，查询所述日志表中的数据变化信息；确定与所述数据变化信息匹配的增量数据，并同步所述增量数据。4.根据权利要求3所述的方法，其特征在于，所述按照所述调度周期，查询所述日志表中的数据变化信息，包括：获取所述日志表中距离当前时刻最近的时间戳；当所述时间戳满足所述调度周期时，则获取所述日志表中的数据变化信息。5.根据权利要求3所述的方法，其特征在于，所述数据变化信息包括增加信息、删减信息以及修改信息中的至少一种，所述确定与所述数据变化信息匹配的增量数据，并同步所述增量数据，包括：确定与所述增加信息对应的第一增量数据，获取所述第一增量数据；或，确定与所述删减信息对应的第二增量数据，删除所述第二增量数据；或，确定与所述修改信息对应的第三增量数据，更新所述第三增量数据。6.根据权利要求2所述的方法，其特征在于，所述表数据包括表字段，所述方法还包括：响应针对所述表字段的选择操作，从所述表数据中确定目标表字段；所述根据所述日志表的数据变化信息，同步所述表数据，包括：根据所述数据变化信息，同步所述目标表字段。7.一种数据的同步方法，其特征在于，涉及数据中台、数据采集对象以及SAP系统，所述方法包括：所述数据中台获取用户输入的同步任务信息，并将所述同步任务信息发送至所述数据采集对象，所述同步任务信息包括表标识；所述数据采集对象从所述SAP系统中确定与所述表标识匹配的表数据，并从所述SAP系统中查询是否存在与所述表数据对应的日志表，所述日志表包括所述表数据的数据变化信息；当所述SAP系统中存在与所述表数据对应的日志表时，则所述数据采集对象将所述表数据与所述日志表发送至所述数据中台；所述数据中台根据所述日志表的数据变化信息，同步所述表数据。
8.根据权利要求7所述的方法，其特征在于，所述数据中台包括数据处理对象以及第二数据库，所述同步任务信息还包括调度周期，所述数据中台根据所述日志表的数据变化信息，同步所述表数据，包括：通过所述数据处理对象按照所述调度周期，查询所述日志表中的数据变化信息；通过所述数据处理对象确定与所述数据变化信息匹配的增量数据，并将所述增量数据同步于所述第二数据库。9.根据权利要求8所述的方法，其特征在于，所述通过所述数据处理对象按照所述调度周期，查询所述日志表中的数据变化信息，包括：通过所述数据处理对象获取所述日志表中距离当前时刻最近的时间戳；当所述时间戳满足所述调度周期时，则所述数据处理对象获取所述日志表中的数据变化信息。10.根据权利要求8所述的方法，其特征在于，所述数据变化信息包括增加信息、删减信息以及修改信息中的至少一种，所述通过所述数据处理对象确定与所述数据变化信息匹配的增量数据，并将所述增量数据同步于所述第二数据库，包括：所述数据处理对象确定与所述增加信息对应的第一增量数据，并将所述第一增量数据发送至所述第二数据库；或，所述数据处理对象确定与所述删减信息对应的第二增量数据，并从所述第二数据库中删除所述第二增量数据；或，所述数据处理对象确定与所述修改信息对应的第三增量数据，并对所述第二数据库中的所述第三增量数据进行更新。11.根据权利要求7所述的方法，其特征在于，所述表数据包括表字段，所述方法还包括：所述数据中台响应针对所述表字段的选择操作，从所述表数据中确定目标表字段；所述数据中台根据所述日志表的数据变化信息，同步所述表数据，包括：所述数据中台根据所述数据变化信息，同步所述目标表字段。12.根据权利要求7所述的方法，其特征在于，所述数据中台包括任务管理对象，所述数据中台获取用户输入的同步任务信息，并将所述同步任务信息发送至所述数据采集对象，包括：所述数据中台通过所述任务管理对象获取用户输入的同步任务信息，并将所述同步任务信息发送至所述数据采集对象。13.一种数据的同步方法，其特征在于，应用于同步应用程序，所述同步应用程序包括数据库添加控件、任务输入控件以及任务创建控件，所述方法包括：响应针对所述数据库添加控件的添加操作，确定与所述添加操作匹配的第一数据库；响应针对所述任务输入控件的输入操作，确定与所述创建操作匹配的同步任务信息，所述同步任务信息包括表标识以及调度周期；响应针对所述任务创建控件的确认操作，按照所述调度周期，从所述第一数据库中获取与所述表标识匹配的表数据，并同步所述表数据。14.根据权利要求13所述的方法，其特征在于，所述数据库添加控件包括资源标识控件、数据库标识控件以及帐户添加控件，所述响应针对所述数据库添加控件的添加操作，确
定与所述添加操作匹配的数据库，包括：响应针对所述资源标识控件的输入操作，确定资源标识；响应针对所述数据库标识控件的输入操作，确定数据库标识；响应针对所述账户添加控件的输入操作，确定账户信息；根据所述资源标识、所述数据库标识以及所述账户信息，确定所述第一数据库。15.根据权利要求13或14所述的方法，其特征在于，所述任务输入控件包括表标识输入控件以及周期输入控件，所述响应针对所述任务输入控件的输入操作，确定与所述创建操作匹配的同步任务信息，包括：响应针对所述表标识输入控件的输入操作，确定所述表标识，并提供与所述表标识匹配的表字段，所述表字段对应一表字段选择控件；响应针对所述表字段选择控件的选择操作，确定目标表字段；响应针对所述周期输入控件...

【专利技术属性】
技术研发人员：占怀旻，戢洋，华超杰，
申请(专利权)人：阿里巴巴集团控股有限公司，
类型：发明
国别省市：