一种DTS数据链路运维方法、装置、设备及介质制造方法及图纸

本申请公开了一种DTS数据链路运维方法、装置、设备及介质，涉及信息技术领域。该方法包括：获取DTS数据中针对目标端与源端的数据链路的目标操作请求，并获取所述目标端与所述源端对应的目标yaml配置文件；读取所述目标yaml配置文件并得到所述目标yaml配置文件中的目标数据信息，然后根据所述目标操作请求对应的目标操作选择与所述目标操作对应的预设目标应用程序接口；基于所述目标数据信息并调用所述预设目标应用程序接口进行目标操作，以完成所述目标操作请求。通过上述方案，能够在进行DTS数据链路运维时进行对多同步链路的批量操作以提高DTS数据链路运维效率。作以提高DTS数据链路运维效率。作以提高DTS数据链路运维效率。

【技术实现步骤摘要】
一种DTS数据链路运维方法、装置、设备及介质


[0001]本专利技术涉及信息
，特别涉及一种DTS数据链路运维方法、装置、设备及介质。

技术介绍

[0002]目前，根据阿里云DTS(即Data Transmission Service，数据传输服务)产品的开放API(即Application Programming Interface，应用程序接口)的开发，可以单独实现批量链路的创建、删除、修改、启停和查看状态。然而，目前相关技术中缺少对DTS产品API的整合，没有统一的同步链路模型，对于不同类型的链路需要考虑不同的输入参数。同时现有的专有云API和公有云API差别较大，不支持对DRDS(即PolarDB
‑
X)以分库的方式同步到ADB(即Android Debug Bridge，安卓调试桥)，不支持源端和目标端的一致性校验，不支持多个同步链路的批量变更，以上功能都需要自行实现。综上，如何在DTS数据链路运维时进行对多同步链路的批量操作以提高DTS数据链路运维效率的问题有待进一步解决。

技术实现思路

[0003]有鉴于此，本专利技术的目的在于提供一种DTS数据链路运维方法、装置、设备及介质，能够在进行DTS数据链路运维时进行对多同步链路的批量操作以提高DTS数据链路运维效率。其具体方案如下：
[0004]第一方面，本申请公开了一种DTS数据链路运维方法，包括：
[0005]获取DTS数据中针对目标端与源端的数据链路的目标操作请求，并获取所述目标端与所述源端对应的目标yaml配置文件；
[0006]读取所述目标yaml配置文件并得到所述目标yaml配置文件中的目标数据信息，然后根据所述目标操作请求对应的目标操作选择与所述目标操作对应的预设目标应用程序接口；
[0007]基于所述目标数据信息并调用所述预设目标应用程序接口进行目标操作，以完成所述目标操作请求。
[0008]可选的，所述读取所述目标yaml配置文件并得到所述目标yaml配置文件中的目标数据信息，然后根据所述目标操作请求对应的目标操作选择与所述目标操作对应的预设目标应用程序接口，包括：
[0009]读取所述目标yaml配置文件并得到所述目标yaml配置文件中的数据链路ID清单、数据库和表的对应关系，然后根据所述目标操作请求对应的目标同步链路创建操作选择与所述目标同步链路创建操作对应的预设同步链路创建接口；
[0010]相应的，所述基于所述目标数据信息并调用所述预设目标应用程序接口进行目标操作，以完成所述目标操作请求，包括：
[0011]调用所述预设同步链路创建接口创建空的同步链路，并根据所述数据库和表的对应关系配置所述同步链路，以完成所述目标操作请求。
[0012]可选的，所述读取所述目标yaml配置文件并得到所述目标yaml配置文件中的所述数据链路ID、数据库和表的对应关系，包括：
[0013]读取所述目标yaml配置文件并得到所述目标yaml配置文件中的目标关键字段获取数据库与表的对应关系，然后根据所述目标关键字段确定数据链路ID的命名方式；
[0014]根据所述数据链路ID的命名方式确定所述源端的数据源类型；
[0015]如果所述源端的数据源类型为DRDS数据源，则通过DRDS的预设开放接口获取数据链路ID清单；如果所述源端的数据源类型为非DRDS数据源，则直接从所述目标关键字段获取数据链路ID清单。
[0016]可选的，所述读取所述目标yaml配置文件并得到所述目标yaml配置文件中的目标数据信息，然后根据所述目标操作请求对应的目标操作选择与所述目标操作对应的预设目标应用程序接口，包括：
[0017]读取所述目标yaml配置文件并得到所述目标yaml配置文件中的同步链路ID清单，然后根据所述目标操作请求对应的目标操作选择与所述目标操作对应的预设目标应用程序接口；
[0018]相应的，所述基于所述目标数据信息并调用所述预设目标应用程序接口进行目标操作，以完成所述目标操作请求，包括：
[0019]获取待操作同步链路清单并通过DTS链路名称模糊匹配确定所述同步链路ID清单中的待操作同步链路ID清单，调用所述预设目标应用程序接口对所述待操作同步链路ID清单中的同步链路进行目标操作。
[0020]可选的，所述读取所述目标yaml配置文件并得到所述目标yaml配置文件中的目标数据信息，然后根据所述目标操作请求对应的目标操作选择与所述目标操作对应的预设目标应用程序接口，包括：
[0021]读取所述目标yaml配置文件并得到所述目标yaml配置文件中的源端数据与目标端数据的连接信息，然后根据所述目标操作请求对应的目标数据校验操作选择与所述目标数据校验操作对应的预设数据校验接口；
[0022]相应的，所述基于所述目标数据信息并调用所述预设目标应用程序接口进行目标操作，以完成所述目标操作请求，包括：
[0023]基于所述源端数据与所述目标端数据的连接信息根据所述源端数据与所述目标端数据的数据类型组装查询语句获取源端数据量与目标端数据量；
[0024]调用预设数据校验接口比较所述源端数据量与所述目标端数据量的数据量差值，以完成所述目标数据校验操作。
[0025]可选的，所述调用预设数据校验接口比较所述源端数据量与所述目标端数据量的数据量差值之后，还包括：
[0026]如果所述数据量差值超过预设数据量差值阈值，则停止校验并进行告警；
[0027]如果所述数据量差值不超过预设数据量差值阈值，则检查当前是否已完成校验并禁止告警。
[0028]可选的，还包括：
[0029]获取针对DTS数据的数据链路巡检请求，并根据预设数据链路巡检接口对所有数据链路进行状态巡检。
[0030]第二方面，本申请公开了一种DTS数据链路运维装置，包括：
[0031]请求获取模块，用于获取DTS数据中针对目标端与源端的数据链路的目标操作请求，并获取所述目标端与所述源端对应的目标yaml配置文件；
[0032]配置文件解析模块，用于读取所述目标yaml配置文件并得到所述目标yaml配置文件中的目标数据信息，然后根据所述目标操作请求对应的目标操作选择与所述目标操作对应的预设目标应用程序接口；
[0033]接口调用模块，用于基于所述目标数据信息并调用所述预设目标应用程序接口进行目标操作，以完成所述目标操作请求。
[0034]第三方面，本申请公开了一种电子设备，包括：
[0035]存储器，用于保存计算机程序；
[0036]处理器，用于执行所述计算机程序，以实现前述公开的所述的DTS数据链路运维方法的步骤。
[0037]第四方面，本申请公开了一种计算机可读存储介质，用于存储计算机程序；其中，所述计算机程序被处理器执行时实现前述公开的所述的DTS数据链路运维方法的步骤。
[0038]本申请在进行DTS数据链路运维时，获取DTS数据中针对目标本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种DTS数据链路运维方法，其特征在于，包括：获取DTS数据中针对目标端与源端的数据链路的目标操作请求，并获取所述目标端与所述源端对应的目标yaml配置文件；读取所述目标yaml配置文件并得到所述目标yaml配置文件中的目标数据信息，然后根据所述目标操作请求对应的目标操作选择与所述目标操作对应的预设目标应用程序接口；基于所述目标数据信息并调用所述预设目标应用程序接口进行目标操作，以完成所述目标操作请求。2.根据权利要求1所述的DTS数据链路运维方法，其特征在于，所述读取所述目标yaml配置文件并得到所述目标yaml配置文件中的目标数据信息，然后根据所述目标操作请求对应的目标操作选择与所述目标操作对应的预设目标应用程序接口，包括：读取所述目标yaml配置文件并得到所述目标yaml配置文件中的数据链路ID清单、数据库和表的对应关系，然后根据所述目标操作请求对应的目标同步链路创建操作选择与所述目标同步链路创建操作对应的预设同步链路创建接口；相应的，所述基于所述目标数据信息并调用所述预设目标应用程序接口进行目标操作，以完成所述目标操作请求，包括：调用所述预设同步链路创建接口创建空的同步链路，并根据所述数据库和表的对应关系配置所述同步链路，以完成所述目标操作请求。3.根据权利要求2所述的DTS数据链路运维方法，其特征在于，所述读取所述目标yaml配置文件并得到所述目标yaml配置文件中的所述数据链路ID、数据库和表的对应关系，包括：读取所述目标yaml配置文件并得到所述目标yaml配置文件中的目标关键字段获取数据库与表的对应关系，然后根据所述目标关键字段确定数据链路ID的命名方式；根据所述数据链路ID的命名方式确定所述源端的数据源类型；如果所述源端的数据源类型为DRDS数据源，则通过DRDS的预设开放接口获取数据链路ID清单；如果所述源端的数据源类型为非DRDS数据源，则直接从所述目标关键字段获取数据链路ID清单。4.根据权利要求1所述的DTS数据链路运维方法，其特征在于，所述读取所述目标yaml配置文件并得到所述目标yaml配置文件中的目标数据信息，然后根据所述目标操作请求对应的目标操作选择与所述目标操作对应的预设目标应用程序接口，包括：读取所述目标yaml配置文件并得到所述目标yaml配置文件中的同步链路ID清单，然后根据所述目标操作请求对应的目标操作选择与所述目标操作对应的预设目标应用程序接口；相应的，所述基于所述目标数据信息并调用所述预设目标应用程序接口进行目标操作，以完成所述目标操作请求，包括：获取待操作同步链路清单并通过DTS链...

【专利技术属性】
技术研发人员：黄岭林，吴辰阳，岑浩铭，王伟，吕勇，
申请(专利权)人：税友信息技术有限公司，
类型：发明
国别省市：