数据传输方法、装置、设备及存储介质制造方法及图纸

本申请提供一种数据传输方法、装置、设备及存储介质。该方法包括：从主机中读取并缓存目标数据表的增量数据，获取目标数据表的最大传输时延。根据所述目标数据表的最大传输时延，从主机与备用主机之间的至少两个传输通道中确定第一传输通道，所述至少两个传输通道中不同传输通道对应不同的最大传输时延。通过所述第一传输通道，将所述目标数据表的增量数据传输至备用主机进行备份。本申请的方法，提高了数据库备份增量数据的效率。了数据库备份增量数据的效率。了数据库备份增量数据的效率。

【技术实现步骤摘要】
数据传输方法、装置、设备及存储介质


[0001]本申请涉及数据处理
，尤其涉及一种数据传输方法、装置、设备及存储介质。

技术介绍

[0002]随着数据时代的到来，备份数据库的数据变得越来越重要。其中，备份数据是指保存一份与数据库中原始数据相同或类似的副本，若数据库发生故障、数据丢失或其他不可预测的情况，则可以用该备份数据恢复该数据库中的数据。目前，可以通过备份增量数据，将主数据库中的增量数据传输至备份数据库完成主数据库的数据备份。
[0003]然而，目前数据库备份增量数据的方法存在效率较低、延迟较大的问题。

技术实现思路

[0004]本申请提供一种数据传输方法、装置、设备及存储介质，用以解决现有技术中数据库备份增量数据效率较低、延迟较大的问题。
[0005]第一方面，本申请提供一种数据传输方法，包括：
[0006]从主机中读取并缓存目标数据表的增量数据；
[0007]获取目标数据表的最大传输时延；
[0008]根据所述目标数据表的最大传输时延，从主机与备用主机之间的至少两个传输通道中确定第一传输通道；所述至少两个传输通道中不同传输通道对应不同的最大传输时延；
[0009]通过所述第一传输通道，将所述目标数据表的增量数据传输至备用主机进行备份。
[0010]可选的，所述从主机与备用主机之间的至少两个数据传输通道中确定第一传输通道之后，还包括：
[0011]将所述目标数据表的增量数据的日志索引添加至所述第一传输通道的索引目录中；所述日志索引中包括所述目标数据表的数据地址信息；
[0012]所述通过所述第一传输通道，将所述目标数据表的增量数据传输至备用主机进行备份，包括：
[0013]通过所述索引目录中记录的索引日志，获取所述目标数据的增量数据的日志；
[0014]通过所述第一传输通道，将所述目标数据的增量数据的日志传输至备用主机进行备份。
[0015]可选的，所述通过所述第一传输通道，将所述目标数据的增量数据的日志传输至备用主机进行备份，包括：
[0016]利用所述第一传输通道对应的订阅主题，将所述目标数据的增量数据的日志传输至备用主机进行备份。
[0017]可选的，所述方法还包括：
[0018]在通过所述第一传输通道，将所述目标数据表的增量数据传输至备用主机进行备份的过程中，获取所述目标数据表的增量数据的传输时延；
[0019]根据所述传输时延，确定所述目标数据表的增量数据的传输是否异常；
[0020]若存在异常，则确定第二传输通道；所述第二传输通道为用于传输存在异常的数据表的增量数据的传输通道，或，所述第二数据传输通道为传输时长时延要求低于所述目标数据表的最大传输时延匹配的传输通道；
[0021]通过所述第二传输通道，将所述目标数据表的剩余增量数据传输至备用主机进行备份。
[0022]可选的，所述根据所述传输时延，确定所述目标数据表的增量数据的传输是否异常，包括：
[0023]若所述传输时延小于所述目标数据表的最大传输时延、且两者的差值小于或等于预设差值阈值，或者，所述传输时延大于或等于所述目标数据表的最大传输时延，则确定所述目标数据表的增量数据的传输异常；
[0024]若所述传输时延小于所述目标数据表的最大传输时延、且两者的差值大于预设差值阈值，则确定所述目标数据表的增量数据的传输无异常。
[0025]可选的，所述确定第二传输通道，包括：
[0026]从所述至少两个传输通道中确定所述第二传输通道；
[0027]或者，新建所述第二传输通道。
[0028]可选的，所述方法还包括：
[0029]获取所述主机中的全量数据表的最大传输时延；
[0030]根据全量数据表的最大传输时延，构建所述主机与所述备用主机之间的至少两个传输通道、每个传输通道的索引表，以及，每个传输通道对应的订阅主题。
[0031]第二方面，本申请提供一种数据传输装置，包括：
[0032]获取模块，用于从主机中读取并缓存目标数据表的增量数据；获取目标数据表的最大传输时延；
[0033]处理模块，根据所述目标数据表的最大传输时延，从主机与备用主机之间的至少两个传输通道中确定第一传输通道；所述至少两个传输通道中不同传输通道对应不同的最大传输时延；
[0034]发送模块，用于通过所述第一传输通道，将所述目标数据表的增量数据传输至备用主机进行备份。
[0035]第三方面，本申请提供一种电子设备，包括：处理器、通信接口，以及存储器；所述处理器分别与所述通信接口和所述存储器通信连接；
[0036]所述存储器存储计算机执行指令；
[0037]所述通信接口与外部设备进行通信交互；
[0038]所述处理器执行所述存储器存储的计算机执行指令，以实现如第一方面中任一项所述的方法。
[0039]第四方面，本申请提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现如第一方面中任一项所述的数据传输方法。
Secondary，RSS)技术；当数据库类型为Oracle数据库时，实现该方法的数据抽取技术为主动数据保护(Active Data Guard，ADG)技术等。
[0055]图1为现有的一种通过增量数据备份数据库的场景示意图。如图1所示，该场景可以包括：主数据库，备份数据库。
[0056]其中，该主数据库可以用于存储生产数据，该主数据库也可以称为生产数据库，部署该主数据库的设备称为主机。该备份数据库用于备份该主数据库中的生产数据，部署该备份数据库的设备称为备用主机。
[0057]下面，以数据库类型为Oracle数据库为例，对目前通过备份增量数据完成数据库备份的方法进行详细说明。在Oracle数据库的ADG技术中，采用日志作为存储介质，主数据库中的每一次数据库操作被记录为操作日志存储在主机上，该操作日志中包括增量数据。通过主机与备用主机之间的网络连接，将主数据库的操作日志通过串行传输的方式传输至备用主机中的备份数据库中。备份数据库在接收到该操作日志后，解析该操作日志，根据该操作日志中的内容，将该操作日志中的增量数据存储在备份数据库中。
[0058]然而，现有技术中通过串行传输备份增量数据的方法存在以下问题：
[0059]问题1：当增量数据的增长速度较快时，同步传输该增量数据的速度会变慢。示例性的，当主数据库进行刷数处理，进行批处理作业时，若存在产生大量的增量数据的数据表，同步传输该数据表中的增量数据的速度会降低，只有当完成该数据表的同步后，才能对后续其他数据表进行同步，造成堵塞当前增量数据通道的问题，从而降低增量数据的提取效率，进而降低数据备份的效率，提高该主数据库中所有数据表的传输延迟。
[0060]问题2：目前通过备份增量数据完成数据库备份的方法中，主机存储操作日志的存储空间较小，若主数据库本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据传输方法，其特征在于，包括：从主机中读取并缓存目标数据表的增量数据；获取目标数据表的最大传输时延；根据所述目标数据表的最大传输时延，从主机与备用主机之间的至少两个传输通道中确定第一传输通道；所述至少两个传输通道中不同传输通道对应不同的最大传输时延；通过所述第一传输通道，将所述目标数据表的增量数据传输至备用主机进行备份。2.根据权利要求1所述的方法，其特征在于，所述从主机与备用主机之间的至少两个数据传输通道中确定第一传输通道之后，还包括：将所述目标数据表的增量数据的日志索引添加至所述第一传输通道的索引目录中；所述日志索引中包括所述目标数据表的数据地址信息；所述通过所述第一传输通道，将所述目标数据表的增量数据传输至备用主机进行备份，包括：通过所述索引目录中记录的索引日志，获取所述目标数据的增量数据的日志；通过所述第一传输通道，将所述目标数据的增量数据的日志传输至备用主机进行备份。3.根据权利要求2所述的方法，其特征在于，所述通过所述第一传输通道，将所述目标数据的增量数据的日志传输至备用主机进行备份，包括：利用所述第一传输通道对应的订阅主题，将所述目标数据的增量数据的日志传输至备用主机进行备份。4.根据权利要求1
‑
3任一项所述的方法，其特征在于，所述方法还包括：在通过所述第一传输通道，将所述目标数据表的增量数据传输至备用主机进行备份的过程中，获取所述目标数据表的增量数据的传输时延；根据所述传输时延，确定所述目标数据表的增量数据的传输是否异常；若存在异常，则确定第二传输通道；所述第二传输通道为用于传输存在异常的数据表的增量数据的传输通道，或，所述第二数据传输通道为传输时长时延要求低于所述目标数据表的最大传输时延匹配的传输通道；通过所述第二传输通道，将所述目标数据表的剩余增量数据传输至备用主机进行备份。5.根据权利要求4所述的方法，其特征在于，所述根据所...

【专利技术属性】
技术研发人员：秦永利，林宋勇，刘甲先，张少华，
申请(专利权)人：中国人民财产保险股份有限公司，
类型：发明
国别省市：