多数据源的数据同步方法、装置、计算机设备和存储介质制造方法及图纸

本申请涉及一种多数据源的数据同步方法、装置、计算机设备和存储介质。所述方法包括：将多个数据类型的业务数据采用不同的数据通道进行发送，以使接收各业务数据的数据平台将各业务数据存放于数据池，并从数据池中按照业务优先级读取业务数据进行数据同步，得到同步结果；等待预设查询间隔后，向数据平台发送第一查询请求；数据平台返回的基于第一查询请求查询的同步结果；基于同步结果对业务数据的数据同步标识进行更新，数据同步标识表示业务数据是否同步成功。采用本方法能够实现当多数据源同时同步大批量数据时，进行高效的数据同步操作。作。作。

【技术实现步骤摘要】
多数据源的数据同步方法、装置、计算机设备和存储介质


[0001]本申请涉及通信
，特别是涉及一种多数据源数据同步方法、装置、计算机设备和存储介质。

技术介绍

[0002]随着网络通信技术的发展，信息交互越来越重要，数据同步可以提高数据的准确性，确保每个数据源与其不同端点之间的一致性。
[0003]传统数据同步的方案中，数据源端向数据平台发送数据同步请求时，需要等待数据平台对同步数据进行逻辑处理，然后数据平台将同步结果返回给数据源端。当有多个数据源端向数据平台发送数据同步请求时，数据平台需要针对每一个请求去开辟内存进行逻辑处理，当数据源端数量越多，内存消耗就越多；而且在数据同步完成后，各数据源端向数据平台发送同步结果查询请求，进一步影响数据平台的数据处理压力，导致数据同步效率低下。

技术实现思路

[0004]基于此，有必要针对上述技术问题，提供一种能够进行高效数据同步的多数据源的数据同步方法、装置、计算机设备和存储介质。
[0005]一种多数据源的数据同步方法，所述方法包括：
[0006]将多个数据类型的业务数据采用不同的数据通道进行发送，以使接收各所述业务数据的数据平台将各所述业务数据存放于数据池，并从所述数据池中按照业务优先级读取业务数据进行数据同步，得到同步结果；
[0007]在等待预设查询间隔后，向所述数据平台发送第一查询请求；
[0008]接收所述数据平台返回的基于所述第一查询请求查询的同步结果；
[0009]基于所述同步结果对所述业务数据的数据同步标识进行更新，所述数据同步标识表示所述业务数据是否同步成功。
[0010]在其中一个实施例中，所述将多个数据类型的业务数据采用不同的数据通道进行发送之后，还包括：
[0011]将所述业务数据的数据发送状态修改为已发送；
[0012]接收所述数据平台发送的用于表示是否接收到所述业务数据的结果信息；
[0013]拒绝基于所述结果信息对已修改的所述数据发送状态进行调整。
[0014]在其中一个实施例中，所述将各所述业务数据存放于数据池，并从数据池中按照业务优先级读取业务数据进行数据同步，得到同步结果包括：
[0015]将各所述业务数据存放于数据池；
[0016]根据处理所述业务数据的处理效率确定数据处理的时间间隔；
[0017]基于所述时间间隔从所述数据池中读取预设数量的业务数据；
[0018]将所述业务数据同步到数据库，得到同步结果。
[0019]在其中一个实施例中，所述方法应用于数据源端；所述第一查询请求携带数据源端标识；
[0020]所述接收所述数据平台返回的基于所述同步结果查询请求查询的同步结果包括：
[0021]接收所述数据平台返回的基于所述数据源端标识查询的目标业务数据的同步结果；所述目标业务数据是所述数据源端发送的业务数据，且所述数据平台在完成数据同步后未向所述数据源端发送所述目标业务数据的同步结果。
[0022]在其中一个实施例中，所述方法还包括：
[0023]在向所述数据平台发送第一查询请求之后，实时监听所述数据平台返回的同步结果；
[0024]若在预设时长后未接收到所述第一查询请求所请求的同步结果，则向所述数据平台发送携带数据源端标识和业务数据标识的第二查询请求；
[0025]接收所述数据平台返回的基于所述第二查询请求携带的数据源端标识和业务数据标识获取的同步结果；
[0026]其中，所述业务数据标识为所述未收到所述第一查询请求所请求的业务数据的数据标识。
[0027]在其中一个实施例中，所述接收所述数据平台返回的基于所述第一查询请求查询的同步结果包括：
[0028]接收所述数据平台基于所述第一查询请求从存储的同步结果表中查询的同步结果；
[0029]其中，所述同步结果包括同步成功，或同步失败和失败原因。
[0030]在其中一个实施例中，所述基于所述同步结果对所述业务数据的数据同步标识进行更新包括：
[0031]当所述数据同步标识表示所述业务数据同步失败时，将所述业务数据的数据发送状态修改为未发送，并将所述业务数据的数据同步标识修改为同步失败；
[0032]当所述数据同步标识表示所述业务数据同步成功时，将所述业务数据的数据同步标识更新为同步成功。
[0033]一种多数据源的数据同步系统，所述系统包括：
[0034]至少两个数据源，用于将多个数据类型的业务数据采用不同的数据通道进行发送；
[0035]数据平台，用于将接收到的各所述业务数据存放于数据池，并从所述数据池中按照业务优先级读取业务数据进行数据同步，得到同步结果；
[0036]所述至少两个数据源，还用于在等待预设查询间隔后，向所述数据平台发送第一查询请求；
[0037]所述数据平台，还用于基于所述第一查询请求查询同步结果；
[0038]所述至少两个数据源，还用于接收所述同步结果，基于所述同步结果对所述业务数据的数据同步标识进行更新，所述数据同步标识表示所述业务数据是否同步成功。
[0039]一种多数据源的数据同步方法，所述方法包括：
[0040]接收数据源发送的业务数据，将所述业务数据存放于数据池；
[0041]在等待预设读取间隔后，按照业务优先级读取业务数据进行数据同步，得到同步
结果；
[0042]接收所述数据源发送的第一查询请求，返回基于所述第一查询请求查询的同步结果。
[0043]在其中一个实施例中，所述将各所述业务数据存放于数据池，并从所述数据池中按照业务优先级读取业务数据包括：将各所述业务数据存放于数据池；根据处理所述业务数据的处理效率确定数据处理的时间间隔；基于所述时间间隔从所述数据池中读取预设数量的业务数据；将所述业务数据同步到数据库，得到同步结果。
[0044]一种多数据源的数据同步装置，所述装置包括：
[0045]发送模块，用于将多个数据类型的业务数据采用不同的数据通道进行发送，以使接收各所述业务数据的数据平台将各所述业务数据存放于数据池，并从所述数据池中按照业务优先级读取业务数据进行数据同步，得到同步结果；
[0046]查询模块，用于在等待预设查询间隔后，向所述数据平台发送第一查询请求；
[0047]接收模块，用于接收所述数据平台返回的基于所述第一查询请求查询的同步结果；
[0048]更新模块，用于基于所述同步结果对所述业务数据的数据同步标识进行更新，所述数据同步标识表示所述业务数据是否同步成功。
[0049]在其中一个实施例中，所述更新模块，还用于将所述业务数据的数据发送状态修改为已发送；接收所述数据平台发送的用于表示是否接收到所述业务数据的结果信息；拒绝基于所述结果信息对已修改的所述数据发送状态进行调整。
[0050]在其中一个实施例中，所述装置还包括：
[0051]控制模块，用于指示数据平台将本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种多数据源的数据同步方法，其特征在于，所述方法包括：将多个数据类型的业务数据采用不同的数据通道进行发送，以使接收各所述业务数据的数据平台将各所述业务数据存放于数据池，并从所述数据池中按照业务优先级读取业务数据进行数据同步，得到同步结果；在等待预设查询间隔后，向所述数据平台发送第一查询请求；接收所述数据平台返回的基于所述第一查询请求查询的同步结果；基于所述同步结果对所述业务数据的数据同步标识进行更新，所述数据同步标识表示所述业务数据是否同步成功。2.根据权利要求1所述的方法，其特征在于，所述将多个数据类型的业务数据采用不同的数据通道进行发送之后，还包括：将所述业务数据的数据发送状态修改为已发送；接收所述数据平台发送的用于表示是否接收到所述业务数据的结果信息；拒绝基于所述结果信息对已修改的所述数据发送状态进行调整。3.根据权利要求1所述的方法，其特征在于，所述将各所述业务数据存放于数据池，并从数据池中按照业务优先级读取业务数据进行数据同步，得到同步结果包括：将各所述业务数据存放于数据池；根据处理所述业务数据的处理效率确定数据处理的时间间隔；基于所述时间间隔从所述数据池中读取预设数量的业务数据；将所述业务数据同步到数据库，得到同步结果。4.根据权利要求1所述的方法，其特征在于，所述方法应用于数据源端；所述第一查询请求携带数据源端标识；所述接收所述数据平台返回的基于所述同步结果查询请求查询的同步结果包括：接收所述数据平台返回的基于所述数据源端标识查询的目标业务数据的同步结果；所述目标业务数据是所述数据源端发送的业务数据，且所述数据平台在完成数据同步后未向所述数据源端发送所述目标业务数据的同步结果。5.根据权利要求4所述的方法，其特征在于，所述方法还包括：在向所述数据平台发送第一查询请求之后，实时监听所述数据平台返回的同步结果；若在预设时长后未接收到所述第一查询请求所请求的同步结果，则向所述数据平台发送携带数据源端标识和业务数据标识的第二查询请求；接收所述数据平台返回的基于所述第二查询请求携带的数据源端标识和业务数据标识获取的同步结果；其中，所述业务数据标识为所述未收到所述第一查询请求所请求的业务数据的数据标识。6.根据权利要求1所述的方法，其特征在于，所述接收所述数据平台返回的基于所述第一查询请求查询的同步结果包括：接收所述数据平台基于所述第一查询请求从存储的同步结果表中查询的同步结果；其中，所述同步结果包括同步成功，或同步失败和失败原因。7.根据权利要求1所述的方法，其特征在于，所述基于所述同步结果对所述业务数据的数据同步标识进行更新包括：
当所述数据同步标识表示所述业务数据同步失败时，将所述业务数据的数据发送状态修改为...

【专利技术属性】
技术研发人员：何俊，李彬，张炜，吴其佑，
申请(专利权)人：金蝶云科技有限公司，
类型：发明
国别省市：