本申请实施例提供一种数据同步方法、装置及设备，可用于大数据技术领域。该方法包括：获取数据同步请求，所述数据同步请求包括相同类型的多个业务数据对应的标识；在第一缓存区中获取所述数据同步请求对应的第一数据集，以及在第二缓存区中获取所述数据同步请求对应的第二数据集，所述第一缓存区用于存储第一数据库中的多个业务数据，所述第二缓存区用于存储第二数据库中的多个业务数据；确定所述第一数据集和所述第二数据集之间的目标相似度；根据所述目标相似度，对所述第一数据集和所述第二数据集中的业务数据进行同步处理。提高了数据获取的可靠性。获取的可靠性。获取的可靠性。
【技术实现步骤摘要】
数据同步方法、装置及设备
[0001]本申请实施例涉及大数据
，尤其涉及一种数据同步方法、装置及设备。
技术介绍
[0002]大数据(big data)为所涉及的数据量规模巨大到无法通过目前常用工具，在合理时间内对数据进行处理并且能够生成帮助企业经营决策的资讯。
[0003]企业的各业务系统在进行数据查询或者数据处理时，可以在数据库中获取历史时段内业务交易的相关数据。为了企业的各业务系统可以正常进行数据查询或者数据处理，企业可以在不同机房分别设置主数据库和从数据库(主数据库和从数据库存储有与企业相关的所有业务数据)，以使主数据库存在异常情况时，企业的各业务系统可以在从数据库中获取数据。
[0004]但在实际使用过程中，业务数据只会实时同步并存储至主数据库，若主数据库存在异常情况，在各业务系统在从数据库中获取数据时，可能存在获取不到数据或者获取错误数据的情况，导致数据获取的可靠性较低。
技术实现思路
[0005]本申请实施例提供一种数据同步方法、装置及设备，用以解决数据获取的可靠性较低的问题。
[0006]第一方面，本申请实施例提供一种数据同步方法，包括：
[0007]获取数据同步请求，所述数据同步请求包括相同类型的多个业务数据对应的标识；
[0008]在第一缓存区中获取所述数据同步请求对应的第一数据集，以及在第二缓存区中获取所述数据同步请求对应的第二数据集，所述第一缓存区用于存储第一数据库中的多个业务数据，所述第二缓存区用于存储第二数据库中的多个业务数据；
[0009]确定所述第一数据集和所述第二数据集之间的目标相似度；
[0010]根据所述目标相似度，对所述第一数据集和所述第二数据集中的业务数据进行同步处理。
[0011]第二方面，本申请实施例提供一种数据同步装置，所述装置包括：
[0012]第一获取模块，用于获取数据同步请求，所述数据同步请求包括相同类型的多个业务数据对应的标识；
[0013]第二获取模块，用于在第一缓存区中获取所述数据同步请求对应的第一数据集，以及在第二缓存区中获取所述数据同步请求对应的第二数据集，所述第一缓存区用于存储第一数据库中的多个业务数据，所述第二缓存区用于存储第二数据库中的多个业务数据；
[0014]确定模块，用于确定所述第一数据集和所述第二数据集之间的目标相似度；
[0015]处理模块，用于根据所述目标相似度，对所述第一数据集和所述第二数据集中的业务数据进行同步处理。
[0016]第三方面，本申请提供一种数据同步设备，包括：处理器，以及与所述处理器通信连接的存储器；
[0017]所述存储器存储计算机执行指令；
[0018]所述处理器执行所述存储器存储的计算机执行指令，以实现如第一方面任一项所述的方法。
[0019]第四方面，本申请提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现如第一方面任一项所述的方法。
[0020]第五方面，本申请提供一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现第一方面任一项所述的方法。
[0021]本申请实施例提供的数据同步方法、装置及设备，本申请实施例提供的数据同步方法，获取数据同步请求。在第一缓存区中获取数据同步请求对应的第一数据集，以及在第二缓存区中获取数据同步请求对应的第二数据集。若第一数据集的数据个数是否与第二数据集的数据个数相同，则在第二数据集中，确定每个第一业务数据对应的第二业务数据。确定每个第一业务数据与第二业务数据之间的第一相似度。根据多个第一相似度，确定第一数据集和第二数据集之间的目标相似度。若第一数据集的数据个数是否与第二数据集的数据个数不同，在第二数据集合中，确定至少一个第一业务数据对应的第二业务数据。在第一数据集合中确定第三业务数据，以及在第二数据集合中确定第四业务数据。根据每个第一数据与第二业务数据之间的第一相似度、第三业务数据和第四业务数据，确定第一数据集和第二数据集之间的目标相似度。根据目标相似度，对第一数据集和第二数据集中的业务数据进行同步处理。在上述过程中，当各业务系统的数据发生变化时，可以根据数据同步请求获取主数据库和从数据库中对应的数据集，并对主数据库和从数据库中的业务数据进行同步处理，以保持主数据库和从数据库中的业务数据的一致性。当个业务系统在主数据存在异常时，可以立即在从数据库中获取到对应的业务数据，避免获取不到数据或者获取错误数据的情况，提高了数据获取的可靠性。
附图说明
[0022]此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。
[0023]图1为本申请实施例提供的应用场景的示意图；
[0024]图2为本申请实施例提供的一种数据同步方法的流程示意图；
[0025]图3为本申请书实施例提供的获取数据同步请求的过程示意图；
[0026]图4为本申请实施例提供的缓存区的结构示意图；
[0027]图5为本申请实施例提供的另一种数据同步方法的流程示意图；
[0028]图6为本申请实施例提供的数据同步的过程示意图；
[0029]图7为本申请实施例提供的数据同步装置的结构示意图；
[0030]图8为本申请实施例提供的数据同步设备的结构示意图。
[0031]通过上述附图，已示出本申请明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本申请构思的范围，而是通过参考特定实施例为
本领域技术人员说明本申请的概念。
具体实施方式
[0032]这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
[0033]需要说明的是，本申请所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)，均为经用户授权或者经过各方充分授权的信息和数据，并且相关数据的收集、使用和处理需要遵守相关法律法规和标准，并提供有相应的操作入口，供用户选择授权或者拒绝。
[0034]本申请中“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，表示前后关联对象是一种“或”的关系。
[0035]以下至少一(项)个”或其类似表达，是指的这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a、b或c中的至少一项(个)，可以表示：a，b，c，a和b，a和c，b和c，或a、b和c，其中a、b、c中的每一个本身可本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种数据同步方法，其特征在于，包括：获取数据同步请求，所述数据同步请求包括相同类型的多个业务数据对应的标识；在第一缓存区中获取所述数据同步请求对应的第一数据集，以及在第二缓存区中获取所述数据同步请求对应的第二数据集，所述第一缓存区用于存储第一数据库中的多个业务数据，所述第二缓存区用于存储第二数据库中的多个业务数据；确定所述第一数据集和所述第二数据集之间的目标相似度；根据所述目标相似度，对所述第一数据集和所述第二数据集中的业务数据进行同步处理。2.根据权利要求1所述的方法，其特征在于，确定所述第一数据集和所述第二数据集之间的目标相似度，包括：判断所述第一数据集的数据个数与所述第二数据集的数据个数是否相同；若是，则在所述第二数据集中，确定每个第一业务数据对应的第二业务数据，并确定每个第一业务数据与所述第二业务数据之间的第一相似度，得到多个第一相似度，并根据所述多个第一相似度，确定所述第一数据集和所述第二数据集之间的目标相似度；若否，则在所述第二数据集合中，确定至少一个第一业务数据对应的第二业务数据，根据所述每个第一数据与所述第二业务数据之间的第一相似度、第三业务数据和第四业务数据，确定所述第一数据集和所述第二数据集之间的目标相似度；其中，所述第三业务数据为所述第一数据集中、除所述至少一个第一业务数据之外的业务数据；所述第四业务数据为所述第二数据集中、除所述第二业务数据之外的业务数据。3.根据权利要求2所述的方法，其特征在于，针对任意一个第一业务数据；确定所述第一业务数据与对应的第二业务数据之间的第一相似度，包括：获取所述第一业务数据对应的多个第一字段，以及所述第二业务数据对应的多个第二字段；确定每个第一字段、以及所述第一字段对应的第二字段之间的匹配结果，所述匹配结果为相同或者不同；根据每个第一字段、以及所述第一字段对应的第二字段之间的匹配结果，确定所述第一业务数据与所述第二业务数据之间的第一相似度。4.根据权利要求3所述的方法，其特征在于，根据每个第一字段和所述第一字段对应的第二字段之间的匹配结果，确定所述第一数据与所述第二业务数据之间的第一相似度，包括：若多个匹配结果分别为相同，则确定所述第一业务数据与所述第二业务数据之间的第一相似度为预设相似度；若所述多个匹配结果中存在所述匹配结果为不同，则获取所述匹配结果为相同的第一数量，根据所述第一数量和第二数量，确定所述第一业务数据与所述第二业务数据之间的第一相似度为预设相似度，所述第二数量为将所述第一字段和所述第二字段中字段数量的最大值。5.根据权利要求2
‑
4任一项所述的方法，其特征在于，根据所述多个第一相似度，确定所述第一数据集和所述第二数据集之间的目标相似度，包括：将所述多个第一相似度之和与所述第一数据集的数据个数的比值，确定为所述第一数
据集和所述第二数据集之间的目标相似度。6.根...
【专利技术属性】
技术研发人员：李帅，杜思佳，
申请(专利权)人：中国银行股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。