数据获取方法、装置、系统、计算机设备及存储介质制造方法及图纸

本申请提出一种数据获取方法、装置、系统、计算机设备及存储介质，第一服务器集群包括：多个第一服务器，多个第一服务器中分别配置对应的多个数据获取装置，第一数据获取装置是多个数据获取装置中的任一数据获取装置，该方法包括在接收到数据获取请求时，根据数据获取请求所携带的第一数据提供装置标识将数据获取请求路由至第二服务器集群中的第一数据提供装置；接收第一数据提供装置提供的与数据获取请求对应的业务数据。通过本申请能够实现数据提供服务提供主体和数据消费服务提供主体的隔离配置，实现构建相对独立的提供消息生产服务的服务器集群，和提供数据消费服务的服务器集群，实现实时消息生产服务和实时数据消费服务的稳定性和高可用。务的稳定性和高可用。务的稳定性和高可用。

【技术实现步骤摘要】
数据获取方法、装置、系统、计算机设备及存储介质


[0001]本申请涉及大数据
，尤其涉及一种数据获取方法、装置、系统、计算机设备及存储介质。

技术介绍

[0002]随着信息化的发展，越来越多企业相关的业务数据和资产数据的数据量出现爆发式增长，从而在一些应用场景中，会采用离线数据分析和实时数据服务来处理海量的业务数据和资产数据。
[0003]相关技术中，通常是基于部署在单一机房的开源流处理平台Kafka和单一集群作为支撑，以实现实时数据服务。
[0004]这种方式下，实时数据服务不够稳定，例如，如果单一机房的开源流处理平台Kafka和单一集群作为支撑，如果该开源流处理平台Kafka或者集群存在异常，则会导致实时数据服务处于不可用状态，另外，该该开源流处理平台Kafka或者集群的负载压力会随着数据量增加而不断增强，导致实时数据服务易于崩溃。从而影响实时数据服务的实时服务稳定性。

技术实现思路

[0005]本申请旨在至少在一定程度上解决相关技术中的技术问题之一。
[0006]为此，本申请的目的在于提出一种数据获取方法、装置、系统、计算机设备及存储介质，能够实现数据提供服务提供主体和数据消费服务提供主体的隔离配置，实现构建相对独立的提供消息生产服务的服务器集群，和提供数据消费服务的服务器集群，有效地实现实时数据服务的读写分离，实现实时消息生产服务和实时数据消费服务的稳定性和高可用。
[0007]为达到上述目的，本申请第一方面实施例提出的数据获取方法，应用于第一服务器集群中的第一数据获取装置，所述第一服务器集群包括：多个第一服务器，所述多个第一服务器中分别配置对应的多个数据获取装置，所述第一数据获取装置是所述多个数据获取装置中的任一数据获取装置，包括：在接收到数据获取请求时，确定所述数据获取请求所携带的第一数据提供装置标识；根据所述第一数据提供装置标识将所述数据获取请求路由至第二服务器集群中，所述第一数据提供装置标识所属的第一数据提供装置；接收所述第一数据提供装置提供的与所述数据获取请求对应的业务数据；其中，所述第二服务器集群包括多个第二服务器，所述第一服务器和所述第二服务器不相同，所述多个第二服务器中分别配置对应的多个数据提供装置，所述第一数据提供装置属于所述多个数据提供装置。
[0008]本申请第一方面实施例提出的数据获取方法，通过在接收到数据获取请求时，确定数据获取请求所携带的第一数据提供装置标识，并根据第一数据提供装置标识将数据获取请求路由至第二服务器集群中，第一数据提供装置标识所属的第一数据提供装置，以及接收第一数据提供装置提供的与数据获取请求对应的业务数据，能够实现数据提供服务提
供主体和数据消费服务提供主体的隔离配置，实现构建相对独立的提供消息生产服务的服务器集群，和提供数据消费服务的服务器集群，有效地实现实时数据服务的读写分离，实现实时消息生产服务和实时数据消费服务的稳定性和高可用。
[0009]为达到上述目的，本申请第二方面实施例提出的数据获取装置，所述数据获取装置配置在第一服务器集群中，所述第一服务器集群包括：多个第一服务器，所述多个第一服务器中分别配置对应的多个数据获取装置，所述数据获取装置是所述多个数据获取装置中的任一数据获取装置，包括：确定模块，用于在接收到数据获取请求时，确定所述数据获取请求所携带的第一数据提供装置标识；路由模块，用于根据所述第一数据提供装置标识将所述数据获取请求路由至第二服务器集群中，所述第一数据提供装置标识所属的第一数据提供装置；接收模块，用于接收所述第一数据提供装置提供的与所述数据获取请求对应的业务数据；其中，所述第二服务器集群包括多个第二服务器，所述第一服务器和所述第二服务器不相同，所述多个第二服务器中分别配置对应的多个数据提供装置，所述第一数据提供装置属于所述多个数据提供装置。
[0010]本申请第二方面实施例提出的数据获取装置，通过在接收到数据获取请求时，确定数据获取请求所携带的第一数据提供装置标识，并根据第一数据提供装置标识将数据获取请求路由至第二服务器集群中，第一数据提供装置标识所属的第一数据提供装置，以及接收第一数据提供装置提供的与数据获取请求对应的业务数据，能够实现数据提供服务提供主体和数据消费服务提供主体的隔离配置，实现构建相对独立的提供消息生产服务的服务器集群，和提供数据消费服务的服务器集群，有效地实现实时数据服务的读写分离，实现实时消息生产服务和实时数据消费服务的稳定性和高可用。
[0011]为达到上述目的，本申请第三方面实施例提出的数据获取系统，包括：本申请第二方面实施例提出的数据获取装置，所述数据获取装置用于提供数据消费服务；第一服务器集群和第二服务器集群；其中，所述数据获取装置配置在所述第一服务器集群中，所述第一服务器集群包括：多个第一服务器，所述多个第一服务器中分别配置对应的多个数据获取装置，所述数据获取装置是所述多个数据获取装置中的任一数据获取装置；所述第二服务器集群包括多个第二服务器，所述第一服务器和所述第二服务器不相同，所述多个第二服务器中分别配置对应的多个数据提供装置，所述数据提供装置用于提供数据生产服务。
[0012]本申请第三方面实施例提出的数据获取系统，通过在接收到数据获取请求时，确定数据获取请求所携带的第一数据提供装置标识，并根据第一数据提供装置标识将数据获取请求路由至第二服务器集群中，第一数据提供装置标识所属的第一数据提供装置，以及接收第一数据提供装置提供的与数据获取请求对应的业务数据，能够实现数据提供服务提供主体和数据消费服务提供主体的隔离配置，实现构建相对独立的提供消息生产服务的服务器集群，和提供数据消费服务的服务器集群，有效地实现实时数据服务的读写分离，实现实时消息生产服务和实时数据消费服务的稳定性和高可用。
[0013]本申请第四方面实施例提出了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时，实现如本申请第一方面实施例提出的数据获取方法。
[0014]本申请第五方面实施例提出了一种非临时性计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本申请第一方面实施例提出的数据获取方法。
[0015]本申请第六方面实施例提出了一种计算机程序产品，当所述计算机程序产品中的指令处理器执行时，执行如本申请第一方面实施例提出的数据获取方法。
[0016]本申请附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。
附图说明
[0017]本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
[0018]图1是本申请一实施例提出的数据获取方法的流程示意图；
[0019]图2为本申请实施例中数据获取系统的架构示意图；
[0020]图3是本申请另一实施例提出的数据获取方法的流程示意图；
[0021]图4是本申请一实施例提出的数据获取装置的结构示本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据获取方法，其特征在于，应用于第一服务器集群中的第一数据获取装置，所述第一服务器集群包括：多个第一服务器，所述多个第一服务器中分别配置对应的多个数据获取装置，所述第一数据获取装置是所述多个数据获取装置中的任一数据获取装置，所述方法包括：在接收到数据获取请求时，确定所述数据获取请求所携带的第一数据提供装置标识；根据所述第一数据提供装置标识将所述数据获取请求路由至第二服务器集群中，所述第一数据提供装置标识所属的第一数据提供装置；接收所述第一数据提供装置提供的与所述数据获取请求对应的业务数据；其中，所述第二服务器集群包括多个第二服务器，所述第一服务器和所述第二服务器不相同，所述多个第二服务器中分别配置对应的多个数据提供装置，所述第一数据提供装置属于所述多个数据提供装置。2.如权利要求1所述的方法，其特征在于，所述第二服务器集群的数量是至少一个，其中，所述根据所述第一数据提供装置标识将所述数据获取请求路由至所述第二服务器集群中，所述第一数据提供装置标识所属的第一数据提供装置，包括：如果所述第二服务器集群的数量是多个，则根据所述第一数据提供装置标识结合第一映射关系，确定第二服务器集群的目标标识，所述第一映射关系包括：所述第一数据提供装置标识，和与其对应的所述目标标识；将所述数据获取请求路由至与所述目标标识对应的第二服务器集群中，所述第一数据提供装置标识所属的第一数据提供装置。3.如权利要求1所述的方法，其特征在于，所述第一服务器集群设置在第一数据库机房之中，所述第一服务器集群的数量为至少一个，其中，如果所述第一服务器集群的数量为多个，则所述第一数据库机房属于多个数据库机房，且，至少部分数量的所述第一服务器集群设置在对应的所述第一数据库机房之中。4.如权利要求3所述的方法，其特征在于，所述第一数据提供装置用于为对应的第二数据库机房提供数据生产服务，所述第一数据库机房和所述第二数据库机房是相同或者不相同的数据库机房。5.如权利要求4所述的方法，其特征在于，所述根据所述第一数据提供装置标识将所述数据获取请求路由至所述第二服务器集群中，所述第一数据提供装置标识所属的第一数据提供装置，包括：如果所述第一数据库机房和所述第二数据库机房是不相同的数据库机房，则根据所述第一数据提供装置标识，以及第二映射关系，确定与所述第一数据提供装置标识所对应的第二数据库机房标识，所述第二映射关系包括：所述第一数据提供装置标识，和与其对应的第二数据库机房标识；根据所述数据库机房标识，将所述数据获取请求路由至所述第二数据库机房标识所属的第二数据库机房之中，所述第一数据提供装置标识所属的第一数据提供装置。6.如权利要求2所述的方法，其特征在于，所述根据所述第一数据提供装置标识将所述数据获取请求路由至第二服务器集群中，所述第一数据提供装置标识所属的第一数据提供装置，包括：根据所述第一数据提供装置标识，从所述第二服务器集群中确定所述第一数据提供装
置；确定所述第一数据提供装置的当前状态；如果所述当前状态为可用状态，则将所述数据获取请求路由至所述第一数据提供装置之中；如果所述当前状态为不可用状态，则确定出与所述第一数据提供装置对应的备用的第二数据提供装置，并将所述数据获取请求路由至所述备用的第二数据提供装置，其中，所述第二数据提供装置已同步备份所述第一数据提供装置中的实时业务数据。7.如权利要求2所述的方法，其特征在于，其中，如果所述第二服务器集群的数量是多个，则各个所述第二服务器集群中的数据提供装置均已同步备份所述第一数据提供装置中的实时的业务数据，则所述方法还包括：执行第一探测任务，确定当前处于可用状态的第二服务器集群的目标标识；根据所述目标标识和所述第一数据提供装置标识生成所述第一映射关系。8.如权利要求5所述的方法，其特征在于，其中，所述第二数据库机房中的各个数据提供装置已同步备份所述第一数据提供装置中的实时的业务数据，则所述方法还包括：执行第二探测任务，确定当前处于可用状态的第二数据库机房标识；根据所述第一数据提供装置标识和所述第二数据库机房标识生成所述第二映射关系。9.如权利要求1
‑
8任一项所述的方法，其特征在于，所述第一服务器集群的数量为多个，所述方法还包括：实时地对所述第一服务器集群的数据获取过程的状态进行监测；如果所述第一服务器集群的数据获取过程的状态产生异常，则将所述数据获取请求发送至备份的第一服务器集群之中，以基于所述备份的所述第一服务器集群获取与所述数据获取请求对应的业务数据。10.一种数据获取装置，其特征在于，所述数据获取装置配置在第一服务器集群中，所述第一服务器集群包括：多个第一服务器，所述多个第一服务器中分别配置对应的多个数据获取装置，所述数据获取装置是所述多个数据获取装置中的任一数据获取装置，所述装置包括：确定模块，用于在接收到数据获取请求时，确定所述数据获取请求所携带的第一数据提供装置标识；路由模块，用于根据所述第一数据提供装置标识将所述数据获取请求路由至第二服务器集群中，所述第一数据提供装置标识所属的第一数据提供装置；接收模块，用于接收所述第一数据提供装置提供的与所述数据获取请求对应的业务数据；其中，所述第二服务器集群包括多个第二服务器，所述第一服务器和所述第二服务器不相同，所述多个第二服务器中分别配置对应的多个数据提供装置，所述第一数据提供装置属于所述多...

【专利技术属性】
技术研发人员：杨泽森，
申请(专利权)人：京东科技信息技术有限公司，
类型：发明
国别省市：