一种流计算数据链路保障方法及系统技术方案

本发明专利技术实施例提供一种流计算数据链路保障方法及系统，所述方法包括：利用多条流计算数据链路对采集的数据进行实时计算，获得多个实时计算结果数据；其中，所述多条流计算数据链路中的每条数据链路均包括数据计算系统和数据存储系统，各数据链路间的数据计算系统、数据存储系统相互独立；比较多条流计算数据链路产生的多个实时计算结果数据，获得比较结果；当根据所述比较结果确定至少一条流计算数据链路出现故障时，将依赖于出现故障的流计算数据链路的数据服务系统切换到未发生故障的流计算数据链路上。本发明专利技术实施例可以有效提高数据链路安全，有效降低业务中断的风险。

【技术实现步骤摘要】
一种流计算数据链路保障方法及系统
本专利技术实施例涉及计算机
，具体涉及一种流计算数据链路保障方法及系统。
技术介绍
目前许多业务场景需要对数据进行实时计算。实时数据的处理链路一般包括数据采集、数据同步、数据处理、数据存储、数据服务等子系统。整条链路一般属于分布式数据处理，任何一个环节或子系统出现问题，将会导致实时数据出现更新。这种故障对于依赖于实时计算数据的业务场景是不可接受的。如何保障流计算数据链路的安全性就成为一个亟待解决的问题。现有技术中，一般是对数据存储系统进行备份，两个系统之间相互同步数据，以达到容灾的效果。但是，若主存储系统和备存储系统之间的网络出现了故障，导致主、备无法同步数据时，则无法保障数据链路的安全性，无法解决数据链路故障时的业务中断问题。
技术实现思路
本专利技术实施例提供了一种流计算数据链路保障方法及系统，可以有效提高数据链路安全，有效降低业务中断的风险。为此，本专利技术实施例提供如下技术方案：第一方面，本专利技术实施例提供了一种流计算数据链路保障系统，包括数据采集系统、多个数据计算系统、多个数据存储系统、数据保障系统、数据服务系统，各数据计算系统之间以及各数据存储系统之间相互独立，每个数据计算系统和与其对应的数据存储系统构成一条流计算数据链路，其中：所述数据计算系统用于对数据采集系统采集的数据进行实时计算；所述数据存储系统用于存储与其对应的数据计算系统的实时计算结果数据；所述数据保障系统用于比较多条流计算数据链路产生的多个实时计算结果数据，获得比较结果；当根据所述比较结果确定至少一条流计算数据链路出现故障时，将依赖于出现故障的流计算数据链路的数据服务系统切换到未发生故障的流计算数据链路上。第二方面，本专利技术实施例提供了一种流计算数据处理链路保障方法，应用于流计算数据链路保障系统，所述方法包括：利用多条流计算数据链路对采集的数据进行实时计算，获得多个实时计算结果数据；其中，所述多条流计算数据链路中的每条数据链路均包括数据计算系统和数据存储系统，各数据链路间的数据计算系统、数据存储系统相互独立；比较多条流计算数据链路产生的多个实时计算结果数据，获得比较结果；当根据所述比较结果确定至少一条流计算数据链路出现故障时，将依赖于出现故障的流计算数据链路的数据服务系统切换到未发生故障的流计算数据链路上。第三方面，本专利技术实施例提供了一种数据保障系统，包括：比较单元，用于比较多条流计算数据链路产生的多个实时计算结果数据，获得比较结果；其中，所述多条流计算数据链路中的每条数据链路均包括数据计算系统和数据存储系统，各数据链路间的数据计算系统、数据存储系统相互独立；切换单元，用于当根据所述比较结果确定至少一条数据链路出现故障时，将依赖于出现故障的流计算数据链路的数据服务系统切换到未发生故障的流计算数据链路上。第四方面，本专利技术实施例提供了流计算数据链路保障方法，应用于数据保障系统，包括：比较多条流计算数据链路产生的多个实时计算结果数据，获得比较结果；其中，所述多条流计算数据链路中的每条数据链路均包括数据计算系统和数据存储系统，各数据链路间的数据计算系统、数据存储系统相互独立；当根据所述比较结果确定至少一条数据链路出现故障时，将依赖于出现故障的流计算数据链路的数据服务系统切换到未发生故障的流计算数据链路上。第五方面，本专利技术实施例提供了一种数据服务系统，包括：监听单元，用于监听链路配置信息；切换单元，用于当所述链路配置信息发生变化时，根据更新的链路配置信息进行数据链路切换；其中，所述更新的链路配置信息包括已启用未发生故障的数据链路的指示信息以及所述未发生故障的数据链路的连接信息；其中，发生故障的数据链路与未发生故障的数据链路均包括数据计算系统和数据存储系统，各数据链路间的数据计算系统、数据存储系统相互独立。第六方面，本专利技术实施例提供了一种流计算数据链路保障方法，应用于数据服务系统，包括：监听链路配置信息；当所述链路配置信息发生变化时，根据所述链路配置信息进行数据链路切换；其中，所述链路配置信息包括用于指示启用未发生故障的数据链路的指示信息以及所述未发生故障的数据链路的连接信息；其中，发生故障的数据链路与未发生故障的数据链路均包括数据计算系统和数据存储系统，各数据链路间的数据计算系统、数据存储系统相互独立。第七方面，本专利技术实施例提供了一种流计算数据链路保障系统，包括数据采集系统、多个数据计算系统、多个数据存储系统、数据保障系统、数据服务系统，各数据计算系统之间以及各数据存储系统之间相互独立，每个数据计算系统和与其对应的数据存储系统构成一条流计算数据链路，其中：所述数据计算系统用于对数据采集系统采集的数据进行实时计算；所述数据存储系统用于存储与其对应的数据计算系统的实时计算结果数据；所述数据保障系统用于比较多条流计算数据链路产生的多个实时计算结果数据，获得比较结果；根据所述比较结果进行链路切换。第八方面，本专利技术实施例提供了一种流计算数据链路保障方法，其特征在于，应用于流计算数据链路保障系统，所述方法包括：利用多条流计算数据链路对采集的数据进行实时计算，获得多个实时计算结果数据；其中，所述多条流计算数据链路中的每条数据链路均包括数据计算系统和数据存储系统，各数据链路间的数据计算系统、数据存储系统相互独立；比较多条流计算数据链路产生的多个实时计算结果数据，获得比较结果；根据所述比较结果进行链路切换。在一些实施方式中，所述根据所述比较结果进行数据链路切换包括：将数据服务切换到负载最低的流计算数据链路上；或者，将数据服务切换到计算速度最快的流计算数据链路上；或者，将数据服务从发生故障的流计算数据链路切换到未发生故障的流计算数据链路上。本专利技术实施例提供的流计算数据链路保障方法及装置，可以利用多条流计算数据链路对采集的数据进行实时计算，获得多个实时计算结果数据，比较多个实时计算结果数据，获得比较结果；当根据所述比较结果确定至少一条流计算数据链路出现故障时，将依赖于出现故障的流计算数据链路的数据服务系统切换到未发生故障的流计算数据链路上。由于本专利技术中包括多条流计算数据链路，每条数据链路均有独立的数据计算系统和数据存储系统，相当于对数据处理以及数据存储均进行了备份，因此任何一条数据链路发生故障，均可以切换到其他数据链路上，有效提高了数据安全，降低了业务中断的风险。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1A和图1B为本专利技术实施例提供的流计算数据链路保障系统；图2为本专利技术一实施例提供的流计算数据链路保障方法流程图；图3为本专利技术另一实施例提供的流计算数据链路保障方法流程图；图4为本专利技术实施例提供的流计算数据链路保障方法流程图；图5为本专利技术实施例提供的数据保障系统示意图；图6为本专利技术实施例提供的流计算数据链路保障方法流程图；图7为本专利技术实施例提供的数据服务系统示意图；图8A和图8B为本专利技术实施例提供的流计算数据链路保障系统；图9为本专利技术提供的流计算数据链路保障方法流程图；图10是根据另一示例性实施例示出本文档来自技高网...

【技术保护点】
一种流计算数据链路保障系统，其特征在于，包括数据采集系统、多个数据计算系统、多个数据存储系统、数据保障系统、数据服务系统，各数据计算系统之间以及各数据存储系统之间相互独立，每个数据计算系统和与其对应的数据存储系统构成一条流计算数据链路，其中：所述数据计算系统用于对数据采集系统采集的数据进行实时计算；所述数据存储系统用于存储与其对应的数据计算系统的实时计算结果数据；所述数据保障系统用于比较多条流计算数据链路产生的多个实时计算结果数据，获得比较结果；当根据所述比较结果确定至少一条流计算数据链路出现故障时，将依赖于出现故障的流计算数据链路的数据服务系统切换到未发生故障的流计算数据链路上。

【技术特征摘要】
1.一种流计算数据链路保障系统，其特征在于，包括数据采集系统、多个数据计算系统、多个数据存储系统、数据保障系统、数据服务系统，各数据计算系统之间以及各数据存储系统之间相互独立，每个数据计算系统和与其对应的数据存储系统构成一条流计算数据链路，其中：所述数据计算系统用于对数据采集系统采集的数据进行实时计算；所述数据存储系统用于存储与其对应的数据计算系统的实时计算结果数据；所述数据保障系统用于比较多条流计算数据链路产生的多个实时计算结果数据，获得比较结果；当根据所述比较结果确定至少一条流计算数据链路出现故障时，将依赖于出现故障的流计算数据链路的数据服务系统切换到未发生故障的流计算数据链路上。2.根据权利要求1所述的系统，其特征在于，所述数据保障系统具体用于：当根据所述比较结果确定至少一条流计算数据链路出现故障时，向数据服务系统发送更新的链路配置信息用于指示所述数据服务系统进行数据链路切换，所述链路配置信息包括用于指示启用未发生故障的数据链路的指示信息以及所述未发生故障的数据链路的连接信息。3.根据权利要求2所述的系统，其特征在于，所述数据服务系统用于：监听更新的链路配置信息，根据更新的链路配置信息调用未发生故障的数据链路以进行数据链路切换。4.一种流计算数据处理链路保障方法，其特征在于，应用于流计算数据链路保障系统，所述方法包括：利用多条流计算数据链路对采集的数据进行实时计算，获得多个实时计算结果数据；其中，所述多条流计算数据链路中的每条数据链路均包括数据计算系统和数据存储系统，各数据链路间的数据计算系统、数据存储系统相互独立；比较多条流计算数据链路产生的多个实时计算结果数据，获得比较结果；当根据所述比较结果确定至少一条流计算数据链路出现故障时，将依赖于出现故障的流计算数据链路的数据服务系统切换到未发生故障的流计算数据链路上。5.根据权利要求4所述的方法，其特征在于，所述当根据所述比较结果确定至少一条流计算数据链路出现故障时，将依赖于出现故障的流计算数据链路的数据服务系统切换到未发生故障的流计算数据链路上包括：当根据所述比较结果确定至少一条流计算数据链路出现故障时，向数据服务系统发送更新的链路配置信息用于指示所述数据服务系统进行数据链路切换，所述链路配置信息包括用于指示启用未发生故障的数据链路的指示信息以及所述未发生故障的数据链路的连接信息。6.根据权利要求5所述的方法，其特征在于，所述方法还包括：所述数据服务系统监听更新的链路配置信息，根据更新的链路配置信息调用未发生故障的数据链路以进行数据链路切换。7.根据权利要求4所述的方法，其特征在于，所述方法还包括：当发生数据链路切换时，比较最新的实时计算结果数据和缓存的历史实时计算结果数据；若确定最新的实时计算结果数据的质量低于所述历史实时计算结果数据时，使用历史实时计算结果数据替代所述最新的实时计算结果数据。8.一种数据保障系统，其特征在于，包括：比较单元，用于比较多条流计算数据链路产生的多个实时计算结果数据，获得比较结果；其中，所述多条流计算数据链路中的每条数据链路均包括数据计算系统和数据存储系统，各数据链路间的数据计算系统、数据存储系统相互独立；切换单元，用于当根据所述比较结果确定至少一条数据链路出现故障时，将依赖于出现故障的流计算数据链路的数据服务系统切换到未发生故障的流计算数据链路上。9.一种流计算数据链路保障方法，其特征在于，应用于数据保障系统，包括：比较多条流计算数据链路产生的多个实时计算结果数据，获得比较结果；其中，所述多条流计算数据链路中的每条数据链路均包括数据计算系统和数据存储系统，各数据链路间的数据计算系统、数据存储系统相互独立；当根据所述比较结果确定至少一条数据链路出现故障时，将依赖于出现故障的流计算数据链路的数据服务系统切换到未发生故障...

【专利技术属性】
技术研发人员：黄晓锋，
申请(专利权)人：阿里巴巴集团控股有限公司，
类型：发明
国别省市：开曼群岛,KY