流式处理方法、装置、设备及计算机可读存储介质制造方法及图纸

本发明专利技术公开了一种流式处理方法。该流式处理方法包括：基于预设规则检测流式处理系统是否存在运行状态异常事件；若流式处理系统存在运行状态异常事件，则确定所述运行状态异常事件的异常类型；根据所述异常类型确定对应的切换策略，并根据所述切换策略对所述流式处理系统中对应的组件执行主备切换。本发明专利技术还公开了一种流式处理装置、设备及计算机可读存储介质。本发明专利技术能够解决由于数据处理源和/或结果存储数据库不可用，而无法保证Exactly‑once和7*24小时的高可用的问题。

Stream Processing Method, Device, Equipment and Computer Readable Storage Media

【技术实现步骤摘要】
流式处理方法、装置、设备及计算机可读存储介质
本专利技术涉及流式处理
，尤其涉及一种流式处理方法、装置、设备及计算机可读存储介质。
技术介绍
互联网的迅猛发展使得数据不再昂贵，而如何从数据中更快速获取价值变得日益重要，因此，数据实时化成为了一个大趋势。越来越多的业务场景需要实时分析，以极低的延迟来分析实时数据并给出分析结果，从而提高业务效率，带来更高价值。流式处理作为实时处理的一种重要手段，正在因数据实时化的发展而蓬勃发展。目前，主要采用Wormhole、SparkStream和FlinkStream等方式来进行流式处理，但是上述方式并不能解决跨集群的流式应用高可用，如果一个集群或者一个机房不可用会丢失处理的数据和消息从而导致应用失败，此外，如果数据处理源(如Kafka消息队列)和/或结果存储数据库(如HBase)不可用，会丢失消息和/或处理结果，从而无法保证Exactly-once(恰好一次)和7*24小时的高可用。
技术实现思路
本专利技术的主要目的在于提供一种流式处理方法、装置、设备及计算机可读存储介质，旨在解决由于数据处理源和/或结果存储数据库不可用，而无法保证Exactly-once和7*24小时的高可用的问题。为实现上述目的，本专利技术提供一种流式处理方法，所述流式处理方法包括：基于预设规则检测流式处理系统是否存在运行状态异常事件；若流式处理系统存在运行状态异常事件，则确定所述运行状态异常事件的异常类型；根据所述异常类型确定对应的切换策略，并根据所述切换策略对所述流式处理系统中对应的组件执行主备切换。可选地，所述组件包括主流式应用和备流式应用，所述根据所述异常类型确定对应的切换策略，并根据所述切换策略对所述流式处理系统中对应的组件执行主备切换的步骤包括：若所述异常类型为主流式应用运行状态异常，则确定对应的切换策略为流式应用切换策略，并根据所述流式应用切换策略将所述主流式应用切换至所述备流式应用。可选地，所述组件还包括主消息队列、备消息队列、主存储数据库和备存储数据库，所述主消息队列与所述备消息队列中的数据相同，所述备存储数据库用于同步备份所述主存储数据库中的数据处理结果，所述根据所述异常类型确定对应的切换策略，并根据所述切换策略对所述流式处理系统中对应的组件执行主备切换的步骤还包括：若所述异常类型为主消息队列运行状态异常和/或主存储数据库运行状态异常，则确定对应的切换策略为消息队列切换策略和/或存储数据库切换策略；根据所述消息队列切换策略和/或存储数据库切换策略，控制所述主流式应用将所述主消息队列切换至所述备消息队列，并/或控制所述主流式应用将所述主存储数据库切换至所述备存储数据库。可选地，所述控制所述主流式应用将所述主存储数据库切换至所述备存储数据库的步骤之后，所述方法还包括：生成第一提示信息，并发送至下游应用系统，以使得所述下游应用系统从所述备存储数据库中获取数据处理结果。可选地，所述基于预设规则检测流式处理系统是否存在运行状态异常事件的步骤包括：通过心跳检测技术定时检测所述主流式应用的运行状态是否异常，并检测是否接收到所述主流式应用上报的运行状态异常事件。可选地，所述流式处理方法还包括：接收所述主流式应用上报的消息偏移量，并将所述消息偏移量存储至预设多个存储集群，以在将所述主流式应用切换至所述备流式应用后，供所述备流式应用通过流式处理管理平台的应用程序接口从所述多个存储集群中获取到最新的消息偏移量。可选地，所述流式处理方法还包括：接收所述主流式应用发送的性能指标数据，并检测所述性能指标数据是否满足预设正常运行条件；若所述性能指标数据不满足预设正常运行条件，则生成对应的告警信息，并发送至对应的工作终端。可选地，所述根据所述异常类型确定对应的切换策略，并根据所述切换策略对所述流式处理系统中对应的组件执行主备切换的步骤之后，所述方法还包括：生成第二提示信息，并发送至所述工作终端，以提示工作人员已执行主备切换。此外，为实现上述目的，本专利技术还提供一种流式处理装置，所述流式处理装置包括：异常事件检测模块，用于基于预设规则检测流式处理系统是否存在运行状态异常事件；异常类型确定模块，用于若流式处理系统存在运行状态异常事件，则确定所述运行状态异常事件的异常类型；主备切换执行模块，用于根据所述异常类型确定对应的切换策略，并根据所述切换策略对所述流式处理系统中对应的组件执行主备切换。此外，为实现上述目的，本专利技术还提供一种流式处理设备，所述流式处理设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的流式处理程序，所述流式处理程序被所述处理器执行时实现如上所述的流式处理方法的步骤。此外，为实现上述目的，本专利技术还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有流式处理程序，所述流式处理程序被处理器执行时实现如上所述的流式处理方法的步骤。本专利技术提供一种流式处理方法、装置、设备及计算机可读存储介质，通过基于预设规则检测流式处理系统是否存在运行状态异常事件；若流式处理系统存在运行状态异常事件，则确定运行状态异常事件的异常类型；进而根据异常类型确定对应的切换策略，并根据切换策略对该流式处理系统中对应的组件执行主备切换。本专利技术中通过监控流式处理系统中的运行状态异常事件，进而对出现异常的组件执行主备切换，可实现流式处理的跨集群高可用，可解决流式处理系统中的数据处理源和/或结果存储数据库不可用，而无法保证Exactly-once和7*24小时的高可用的问题。附图说明图1为本专利技术实施例方案涉及的硬件运行环境的设备结构示意图；图2为本专利技术流式处理方法第一实施例的流程示意图；图3为本专利技术流式处理方法涉及的流式处理系统的一系统架构示意图；图4为本专利技术流式处理装置第一实施例的功能模块示意图。本专利技术目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。具体实施方式应当理解，此处所描述的具体实施例仅仅用以解释本专利技术，并不用于限定本专利技术。参照图1，图1为本专利技术实施例方案涉及的硬件运行环境的设备结构示意图。本专利技术实施例流式处理设备可以是智能手机，也可以是PC(PersonalComputer，个人计算机)、平板电脑、便携计算机等终端设备。如图1所示，该流式处理设备可以包括：处理器1001，例如CPU，通信总线1002，用户接口1003，网络接口1004，存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如Wi-Fi接口)。存储器1005可以是高速RAM存储器，也可以是稳定的存储器(non-volatilememory)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。本领域技术人员可以理解，图1中示出的流式处理设备结构并不构成对流式处理设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。如图1所示，作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及流式处理程序。在图1所示的终端中，网络接口1本文档来自技高网...

【技术保护点】
1.一种流式处理方法，其特征在于，所述流式处理方法包括：基于预设规则检测流式处理系统是否存在运行状态异常事件；若流式处理系统存在运行状态异常事件，则确定所述运行状态异常事件的异常类型；根据所述异常类型确定对应的切换策略，并根据所述切换策略对所述流式处理系统中对应的组件执行主备切换。

【技术特征摘要】
1.一种流式处理方法，其特征在于，所述流式处理方法包括：基于预设规则检测流式处理系统是否存在运行状态异常事件；若流式处理系统存在运行状态异常事件，则确定所述运行状态异常事件的异常类型；根据所述异常类型确定对应的切换策略，并根据所述切换策略对所述流式处理系统中对应的组件执行主备切换。2.如权利要求1所述的流式处理方法，其特征在于，所述组件包括主流式应用和备流式应用，所述根据所述异常类型确定对应的切换策略，并根据所述切换策略对所述流式处理系统中对应的组件执行主备切换的步骤包括：若所述异常类型为主流式应用运行状态异常，则确定对应的切换策略为流式应用切换策略，并根据所述流式应用切换策略将所述主流式应用切换至所述备流式应用。3.如权利要求2所述的流式处理方法，其特征在于，所述组件还包括主消息队列、备消息队列、主存储数据库和备存储数据库，所述主消息队列与所述备消息队列中的数据相同，所述备存储数据库用于同步备份所述主存储数据库中的数据处理结果，所述根据所述异常类型确定对应的切换策略，并根据所述切换策略对所述流式处理系统中对应的组件执行主备切换的步骤还包括：若所述异常类型为主消息队列运行状态异常和/或主存储数据库运行状态异常，则确定对应的切换策略为消息队列切换策略和/或存储数据库切换策略；根据所述消息队列切换策略和/或存储数据库切换策略，控制所述主流式应用将所述主消息队列切换至所述备消息队列，并/或控制所述主流式应用将所述主存储数据库切换至所述备存储数据库。4.如权利要求3所述的流式处理方法，其特征在于，所述控制所述主流式应用将所述主存储数据库切换至所述备存储数据库的步骤之后，所述方法还包括：生成第一提示信息，并发送至下游应用系统，以使得所述下游应用系统从所述备存储数据库中获取数据处理结果。5.如权利要求2所述的流式处理方法，其特征在于，所述基于预设规则检测流式处理系统是否存在运行状态异常事件的步骤包括：通过心跳检测技术定时检测所述主流式应用的运行状态是否异常，并检测是否接收到所述主流式应用上报的运行状态异常事件。6.如权利要求2所述的流式处理方法，其特征在于，所述流式处理方法还包括：接收所述主流式应用上报的消息偏移量，并将所述消息偏移量存储至预设多个存储集群，以在将所述主流式应用切换至所述备流式应用后，供所述备流式应用通过流式处理管理平台的应用程序接口从所述多个存储集群中获取到最新的消息偏移量。7.如权利要求2所述的流式处理方法，其特征在于，所述流式处理方法还包括：接收所述主流式应用发送的性能指标数据，并检测所述性能指标数据是否满足预设正常运行条件；若所述性能指标数据不满足预设正常运行条件，则生成对应的告警信息，并发送至对应的工作终端。8.如权利要求7所述的流式处理方法，其特征在于，所述根据所述异常类型确定对应的切换策略，并根据所述切换策略对所述流式处理系统中对应的组件执行主备切换的步骤之后，所述方法还包括：生成第二提示信息，并发...

【专利技术属性】
技术研发人员：王和平，
申请(专利权)人：深圳前海微众银行股份有限公司，
类型：发明
国别省市：广东,44