业务数据处理方法、装置、设备和存储介质制造方法及图纸

本发明专利技术实施例公开了一种业务数据处理方法、装置、设备和存储介质，其中该方法包括：根据消费进程对待处理业务数据进行业务处理；确定所述消费进程异常时，根据守护进程对所述消费进程进行异常处理。本发明专利技术实施例的技术方案，通过守护进程实时监测业务数据的处理过程，及时发现异常情况，降低对业务数据处理的影响，增强了业务的稳定性。

【技术实现步骤摘要】
业务数据处理方法、装置、设备和存储介质
本专利技术实施例涉及计算机应用
，尤其涉及一种业务数据处理方法、装置、设备和存储介质。
技术介绍
随着互联网技术的发展，生活的方法面面离不开数据，如何安全高效的处理用户生活过程中产生的业务数据成为业界研究的重点。业务数据处理领域中业务数据常因为数据量过大导致异常退出，对业务数据的处理过程产生影响，降低了业务数据的处理速度。现有技术中，常通过KafkaManager或者KafkaOffsetMonitor等工具提供可实化界面，对业务数据的处理过程进行监控，由于监控并不能达到实时效果，处理业务数据的机器出现问题时，不能被及时发现，造成业务数据的丢失，对业务的稳定性产生影响。
技术实现思路
本专利技术提供一种业务数据处理方法、装置、设备和存储介质，以实现业务数据处理过程中及时发现故障，提高业务数据处理过程的稳定性，降低业务数据丢失机率。第一方面，本专利技术实施例提供了一种业务数据处理方法，该方法包括：根据消费进程对待处理业务数据进行业务处理；确定所述消费进程异常时，根据守护进程对所述消费进程进行异常处理。第二方面，本专利技术实施例提供了一种业务数据处理装置，该装置包括：业务处理模块，用于根据消费进程对待处理业务数据进行业务处理；异常处理模块，用于确定所述消费进程异常时，根据守护进程对所述消费进程进行异常处理。第三方面，本专利技术实施例提供了一种设备，该设备包括：一个或多个处理器；存储器，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本专利技术实施例中任一所述的业务数据处理方法。第四方面，本专利技术实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本专利技术实施例中任一所述的业务数据处理方法。本专利技术实施例的技术方案，通过消费进程对待处理业务数据进行业务处理，在消费进程异常时，可以根据守护进程进行异常处理使得消费进程继续对待处理业务数据进行处理，实现了业务数据处理过程的实时监控，可及时发现异常情况，提高了业务的稳定性，可防止业务数据因为处理异常导致丢失。附图说明图1是本专利技术实施例一提供的一种业务数据处理方法的流程图；图2是本专利技术实施例二提供的一种业务数据处理方法的流程图；图3是本专利技术实施例二提供的一种业务数据处理方法的示例图；图4是本专利技术实施例二提供的一种性能下降告警的示例图；图5是本专利技术实施例三提供的一种业务数据处理装置的结构示意图；图6是本专利技术实施例四提供的一种设备的结构示意图。具体实施方式下面结合附图和实施例对本专利技术作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本专利技术，而非对本专利技术的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本专利技术相关的部分而非全部结构，此外，在不冲突的情况下，本专利技术中的实施例及实施例中的特征可以相互组合。实施例一图1是本专利技术实施例一提供的一种业务数据处理方法的流程图，本实施例可适用于分布式情况下处理业务数据的情况，该方法可以由业务数据处理装置来执行，该装置可以采用硬件和/或软件的方式来实现，参见图1，本专利技术实施例提供的业务数据处理方法具体包括如下步骤：步骤101、根据消费进程对待处理业务数据进行业务处理。其中，消费进程可以是用于处理业务数据的进程，具体可以是计算机程序，可以具有独立处理业务数据的功能，消费进程可以运行在不同的计算机中，不同的计算机可以根据消费进程对不同的业务数据进行处理。待处理业务数据可以是需要进行业务处理的数据，具体可以包括商品订单数据、活动打折数据和视频订阅数据等。具体的，可以在各执行业务处理的计算机中布置消费进程，由消费进程对待处理业务数据进行处理，可以理解的是，消费进程可以实现业务数据的处理功能，不同的业务数据可以在不同的计算机中被消费进程处理，同一待处理业务数据仅可以被一个消费进程处理。步骤102、确定所述消费进程异常时，根据守护进程对所述消费进程进行异常处理。其中，异常可以导致消费进程不能正常处理业务数据的情况，可以包括消费进程异常退出或者业务数据处理错误等，守护进程可以是保障消费进程正常运行的计算机进程，守护进程可以与消费进程处于相同的计算机中，守护进程可以在监测到消费进程异常后进行异常处理恢复消费进程。在本专利技术实施例中，可以通过对消费进程的运行状态进行监测，当消费进程异常时，可以由守护进程对消费进程进行异常处理，重新使得消费进程正常运行，示例性的，可以使用守护进程作为消费进程的父进程，在检测到消费进程异常时，可以通过守护进程重新启动一个新的子进程作为消费进程，可以理解的是，新的子进程可以继续处理异常的消费进程正在处理的待处理业务数据。本专利技术实施例，通过消费进程对待处理业务数据进行业务处理，在消费进程异常时，可以根据守护进程进行异常处理使得消费进程继续对待处理业务数据进行处理，实现了业务数据处理过程的实时监控，及时发现消费进程的异常状况，提高业务的稳定性，降低了业务数据因为异常处理导致丢失的机率，可提高用户的体验程度。进一步的，在上述专利技术实施例的基础上，业务数据处理方法还可以包括：确定所述待处理业务数据的数量超过告警阈值时，发出处理性能下降告警。其中，告警阈值可以是处理性能下降告警的临界值，当待处理业务数据的数量超过告警阈值时可以进行处理性能下降告警，不同计算机内的消费进程对应的告警阈值可以不同，告警阈值可以与消费进程的处理能力相对应。具体的，可以对待处理业务数据的数量进行统计，当待处理业务数据的数量超过告警阈值时，可以通过声音、文字或者图片等形式发出性能下降告警。进一步的，在上述专利技术实施例的基础上，确定所述待处理业务数据的数量超过告警阈值时，发出处理性能下降告警，包括：获取数据待处理队列中的待处理数据的数量；若所述数量大于所述告警阈值，则生成处理性下降告警并根据所述处理效降告警进行警报。具体的，待处理数据存储在数据待处理队列中，可以在数据待处理队列中统计待处理数据的数量，将获取到的数量与告警阈值进行对比，当该数量大于告警阈值时，可以生成性能下降告警，可以将该性能下降告警通过文字、声音或者图片等方式进行展示以实现警报。实施例二图2是本专利技术实施例二提供的一种业务数据处理方法的流程图，本专利技术实施例以上述实施例为基础进行具体化，基于数据待处理队列辅助消费进程进行业务处理，并通过守护进程重启消费进程的方式实现异常处理，参见图2，本专利技术实施例的业务数据处理方法包括：步骤201、控制消费进程启动，获取数据待处理队列中的待处理业务数据。其中，数据待处理队列可以是存储待处理数据的存储空间，消费进程可以在该数据待处理队列中获取到需要处理的业务数据，数据待处理队列具体可以是流处理队列，可以包括Kafka流处理队列和Data本文档来自技高网...

【技术保护点】
1.一种业务数据处理方法，其特征在于，包括：/n根据消费进程对待处理业务数据进行业务处理；/n确定所述消费进程异常时，根据守护进程对所述消费进程进行异常处理。/n

【技术特征摘要】
1.一种业务数据处理方法，其特征在于，包括：
根据消费进程对待处理业务数据进行业务处理；
确定所述消费进程异常时，根据守护进程对所述消费进程进行异常处理。


2.根据权利要求1所述的方法，其特征在于，所述根据消费进程对待处理业务数据进行业务处理，包括：
控制所述消费进程启动，获取数据待处理队列中的待处理业务数据；
确定所述待处理业务数据未被处理时，控制所述消费进程处理所述待处理业务数据。


3.根据权利要求2所述的方法，其特征在于，所述数据待处理队列为流处理集群队列。


4.根据权利要求2所述的方法，其特征在于，所述确定所述待处理业务数据未被处理时，控制所述消费进程处理所述待处理业务数据，包括：
将所述待处理业务数据的记录序号与数据缓存中的已处理业务数据的记录序号进行对比；
若所述待处理业务数据的记录序号大于所述已处理业务数据的记录序号，控制所述消费进程对所述待处理业务数据进行业务处理。


5.根据权利要求4所述的方法，其特征在于，所述数据缓存包括分布式集群缓存。


6.根据权利要求1或2所述的方法，其特征在于，所述确定所述消费进程异常时，根据守护进程对所述消费进程进行异常处理，包括：
基于所述守护进程监测...

【专利技术属性】
技术研发人员：张芳栋，袁青松，
申请(专利权)人：广州市百果园信息技术有限公司，
类型：发明
国别省市：广东;44