一种数据处理方法及装置制造方法及图纸

一种数据处理方法及装置，包括：获取多个数据，将其分为多个数据组；将数据组分配给相应的处理进程进行处理，并将数据组的组别标识保存至本地并向监听进程同步处理进程的处理结果；当处理进程发生异常时，触发监听进程基于监听侧记录文件确定异常处理进程对应的未处理数据；当异常处理进程在预设时间段内未恢复时，将未处理数据分配给其他处理进程进行处理；在将未处理数据分配给其他处理进程的过程中，若异常处理进程的异常类型为预设异常类型，且异常处理进程恢复，则对未处理数据的当前组别标识进行校验；若校验未通过，则终止异常处理进程继续对未处理数据进行处理，由其他处理进程对未处理数据进行处理，从而提高处理完整性。

A data processing method and device

【技术实现步骤摘要】
一种数据处理方法及装置
本申请涉及通讯领域，具体涉及一种数据处理方法及装置。
技术介绍
通讯系统中的数据处理过程包括：一系列数据从上游系统流入数据处理系统，经过数据处理系统流至下游系统，直至下游系统获取到这一系列数据的过程。其流转过程分为两种，第一种为数据由上游系统发布(Publish)，下游系统的接收者订阅(Subscribe)，数据处理系统记录一个或多个订阅者，根据订阅规则，将符合规则的数据发送给订阅者；第二种为数据由上游系统生产(Produce)，由下游系统消费者消费(Consume)，数据处理系统接收并存储数据，等待消费者的请求将数据发送给消费者。目前，无论采用何种流转过程，为了确保数据处理系统的高可用性，一般采用多节点部署与仲裁机制的处理方式进行处理，其意义在于通过多个节点接收用户的请求，互为主备或者通过选举决策者(Leader)的方式来更新数据的处理进度信息。当某个节点失效时，重新发起选举，选举出新的Leader，从而保证数据处理系统的高可用性，但当失效节点为Leader时会使原本应被处理的数据未被处理，进而导致数据处理的完整性降低。
技术实现思路
本申请实施例提供一种数据处理方法及装置，可以提高数据处理的完整性。本申请实施例提供一种数据处理方法，包括：从数据源中获取待处理的多个数据，将所述多个数据划分为多个数据组，并将每个数据组的组别标识保存至本地；将每个数据组分配给处理进程组中相应的处理进程，并将数据源中所述数据的数据状态更新为待处理状态；根据所述处理进程以及分配的目标数据组中数据的数据状态，对目标数据组中数据进行处理；并向监听所述处理进程处理过程的监听进程同步所述处理进程的处理结果，所述处理结果包括已处理数据的数据状态；当检测到所述处理进程发生异常时，触发所述监听进程基于监听侧记录文件，确定异常处理进程对应数据组中的未处理数据，所述监听侧记录文件包括已同步的数据状态以及监听侧的组别标识；通过监听进程将所述数据源中所述未处理数据的数据状态更新为未处理状态；当检测到所述异常处理进程在预设时间段内未恢复正常时，将所述未处理数据分配给其他处理进程进行处理，并将所述未处理数据的组别标识调整为所述其他处理进程对应数据组的组别标识，所述其他处理进程为所述处理进程组中除异常处理进程以外的处理进程；在将所述未处理数据分配给其他处理进程的过程中，若所述异常处理进程的异常类型为预设异常类型，且所述异常处理进程恢复正常时，则对所述未处理数据的当前组别标识进行校验；若校验未通过，则终止所述异常处理进程继续对所述未处理数据进行处理，由所述其他处理进程对所述未处理数据进行处理。在一些实施例中，所述方法还包括：当检测到所述异常处理进程在预设时间段内恢复正常时，将所述未处理数据分配给所述异常处理进程；并将所述未处理数据的数据状态更新为待处理状态；基于所述异常处理进程，以及所述未处理数据的更新后数据状态，对所述未处理数据重新处理。在一些实施例中，所述将所述未处理数据分配给其他处理进程进行处理，并将所述未处理数据的组别标识调整为所述其他处理进程对应数据组的组别标识，包括：将所述未处理数据的数据状态更新为待处理状态、以及将所述未处理数据的组别标识调整为所述其他处理进程对应数据组的组别标识；根据所述未处理数据的数据状态和组别标识触发其他处理进程对未处理数据进行处理。在一些实施例中，所述触发所述监听进程基于监听侧记录文件，确定异常处理进程对应数据组中的未处理数据，包括：触发所述监听进程基于监听侧记录文件将将异常处理进程对应的数据组中数据状态为处理中状态的第一数据、以及数据状态为待处理状态的第二数据，确定为未处理数据。在一些实施例中，所述在将所述未处理数据分配给其他处理进程的过程中，若所述异常处理进程的异常类型为预设异常类型，且所述异常处理进程恢复正常时，则对所述未处理数据的当前组别标识进行校验，包括：在将所述未处理数据分配给其他处理进程的过程中，若所述异常处理进程的异常类型为预设异常类型，且所述异常处理进程恢复正常时，则将第一数据的当前组别标识、与异常处理进程对应的组别标识进行对比；所述若校验未通过，则终止所述异常处理进程继续对所述未处理数据进行处理，由所述其他处理进程对所述未处理数据进行处理，包括：当所述第一数据的当前组别标识与所述异常处理进程对应的组别标识不相同时，终止所述异常处理进程对所述第一数据处理，由所述其他处理进程对所述第一数据进行处理。在一些实施例中，所述方法还包括：当所述第一数据的当前组别标识与所述异常处理进程对应的组别标识相同时，拒绝将所述第一数据分配给所述其他处理进程，并触发所述异常处理进程继续对所述第一数据进行处理。在一些实施例中，所述将每个数据组分配给处理进程组中相应的处理进程，包括：对每个数据组进行组别标记，得到每个数据组对应的组别标识；从进程标识集合中确定所述组别标识对应的目标进程标识，所述进程标识集合包括所述处理进程组中处理进程的进程标识；将所述组别标识对应的数据组，分配给所述目标进程标识对应的处理进程。在一些实施例中，所述根据所述处理进程以及分配的目标数据组中数据的数据状态，对目标数据组中数据进行处理，包括：从目标数据组中确定所述处理进程当前需要处理的目标数据；获取所述处理进程对应的数据处理期望信息、以及所述目标数据的数据属性信息，所述数据处理期望信息包括所述处理进程期望处理的数据组、以及期望处理的数据状态，所述数据属性信息包括目标数据的当前数据状态以及当前所属的数据组；基于所述数据处理期望信息及所述数据属性信息对目标数据进行验证；当验证通过时，触发处理进程对目标数据进行处理。相应的，本申请实施例还提供一种数据处理装置，包括：数据划分单元，用于从数据源中获取待处理的多个数据，将所述多个数据划分为多个数据组，并将每个数据组的组别标识保存至本地；第一数据分配单元，用于将每个数据组分配给处理进程组中相应的处理进程，并将数据源中所述数据的数据状态更新为待处理状态；第一数据处理单元，用于根据所述处理进程以及分配的目标数据组中数据的数据状态，对目标数据组中数据进行处理；并向监听所述处理进程处理过程的监听进程同步所述处理进程的处理结果，所述处理结果包括已处理数据的数据状态；数据确定单元，用于当检测到所述处理进程发生异常时，触发所述监听进程基于监听侧记录文件，确定异常处理进程对应数据组中的未处理数据，所述监听侧记录文件包括已同步的数据状态以及监听侧的组别标识；数据更新单元，用于通过监听进程将所述数据源中所述未处理数据的数据状态更新为未处理状态；第二数据分配单元，用于当检测到所述异常处理进程在预设时间段内未恢复正常时，将所述未处理数据分配给其他处理进程进行处理，并将所述未处理数据的组别标识调整为所述其他处理进程对应数据组的组别本文档来自技高网...

【技术保护点】
1.一种数据处理方法，其特征在于，包括：/n从数据源中获取待处理的多个数据，将所述多个数据划分为多个数据组；/n将每个数据组分配给处理进程组中相应的处理进程，并将每个数据组的组别标识保存至本地，以及将数据源中所述数据的数据状态更新为待处理状态；/n根据所述处理进程以及分配的目标数据组中数据的数据状态，对目标数据组中数据进行处理；并向监听所述处理进程处理过程的监听进程同步所述处理进程的处理结果，所述处理结果包括已处理数据的数据状态；/n当检测到所述处理进程发生异常时，触发所述监听进程基于监听侧记录文件，确定异常处理进程对应数据组中的未处理数据，所述监听侧记录文件包括已同步的数据状态以及监听侧的组别标识；/n通过监听进程将所述数据源中所述未处理数据的数据状态更新为未处理状态；/n当检测到所述异常处理进程在预设时间段内未恢复正常时，将所述未处理数据分配给其他处理进程进行处理，并将所述未处理数据的组别标识调整为所述其他处理进程对应数据组的组别标识，所述其他处理进程为所述处理进程组中除异常处理进程以外的处理进程；/n在将所述未处理数据分配给其他处理进程的过程中，若所述异常处理进程的异常类型为预设异常类型，且所述异常处理进程恢复正常时，则对所述未处理数据的当前组别标识进行校验；/n若校验未通过，则终止所述异常处理进程继续对所述未处理数据进行处理，由所述其他处理进程对所述未处理数据进行处理。/n...

【技术特征摘要】
1.一种数据处理方法，其特征在于，包括：
从数据源中获取待处理的多个数据，将所述多个数据划分为多个数据组；
将每个数据组分配给处理进程组中相应的处理进程，并将每个数据组的组别标识保存至本地，以及将数据源中所述数据的数据状态更新为待处理状态；
根据所述处理进程以及分配的目标数据组中数据的数据状态，对目标数据组中数据进行处理；并向监听所述处理进程处理过程的监听进程同步所述处理进程的处理结果，所述处理结果包括已处理数据的数据状态；
当检测到所述处理进程发生异常时，触发所述监听进程基于监听侧记录文件，确定异常处理进程对应数据组中的未处理数据，所述监听侧记录文件包括已同步的数据状态以及监听侧的组别标识；
通过监听进程将所述数据源中所述未处理数据的数据状态更新为未处理状态；
当检测到所述异常处理进程在预设时间段内未恢复正常时，将所述未处理数据分配给其他处理进程进行处理，并将所述未处理数据的组别标识调整为所述其他处理进程对应数据组的组别标识，所述其他处理进程为所述处理进程组中除异常处理进程以外的处理进程；
在将所述未处理数据分配给其他处理进程的过程中，若所述异常处理进程的异常类型为预设异常类型，且所述异常处理进程恢复正常时，则对所述未处理数据的当前组别标识进行校验；
若校验未通过，则终止所述异常处理进程继续对所述未处理数据进行处理，由所述其他处理进程对所述未处理数据进行处理。


2.根据权利要求1所述的数据处理方法，其特征在于，所述方法还包括：
当检测到所述异常处理进程在预设时间段内恢复正常时，将所述未处理数据分配给所述异常处理进程；并将所述未处理数据的数据状态更新为待处理状态；
基于所述异常处理进程，以及所述未处理数据的更新后数据状态，对所述未处理数据重新处理。


3.根据权利要求1所述的数据处理方法，其特征在于，所述将所述未处理数据分配给其他处理进程进行处理，并将所述未处理数据的组别标识调整为所述其他处理进程对应数据组的组别标识，包括：
将所述未处理数据的数据状态更新为待处理状态、以及将所述未处理数据的组别标识调整为所述其他处理进程对应数据组的组别标识；
根据所述未处理数据的数据状态和组别标识触发其他处理进程对未处理数据进行处理。


4.根据权利要求3所述的数据处理方法，其特征在于，所述触发所述监听进程基于监听侧记录文件，确定异常处理进程对应数据组中的未处理数据，包括：
触发所述监听进程基于监听侧记录文件将异常处理进程对应的数据组中数据状态为处理中状态的第一数据、以及数据状态为待处理状态的第二数据，确定为未处理数据。


5.根据权利要求4所述的数据处理方法，其特征在于，所述在将所述未处理数据分配给其他处理进程的过程中，若所述异常处理进程的异常类型为预设异常类型，且所述异常处理进程恢复正常时，则对所述未处理数据的当前组别标识进行校验，包括：
在将所述未处理数据分配给其他处理进程的过程中，若所述异常处理进程的异常类型为预设异常类型，且所述异常处理进程恢复正常时，则将第一数据的当前组别标识、与异常处理进程对应的组别标识进行对比；
所述若校验未通过，则终止所述异常处理进程继续对所述未处理数据进行处理，由所述其他处理进程对所述未处理数据进行处理，包括：
当所述第一数据的当前组别标识与所述异常处理进程对应的组别标识不相同时，终止所述异常处理进程对所述第一数据处理，由所述其他处理进程对所述第一数据进行处理。...

【专利技术属性】
技术研发人员：罗洪林，肖晨光，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：广东;44