一种数据批次处理方法及装置制造方法及图纸

本说明书提供一种数据批次处理方法及装置，基于获取到的最新的批次生成规则对业务请求信息进行打批处理，并根据获取到的最新的批次捞取规则捞取生成的批次数据，将捞取到的批次数据发送至下游业务处理系统进行业务处理，实现了数据的及时处理。同时，基于下游业务处理系统的业务处理能力如：下游系统中批次数据的处理状态，不断的更新批次捞取规则，并基于更新后的批次捞取规则进行批次数据的捞取和投递，以适应下游业务处理系统的业务处理能力，避免造成数据的积压，增加下游业务处理系统的负担的问题。提高了数据处理效率，实现了数据批次灵活处理，提高了系统的稳定性。

A Data Batch Processing Method and Device

【技术实现步骤摘要】
一种数据批次处理方法及装置
本说明书属于计算机
，尤其涉及一种数据批次处理方法及装置。
技术介绍
随着计算机和互联网技术的发展，数据量也越来越大，数据批次处理的难度也在增加。例如：在日常的业务场景中，为了匹配下游业务系统的能力，需要对请求进行异步处理，同时为了提高异步的处理能力，会对异步的请求进行分批次发送到下游业务系统。如何实现灵活的进行数据批次处理是本领域亟需解决的技术问题。
技术实现思路
本说明书实施例的目的在于提供一种数据批次处理方法及装置，实现了数据的批次灵活处理，提高了数据处理效率。一方面本说明书实施例提供了一种数据批次处理方法，包括：接收业务请求信息；根据获取到的批次生成规则，将所述业务请求信息生成对应的批次数据，所述批次生成规则包括：批次数据生成频率、每个批次数据中包括的业务请求信息的数量；根据获取到的批次捞取规则捞取生成的所述批次数据，将捞取到的批次数据发送给下游业务处理系统，所述批次捞取规则每隔预设时间基于所述下游业务处理系统中批次数据的处理状态进行更新，其中，所述批次捞取规则包括：批次数据捞取频率、批次数据投递频率。另一方面，本说明书提供了一种数据批次处理装置，包括：业务请求接收模块，用于接收业务请求信息；批次生成模块，用于根据获取到的批次生成规则，将所述业务请求信息生成对应的批次数据，所述批次生成规则包括：批次数据生成频率、每个批次数据中包括的业务请求信息的数量；批次投递模块，用于根据获取到的批次捞取规则捞取所述批次生成模块生成的所述批次数据，将捞取到的批次数据发送给下游业务处理系统，其中，所述批次捞取规则包括：批次数据捞取频率、批次数据投递频率；批次计量模块，用于每隔预设时间基于所述下游业务处理系统中批次数据的处理状态进行更新。还一方面，本说明书提供了一种数据批次处理设备，包括：至少一个处理器以及用于存储处理器可执行指令的存储器，所述处理器执行所述指令时实现上述数据批次处理方法。本说明书提供的数据批次处理方法、装置、处理设备，基于获取到的最新的批次生成规则对业务请求信息进行打批处理，并根据获取到的最新的批次捞取规则捞取生成的批次数据，将捞取到的批次数据发送至下游业务处理系统进行业务处理，实现了数据的及时处理。同时，基于下游业务处理系统的业务处理能力如：下游系统中批次数据的处理状态，不断的更新批次捞取规则，并基于更新后的批次捞取规则进行批次数据的捞取和投递，以适应下游业务处理系统的业务处理能力，避免造成数据的积压，增加下游业务处理系统的负担的问题。提高了数据处理效率，实现了数据批次灵活处理，提高了系统的稳定性。附图说明为了更清楚地说明本说明书实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。图1是本说明书一个实施例中数据批次处理方法的流程示意图；图2是本说明书一个实施例中批次捞取规则更新方法的流程示意图；图3是本说明书一个实施例中批次生成规则更新方法的流程示意图；图4是本说明书一个实施例中数据批次处理的框架示意图；图5是本说明书实施例中数据批次处理的调度流程示意图；图6是本说明书提供的数据批次处理装置一个实施例的模块结构示意图；图7是本说明书一个实施例中数据批次处理服务器的硬件结构框图。具体实施方式为了使本
的人员更好地理解本说明书中的技术方案，下面将结合本说明书实施例中的附图，对本说明书实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本说明书一部分实施例，而不是全部的实施例。基于本说明书中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都应当属于本说明书保护的范围。在日常的业务场景中，为了匹配下游业务系统的能力，可能需要对请求进行异步处理，同时为了提高异步的处理能力，会对异步的请求进行批次生成及批次捞取发送到下游业务系统。例如：可以将上游系统发送的业务请求信息打批生成不同的批次数据，再按照数据的批次，发送给下游系统，由下游系统进行业务处理。其中，打批可以理解为指把一部分请求按照指定批次大小生成批次数据；批次投递可以理解为把生成的批次按一定的规则把批次的明细进行投递给下游业务系统进行业务处理。本说明书实施例中提供了一种数据批次处理方法，数据批次处理可以理解为将一部分数据打批成一个批次数据，按照批次数据进行业务处理。按照预设的批次生成规则将业务请求信息打批生成不同的批次数据，再按照批次捞取规则捞取生成的批次数据，并将捞取到的数据发送给下游业务处理系统，由下游业务处理系统进行业务处理。其中，批次捞取规则可以根据下游业务系统的批次数据处理状态，进行更新，以实现批次数据的投递适应下游业务系统的处理能力，使得批次数据不会过分的积压，提高数据处理效率，实现了批次数据的灵活处理。本说明书中数据批次处理方法可以应用在客户端或服务器中，客户端可以是智能手机、平板电脑、智能可穿戴设备(智能手表、虚拟现实眼镜、虚拟现实头盔等)、智能车载设备等电子设备。具体的，图1是本说明书一个实施例中数据批次处理方法的流程示意图，如图1所示，本说明书一个实施例中提供的数据批次处理方法可以包括：步骤102、接收业务请求信息。本说明书实施例中，业务请求信息可以理解为需要进行的业务处理请求，具体可以包括业务请求的明细如：若请求获取某个信息，则业务请求信息可以包括请求获取的数据信息；若请求进行扣款处理，则业务请求信息可以包括：扣款的金额、扣款的账户等信息。本说明书实施例中的数据批次处理方法可以应用在一个数据处理系统中如：分布式系统中，上游系统可以请求下游系统进行业务处理，业务请求信息可以是上游系统发送给下游业务处理系统，请求下游业务处理系统进行相应的业务处理。业务请求信息中可以包括一条业务请求，也可以包括多条业务请求，具体可以根据实际需要进行设置，本说明书实施例不作具体限定。步骤104、根据获取到的批次生成规则，将所述业务请求信息生成对应的批次数据，所述批次生成规则包括：批次数据生成频率、每个批次数据中包括的业务请求的数量。接收到业务请求信息后，可以获取最新的批次生成规则，根据批次生成规则将业务请求信息打批生成不同的批次数据，其中，批次数据可以理解为包括多个业务请求的数据包。批次生成规则可以包括批次数据生成频率以及每一个批次数据中业务请求信息的数量，批次数据生成频率可以表示每隔多长时间执行一次数据打批任务。例如：若本说明书一个示例中，批次生成规则为1分钟执行一次打批任务，一个批次数据中包括100个业务请求信息或100个业务请求。可以按照批次生成规则，将接收到的业务请求信息进行打批，生成批次数据，生成的批次数据可以保存在数据库或其他能够进行数据保存的设备中。需要说明的是，本说明书实施例中批次生成规则还可以包括其他内容如：生成的批次数据的名称(如：可以根据批次数据生成的时间或批次数据的属性等，为每个批次数据命名，以便后续查询)，生成的批次数据的大小、执行批次生成任务的并发执行数即：有多少个线程执行批次生成任务，根据实际需要批次生成规则还可以包括其他内容，本说明书实施例本文档来自技高网...

【技术保护点】
1.一种数据批次处理方法，包括：接收业务请求信息；根据获取到的批次生成规则，将所述业务请求信息生成对应的批次数据，所述批次生成规则包括：批次数据生成频率、每个批次数据中包括的业务请求信息的数量；根据获取到的批次捞取规则捞取生成的所述批次数据，将捞取到的批次数据发送给下游业务处理系统，所述批次捞取规则每隔预设时间基于所述下游业务处理系统中批次数据的处理状态进行更新，其中，所述批次捞取规则包括：批次数据捞取频率、批次数据投递频率。

【技术特征摘要】
1.一种数据批次处理方法，包括：接收业务请求信息；根据获取到的批次生成规则，将所述业务请求信息生成对应的批次数据，所述批次生成规则包括：批次数据生成频率、每个批次数据中包括的业务请求信息的数量；根据获取到的批次捞取规则捞取生成的所述批次数据，将捞取到的批次数据发送给下游业务处理系统，所述批次捞取规则每隔预设时间基于所述下游业务处理系统中批次数据的处理状态进行更新，其中，所述批次捞取规则包括：批次数据捞取频率、批次数据投递频率。2.如权利要求1所述的方法，所述批次捞取规则还包括：每次投递的批次数据的数量；相应地，所述批次捞取规则的更新方法包括：根据所述下游业务处理系统中批次数据的处理状态和当前的批次捞取规则，计算第一指定周期内所述下游系统处理系统中处于未处理状态的批次数据的数量变化趋势；若在所述第一指定周期内，所述下游系统处理系统中处于未处理状态的批次数据的数量增加，则减少所述当前的批次捞取规则中每次投递的批次数据的数量和/或降低所述当前的批次捞取规则中批次数据投递频率，获得更新后的批次捞取规则。3.如权利要求2所述的方法，所述批次捞取规则的更新方法还包括：若在所述第一指定周期内，所述下游系统处理系统中处于未处理状态的批次数据的数量未增加，则增加所述每次投递的批次数据的数量和/或提高所述批次数据投递频率。4.如权利要求2所述的方法，所述批次捞取规则的更新方法包括：根据在所述第一指定周期内，所述下游系统处理系统中处于未处理状态的批次数据的数量的变化比例，调整所述每次投递的批次数据的数量的改变比例和/或调整所述批次数据投递频率的改变比例。5.如权利要求1所述的方法，所述方法还包括：根据接收到的业务请求信息中未生成批次数据的业务请求的数量和当前的批次生成规则，更新所述当前的批次生成规则，获得更新后的批次生成规则。6.如权利要求5所述的方法，所述批次生成规则更新的方法包括：根据接收到的业务请求信息中未生成批次数据的业务请求的数量和所述当前的批次生成规则，计算在第二指定周期内所述未生成批次数据的业务请求的数量变化趋势；若在所述第二指定周期内，所述未生成批次数据的业务请求的数量增加，则增加所述当前的批次生成规则中的每个批次数据中包括的业务请求信息的数量和/或提高所述当前的批次生成规则中的批次数据生成频率，获得更新后的批次生成规则。7.如权利要求6所述的方法，所述批次生成规则更新的方法还包括：若在所述第二指定周期内，所述未生成批次数据的业务请求的数量未增加，则减少所述当前的批次生成规则中每个批次数据中包括的业务请求信息的数量和/或降低所述当前的批次生成规则中批次数据生成频率。8.如权利要求6所述的方法，所述批次生成规则更新的方法包括：根据在所述第二指定周期内，所述未生成批次数据的业务请求的数量的变化比例，调整所述每个批次数据中包括的业务请求信息的数量的改变比例和/或所述批次数据生成频率的改变比例。9.如权利要求1所述的方法，所述方法还包括：根据更新后的批次捞取规则，进行批次数据的捞取和投递。10.如权利要求5所述的方法，所述方法还包括：根据更新后的批次生成规则，将所述业务请求信息生成对应的批次数据。11.一种数据批次处理装置，包括：业务请求接收模块，用于接收业务请求信息；批次生成模块，用于根据获取到的批次生成规则，将所述业务请求信息生成...

【专利技术属性】
技术研发人员：魏保子，
申请(专利权)人：阿里巴巴集团控股有限公司，
类型：发明
国别省市：开曼群岛,KY