【技术实现步骤摘要】
数据处理方法、装置、设备及计算机可读存储介质
本申请涉及数据处理的
,尤其涉及一种数据处理方法、装置、设备及计算机可读存储介质。
技术介绍
目前,为了优化业务规则,需要对业务规则进行数据预演,即使用规则引擎基于优化后的业务规则对历史数据进行跑批,以模拟优化后的业务规则部署后能够产生的业务效果,传统的跑批方案通常是单台服务器根据业务需求调用Oracle数据库内的所有相关的历史数据进行业务规则跑批,然而需要预演的数据是非常庞大的,因此需要耗费较长的预演时间,数据预演的效率较低,无法快速的得到业务规则的跑批结果。因此,如何提高数据预演的效率是目前亟待解决的问题。
技术实现思路
本申请的主要目的在于提供一种数据处理方法、装置、设备及计算机可读存储介质,旨在提高数据预演的准确性和效率。第一方面,本申请提供一种数据处理方法,包括:获取目标业务规则和业务数据的采集时间段,其中,所述目标业务规则为待跑批的业务规则;根据所述目标业务规则和所述采集时间段,确定目标业务数据集,所述目标业务数据集包 ...
【技术保护点】
1.一种数据处理方法,其特征在于,包括:/n获取目标业务规则和业务数据的采集时间段,其中,所述目标业务规则为待跑批的业务规则;/n根据所述目标业务规则的属性信息和所述采集时间段,确定目标业务数据集,所述目标业务数据集包括在业务环节结束时所采集得到的业务数据;/n确定处理所述目标业务数据集中的全部业务数据所需的总计算资源,并获取每个服务器的剩余计算资源;/n根据所述总计算资源和每个服务器的剩余计算资源,调用多个服务器基于所述目标业务规则同时跑批所述目标业务数据集中的业务数据,得到所述目标业务规则的数据预演结果。/n
【技术特征摘要】
1.一种数据处理方法,其特征在于,包括:
获取目标业务规则和业务数据的采集时间段,其中,所述目标业务规则为待跑批的业务规则;
根据所述目标业务规则的属性信息和所述采集时间段,确定目标业务数据集,所述目标业务数据集包括在业务环节结束时所采集得到的业务数据;
确定处理所述目标业务数据集中的全部业务数据所需的总计算资源,并获取每个服务器的剩余计算资源;
根据所述总计算资源和每个服务器的剩余计算资源,调用多个服务器基于所述目标业务规则同时跑批所述目标业务数据集中的业务数据,得到所述目标业务规则的数据预演结果。
2.根据权利要求1所述的数据处理方法,其特征在于,所述属性信息包括业务类型和业务环节标识符;所述根据所述目标业务规则的属性信息和所述采集时间段,确定目标业务数据集,包括:
从业务数据库中获取包含所述业务类型的全部业务数据,得到第一候选业务数据集;
从所述第一候选业务数据集中获取与所述业务环节标识符对应的业务数据,得到第二候选业务数据集;
从所述第二候选业务数据集中获取采集时间位于所述采集时间段内的业务数据,得到目标业务数据集。
3.根据权利要求1所述的数据处理方法,其特征在于,所述根据所述总计算资源和每个服务器的剩余计算资源,调用多个服务器基于所述目标业务规则同时跑批所述目标业务数据集中的业务数据,得到所述目标业务规则的数据预演结果,包括:
根据所述总计算资源和每个服务器的剩余计算资源,确定多个目标服务器,其中,每个所述目标服务器的剩余计算资源之和大于所述总计算资源;
将所述目标业务数据集中的业务数据分配给每个所述目标服务器,得到每个目标服务器的待跑批的业务数据子集;
调用每个所述目标服务器基于所述目标业务规则同时跑批各自对应的所述业务数据子集中的业务数据,得到所述目标业务规则的数据预演结果。
4.根据权利要求3所述的数据处理方法,其特征在于,所述将所述目标业务数据集中的业务数据分配给每个所述目标服务器,得到每个目标服务器的待跑批的业务数据子集,包括:
确定所述目标服务器的数量,并确定所述目标业务数据集中的业务数据的总数量;
根据所述目标服务器的数量和所述总数量,确定每个所述目标服务器的待跑批的业务数据数量,其中,每个所述目标服务器的待跑批的业务数据数量之和等于所述总数量;
按照每个所述目标服务器的待跑批的业务数据数量,将所述目标业务数据集中的业务数据分配给每个所述目标服务器。
5.根据权利要求3所述的数据处理方法,其特...
【专利技术属性】
技术研发人员:温锋明,
申请(专利权)人:中国平安财产保险股份有限公司,
类型:发明
国别省市:广东;44
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。